#оффтоп 1 billion row challenge

Недавно зіткнувся на просторах інтернету на челендж по програмуванню. Ідея дуже проста. Прочитати файл на 1 млрд рядків якнайшвидше, але при тому не втрачати цілісність даних. Спочатку цей челендж був створений для Java, але з часом почали з'являтися write-up-и й від людей на інших мовах програмування.

Файл складається з рядків у форматі <string: назва станції>;<double: температура>. Так як це 1 млрд рядків, то кінцевий обсяг файлу становить біля 12 ГБ. Виглядає воно десь так:

Hamburg;12.0
Bulawayo;8.9
Palembang;38.8
St. John's;15.2
Cracow;12.6

Є додаткові нюанси, які потрібно враховувати, а саме:

- значення температури може бути в діапазоні [-99.9, 99.9].
- значення температури може мати лише одну дробову цифру.
- байтова довжина назви станції в діапазоні [1,100].
- максимум 10к унікальних назв станцій
- заокруглення повинно відбуватися відносно стандарту ІЕЕЕ 754, де воно відбувається в плюс

Вот це прям ідеальне академічне завдання, бо воно заставляє розширити мислення. Банальне рішення тут дуже просте, а вот коли вже пробуєш ввести оптимізацію, то починаєш розбиратися і в паралельному програмуванні і переходити на якісь low-level API, щоб максимально швидко все зчитати. Серйозно, це прикольне завдання. І да, звичайно, що малоймовірно, що хтось з вас зіткнеться з такою самою проблемою, але тут справа не в кінцевому результаті, а в тому, як ти думаєш про проблему і потенційні підходи до вирішення.

На Java прямолінійний підхід, де читається кожна строка без ніяких додаткових фіч становить ~6 хв, а найкращий результат, де все максимально оптимізовано - 1.5 сек. Якщо ти студент і вчиш програмування, то справді рекомендую попробувати цей челендж.

Вот один гарний write-up на цю тему.

Молодший консультант з кібербезпеки (trainee, junior) в 10guards
Ukraine (Kyiv), No experience
Чудовий старт для початку трудової діяльності. Багато різнопланових завдань і причетність до створення ефективних креативних рішень гарантуємо. Нам потрібна людина з продуктивним і гнучким мисленням, готова брати активну участь у всіх аспектах розвитку послуг і продуктів.
Консультанти з кібербезп...
https://djinni.co/jobs/615140
Subscription: security

Middle Cybersecurity Consultant в 10guards
Ukraine (Kyiv), 2 years of experience
Запрошуємо в команду консультанта з питань інформаційної безпеки.
Багато різнопланових завдань і причетність до створення ефективних креативних рішень гарантуємо. Нам потрібна людина з продуктивним і гнучким мисленням, готова брати активну участь у всіх аспектах розвитку послуг і продуктів.
Кон...
https://djinni.co/jobs/339197
Subscription: security

Попався мені вчора звіт від ізраїльскої компанії про малварь одну . Дуже класний, детальний, все пророблено, аналіз із скріншотами, проведено трет інтел, атрибуція, все чітко. В звіті описана відносно нова рансомварь від відносно нової стейт-спонсоред групи з россії. Звіт читати цікаво, але спокійно - майже неможливо. Декілька підходів робив і кожен раз кричав як бердянська чайка. Спробуйте і ви.

Шановні, вітаю! Відчуваю натхнення поділитися з вами ще одним відео, тут ви зможете поринути в детальний розбір того, звідки різні тули беруть дебажні символи, і як то взагалі працює. Також додаю скрипт, згаданий у відео. Саме відео вже доступне за посиланням:

https://youtu.be/WGwmtDOJ6Ss

Всім привіт.
Я надіюсь вже наїлися пасок і крашанок і готові до нового підпалу посту про роботу.

Шукаємо Python розробника два штуки, в за*безний проект із захисту ендпоїнтів для закладів освіти на західному ринку. Суть проекту в тому щоб збудувати ефективну систему моніторингу та реагування на інциденти кібербезпеки для освітніх закладів, продукт має трошки опенсорс бази, але потім буде доповнюватись AI функціоналом та іншими інноваційними рішеннями.

Наразі є завдання розробити базовий функціонал, а далі розививати продукт до стану єдинорогу. Так це може нести деякі ризики з однієї сторони, але й має бенефіти із іншої. Ризики того що не полетить в принципі є в усіх компаніях, просто в данному випадку вони більш відчутні, бенефіти залетіти в перші ряди розробників і потім отримати прикольний бонус пакет замість сухої зарплатні.
Персонально я оцінюю ці ризики доволі низько оскільки партнерами в цій затії є наші друзі із США, а як ви знаєте це люди які точно вміють вести бізнес(що доречі також є бенефітом повчитись у крутих чуваків як будувати бізнес).

Але тим не менш, вибір за вами, я вже вписався лідити команду тут в Україні. А це значить що точно не буде чайка-менеджменту, буде максимально можлива прозорість, меритократія та довіра до всіх, оскільки це мої персональні цінності тому я це буду культивувати.
Проект стартує на базі SET University тому ще плюсик довіри, оскільки всі хто вписується має схожий набір цінностей і цілей.

Шо по скілам:
- Python Programming
- Flask
- Bootstrap
- REST API development
- Middleware/backend service design
- SQL
- Ще б бажано щось знати про OSQuery
- Ще б бажано всякого DevOps та Security досвіду, але то не обовʼязково (а то так ми ніх*ра людей не знайдемо)
Шо по баблу:
- Домовимось, але десь зпшка джуна-мідла

Якщо є любі друзі кого можете порекомендувати на вакансію то буде круто, з мене потім кава і поговорити 2 години часу.
Репост також зараховується.

Всіх обійняв.

Дорогі друзі! Настав час побачити ще одне відео. Цього разу будемо продовжувати пошук цікавих артефактів, познайомимося із підписами, їхньою перевіркою та парсингом ресурсів, що зберігають опис бінарного файлу.

https://youtu.be/p_hXWMNu2bA

Та хто такий цей ваш рмрф? 😁

Today the United States Department of Justice unveiled the leader of Lockbit ransomware group.