❄️❄️❄️
Надворі була справжня зимова казка. Землю вкрив пухнастий сніг, дерева стояли у білих шатах, ніби вдягли святкове вбрання. Зі ставка долинав тихий тріск льоду, а місяць, мов срібний ліхтар, освітлював засніжені пагорби. Але в цьому холоді було щось тепле й затишне – дух свята, що вже був зовсім близько.

Віталька сидів на підвіконні, загорнувшись у плед. Він дивився на це диво-зиму і думав про те, що скоро свято Різдва. Але ось біда – він досі не вирішив, що попросити.
– Новий велосипед? Але ж у мене є старий, ще їздить. Може, смартфон? Але чи не краще книжки? Ох, як важко…

Раптом почув Віталька, як на подвір’ї щось зашурхотіло. Виглянув – а там стоїть Миколай! У теплому кожусі, з кошиком подарунків.
– Доброго вечора, Віталько, – каже Миколай. – Чому це ти так задумався?

Віталька зніяковів, але чесно відповів:
– Я хочу попросити щось, що зробить мене щасливим. Але я не знаю, що це.
Миколай усміхнувся:
– Хм, мудра твоя думка, хлопчику. Знаєш, що я тобі скажу? Щастя не в подарунках, а в тому, наскільки щосливі люди навколо тебе.
Віталька замислився і раптом вигукнув:
– Тоді я хочу, щоб ти подарував мені РЕБ "Сармат" для 144 ОБ 116 ОБр ТРО.

Миколай зрадів, бо подарунок був чудовим і важливим, але потім засмутився, бо в нього не достатньо грошей.

Тому ми відкриваємо допоміжний збір.
❄️❄️❄️

🎯Ціль: 80 000.00 ₴

🔗Посилання на збір
https://send.monobank.ua/jar/9B9jG3GujU

А щоб і добродіям, і добродійкам було приємно робити гарну справу — кожен донат кратний 200 грн це шанс виграти офігезну книгу 📚 "Чипси: українські наївні мозаїки" з ілюстраціями і описом мозаїк (фотки книг у першому коменті).

Чудова і красива книга, яку классно мати у бібліотеці.

Раді представити вам DevOps fwdays'25 — конференція від Fwdays, присвячена DevOps практикам та інструментам 🤩

Серед тем конференції: DevOps Approach, DevOps Technologies, DevOps Tools, DevOps World Experience. Доповіді будуть англійською та українською мовами.

🗓 Дата: 22 лютого
🗣 Формат: офлайн (у Києві) та онлайн
🎙 Мови доповідей: українська та англійська

Спікери та їх доповіді:
📍 Володимир Цап – керує інженерною та продуктовою командами в якості CTO в SHALB та cluster.dev. Виступить із доповіддю “Перетворюємо Kubernetes на повноцінний приватний Cloud”.

📍Денис Васільєв –Senior SRE, NIQ у GfK Сompany. Сертифікований Kubernetes Administrator та автор курсу Kubernetes DIY.
Під час доповіді “Kubernetes оператори. Як ми мігрували Release Management на контролери” розповість історію еволюції Promotion (Release) системи від простих Kubernetes API REST колів до інформерів та контролерів на власному досвіді.

📍Микола Маржан – Director of Engineering у Canonical / Ubuntu.
Презентує доповідь “Бази даних у Kubernetes: бути чи не бути”.

Використайте промокод 2FDFF90CAB та отримайте знижку 10%, деталі за посиланням 👉 https://bit.ly/4gtzxoD

Хочете поринути у світ DevOps? Дізнатись більше про DevOps практики та інструменти? Приєднуйтесь!

Приходьте на івент про GitHub Copilot — розберемо, як він спрощує життя.

Генерує CI/CD конфіги, Dockerfile і Docker Compose, пише скрипти для автоматизації, швидко фіксить баги і доповнює код на льоту. Це апгрейд для DevOps інженерів, розробників і тих, хто хоче працювати швидше!

Долучайтесь до онлайн мітапу Cloud Builders 10 квітня — на вас чекають тренди від GitHub, демо та реальні кейси від SoftwareOne та DevRain.

У програмі:
*AI в розробці: нові фічі GitHub Copilot
*Безпека коду: як GitHub Advanced Security та AI працюють на тебе
*End-to-End проєкти з GitHub Copilot 

А ще разом з фондом Angry Corgi збираємо на 3 планшети для сил ППО. Чекаємо на твої 20 грн та реєстрацію. До зустрічі! 

📍Деталі та реєстрація: https://cloud-builders.org/github-copilot

Thousands of exposed GitHub repositories, now private, can still be accessed through Copilot

Хто буде на мітапі, запитайте будь ласка, чому Github Copilot тренують на приватних репозиторіях 🤦‍♂️

Books & Growth

Доброго вечора, шановне панство!

Нагадаю, що ми всі успішно прочитали наступні книги за останні N років:
- Continuous Delivery: Reliable Software Releases
- Site Reliability Engineering
- The Site Reliability Workbook
- Building Secure and Reliable Systems

Частково хтось міг також прочитати:
- The Phoenix Project
- Designing Data-Intensive Applications

Крім того, ми охопили чимало матеріалів про Infrastructure as Code (на початку), Docker (дуже давно), Kubernetes (просто давно), а також, можливо, хтось із вас, хто пішов у лідершип, знайшов корисними такі книги:
- Software Engineering at Google (рекомендую)
- The Staff Engineer’s Path (теж дуже якісна)

Ми зробили величезну роботу — покрили клауди, процеси, моніторинг, логування, фінопс, reliability, скейлінг, сек’юріті, self-healing і багато іншого. Але, як бачите, з моменту виходу першої книги минуло вже 15 років. Попри еволюцію, може бути (?) настав час або для pivot, або для generalization.

Поділюсь кількома думками щодо Generalization Path:
- Гіпотеза: передусім ви — Software Engineer, і вже потім фокусуєтесь на DevOps / Infrastructure / Platforms
- Nobody will hire you if you don't have coding skills
- Це будуть перевіряти через live coding на співбесідах (у тому числі - літкод)
- Часу лишилося не так уже й багато, але роки 2-3-x має бути
- Поговорити про апдейт воркер-ноди чи terraform state вже не вийде :) Точніше, вийде — але лише на одному з 5 етапів інтерв’ю.

Альтернативний Pivot Path
Якщо ви вже працюєте в цьому напрямку - дуже круто!
- ML Operations та все, що з цим пов’язано - у цих вакансіях очевидно всі раунди з літкодом і вишматом

Наприклад:
- Software Engineer, Infrastructure - OpenAI (200к-400k мінус податки плюс еквіті)
- Systems Engineer, Infrastructure - Anthropic (те ж саме)

Можливо, це і звучить як булшит, або читаючи ви не згодні десь всередині, але я хотів цим із вами поділитися. Це стосується тільки топ ЗП-шок, я не думаю що середній DevOps Engineer з медіаною на доу помітить зміни на ринку до наступного gartner hype cycle. Скоріше за все - ні. Міг би ще додати графік кількості відкритих вакансій на глобальному ринку, але передумав. Україна дає чудовий сервіс за вигідну ціну (вітання ФОПам!), тож у нас є час адаптуватися під новий стан речей.

Що робити - Generalization Path:
Додаємо активну розробку скілів:
- CSosvita: алгоритми на практиці (старт 1 травня), performance engineering (старт 29 квітня) — лінки додам у коментарях. Це не реклама - мені за це не платять. Просто ділюся якісним продуктом.
- Лаби / MVPs / бібліотеки — definition of done: ви можете зайти в позицію Middle Software Developer по скілам, (ваша основна експертиза зберігається - інфра-фокус). Це буде ефективно. Тут виходить T-shaped, якщо вас перевіряють як дева - чудово, ви можете, і ще є глибина знань в інфрі. Якщо перевіряють як інфра / platform / sre - чудово, ви ще й бек напишете. Одні плюси!

Що робити - Pivot Path:
- Продовжуємо читати - Reliable Machine Learning (гуглиться через filetype: pdf)
- Проходимо всі лаби на Kaggle
- Згадуємо вишмат
- Купуємо nvidia за декілька К і ганяємо лабки (будуємо end-to-end пайплайн)

Доповідь закінчив 🫡

Також додам, що цю думку я частково почув від Севи Полякова (не прямо цю, але в тому ж напрямку), тож ділюся і своїм баченням, що спостерігаю навколо. Буду радий почути розширену доповідь на DOU Day (у нас присутні шанси послухати цілу доповідь - fingers crossed!)

Усім продуктивного тижня, продовжуємо розвиватися, впевнено дивимось уперед - і запрошую в коментарі: напишіть, чи це булшит, чи все ж має сенс. Буду радий фідбеку! Можливо я даремно всіх напаяв :))

UPD1: на початку ковіду я вже напаяв всіх тут в каналі, і вийшло абсолютно не так 😆 не скріньте цей твіт

GCP HttpRequest.latency

Доброго вечору, сьогодні історія про GCP, їх логування, специфікацію логів і unexpected behaviour.

Референс:
https://cloud.google.com/logging/docs/reference/v2/rest/v2/LogEntry#HttpRequest

latency string (Duration format)

The request processing latency on the server, from the time the request was received until the response was sent. For WebSocket connections, this field refers to the entire time duration of the connection.

A duration in seconds with up to nine fractional digits, ending with 's'. Example: "3.5s".

Більше контексту:
GCP це логує на балансерах, функціях і інших компонентах. Прочитайте це будь ласка, і я прямо зараз фолоу-апну питанням.

Дякую за те, що прочитали офіційну специфікацію GCP і проголосували. Я зупинив опитування.

По результатам також видно конфуз:
- 49% Server Side Request Latency
- 12% TTFB
- 12% RTT
- 28% Total Response Time

Поясню причину unexpected behaviour:
- по опису метрики, яку я закинув з офіційної доки - очевидно це Server Side Request Latency
- тут пишуть що це Total Response Time, а в коментах - що RTT
- тут пишуть що це Total Response Time
- в коменті до опитування пишуть, що взагалі НЕМАЄ правильної відповіді
- ще є купа тредів і форумів де люди конфьюзяться

В моєму випадку я помітив цю штуку на slow clients на пет-проджекті, і грішив на бекенд. Далі зробив profiling + tracing, також k6 перформанс тести і зрозумів що в мене немає жодних питань до бекенду. Але є дуже багато питань до метрики 😆

З моєї сторони, значення яке туди потрапляє виглядає як Total Response Time, і пруфається через curl --limit-rate

➡️ Тепер я попрошу GCP сертифікованих інженерів, або тих хто точно знає зайти в коменти сюди, і дати відповідь що є дійсно таке HttpRequest.latency в логах GCP до балансера

Сподіваюсь розберемось разом, на тижні ще закину чудову статтю з Pragmatic Engineer про стан ІТ в 2025, де є +40% зросту від дна ринку (як в опозицію до поста, який писав вище). Успіхів!

DOU DAY + The Reality of Tech Interviews in 2025

Вітання!

Вибрав для вас декілька доповідей з DOU DAY, на які варто звернути увагу:
- Jujutsu, GitButler: make git fun again - Всеволод Поляков
- Великий вихід з гіперскейлерів. Стратегія міграції інфраструктур - Володимир Цап
- Операційна система: що насправді відбувається, коли ви запускаєте вашу програму - Віктор Турський
- TBA - Ігор Дворецький
- Розвиток і впровадження AI агентів - Денис Попов

Також як і домовлялись, мікро-огляд статті The Reality of Tech Interviews in 2025:
https://newsletter.pragmaticengineer.com/p/the-reality-of-tech-interviews

➡️ New reality of tech hiring
2021-2021 ми бачили пік ринку, потім падіння в 2023, і зараз +40% порівняно з низом ринку. Тобто, порівнюємо не з перегрітим ринком, а з низом ринку - і таким чином покращуємо свій mental health.

➡️ Analyzing the tech hiring market
2023 163K вакансій, зараз - 230К. Перспективні напрямки: AI Infrastructure, Machine Learning Operations. В стандартних доменах, типу бек, фронт, мобайл - складно. Сіньйори в шоколаді - все так само отримують офери, особливо - якщо вакансія і ваш досвід матчиться. Джунам - важко як ніколи. Більше етапів інтервью. Менеджери - теж важко.

➡️ Interview process changes
Стандартно DSA, але якість очікують вищу, і складність - більшу. Системний Дизайн - знову очікують більше. Також більше шансів отримати промоушн в мідла, якщо прийшли на вакансію сіньйора. Тім матчінг (aka team lunch) - ще один неформальний раунд співбесіди.

➡️ Interview format differences at startups and Big Tech
Тут все очевидно - FAANG - DSA, компанії менше - щось схоже до того, чим будете займатись в компанії.

➡️ Preparation strategies by experience level
Джуни: 80% DSA, 20% behave
Мідли: 50% DSA, 25% сисдиз, 25% behave
Сіньйори: 50% сисдиз, 20% DSA, 30% behave
Стафи: 90% біхейв, бо в них DSA і сисдиз і так від зубів відскакує

Executive Summary:
- 2020 - 2021: golden rush, "please take our money"
- 2025: "prove you're worth it"
- Трохи більше часу на пошук компанії, але ринок +- норм.
- Очікування від кандидатів ростуть, і будуть продовжувати рости.

Виглядає оптимістичніше, ніж попередній пост на цю тему 🙂 Рекомендую прочитати статтю повністю. І продовжуємо вчитись проходити інтерв'ю - це окремий скіл, який покращується з досвідом і роботою над помилками. Всім успіхів!

Вступ до MLOps і LLMOps

Добрий вечір пані і панове,

Сьогодні прийшов до вас з вебінаром по MLOps і LLMOps, який проводить Дмитро Сподарець - і він займався цим ще до мейнстріму. Враховуючи глибоку експертизу, ми запросили Дмитра допомогти в організації DevOpsDays Ukraine: AI Chapter (відбудеться восени), і я хотів би порекомендувати відвідати безкоштовний міт:

➡️ https://lu.ma/pz9mltkn?tk=4k0AIj

Також і я працюю в цьому домені, тому тримайте мікро-підбірку технологій, які не будуть зайвими в Machine Learning Operations. Частину ми використовуємо або використовували, частину я бачив на суміжних проектах, тощо.

Основна суть - додати собі в "контекст", щоб коли зустрічаєте статтю або гайд - не скіпали, а розбирались. Все це (ну майже) сетапиться на K8S, і цього набору буде достатньо щоб створити і потикати ML pipeline.

Отже, поїхали, по доменам:
1) Annotation - CVAT, Label Studio
2) Pipelines - KubeFlow / Metaflow / Airflow
3) Experiment tracking - MLFlow
4) Distributed Training - Ray, Horovod
5) Data Versioning - DVC
6) Serving - скиньте в коменти, у нас модельки на еджі (BentoML? KServe? Seldon Core? )
7) Feature Store - Feast
8) Model Registry - також MLFlow
9) Monitoring - Prometheus Stack
10) Tracing - OpenTelemetry + Jaeger

(закінчив список на тулах, які ви ВЖЕ знаєте - для хорошого настрою)

По KubeFlow у нас прям топова експертиза, в сторону multi-region, на 1000+ GPU-шних нод (автоскейлінг звісно). А ще ми випалили лям доларів через залипші поди в кубфлоу, але про це колись буде окремий пост.

Тихої ночі!

✅ Fwdays Academy відкриває набір на другий потік Platform Engineering Course! Ви зануритеся в Terraform CDK, AWS CDK, Pulumi, Kubernetes CRDs та Helm, отримаєте практичні навички та створите рішення для автоматизації платформ.

Згідно з дослідженнями IT-ринку, в 2025 році фахівці з Platform Engineering заробляють на 20% більше, ніж DevOps-інженери!

👉 Реєстрація та деталі: https://bit.ly/4jNpNI0
📅 Дати: 2-13 червня 2025
⚙️ Формат: 6 практичних онлайн-занять з реальними кейсами, груповою роботою та індивідуальними завданнями
🚀 Кількість місць обмежена
💰 Промо на -10%: mukolaich

Кому буде цікаво?
🔸 DevOps-інженерам
🔸 Розробникам
🔸 Системним адміністраторам
🔸 QA-спеціалістам
🔸 Всім, хто прагне прокачати навички Kubernetes, IaC та автоматизації інфраструктури

💡 Ментор курсу: Anton Grishko — Chief Architect у ProfiseaLabs, спікер DevOps-конференцій, автор статей на DOU і Medium. Понад 15 років у сфері ІТ, один із засновників стартапу з Platform Engineering.

🔥 Отримайте нові знання разом з Fwdays Academy!

Триває найбільша конференція IT-спільноти – DOU Day – і ми вирішили запитати спікерів, як їм подія 😎

Ділимось відповідями Всеволода Полякова, Head of Infrastructure в Let's Enhance. А вам як конфа?

Мережа Трійки та Зарплатне Опитування

Доброго дня, шановні DevOps / SRE / Platform / Infra фахівці! Прошу звернути увагу на важливі ініціативи:

1️⃣ 20 млн збір від DOU - https://dou.ua/triyka/
Запрошую долучитися! DOU збирає кошти + ініціатива також корисна для ментального здоров’я - ще й є мотивація у вигляді призів

2️⃣ Зарплатне опитування - https://dou.ua/lenta/sitenews/summer-survey-2025

Особливо закликаю брати участь інженерів рівня Senior+ або тих, хто має крепку компенсацію. Саме на ці віджети орієнтуються компанії - тому для нашої інфра галузі корисно демонструвати хороші зарплати

Окрема подяка інженеру з Житомира - в минулому опитуванні він задекларував $14K! У нас тут формується нова Bay Area 😁

Якщо хтось має супервисоку компенсацію (або якщо це читає той самий житомирський рокстар) — напишіть мені. Зберемо стек порад і підходів - повністю анонімно

Вдалого дня!

/dev/null

How is AI transforming DevOps?

On September 3rd, join DevOpsDays: AI Chapter to find out. World-class experts will share practical insights on GenAI, LLMs, MLOps, compliance, and building reliable AI agents for DevOps.

🎙️ Talks & Speakers
– The Impact of GenAI on Development and the SDLC, Patrick Debois
– AI Compliance Trends: IP & Data Protection in EU & U.S., Kateryna Dubas
– From Skepticism to Superpower: Adopting AI Tools in Dev Teams, Oleksii Ostapets
– Platform Engineering for LLMs, Max Körbächer
– Building Reliable Agents for DevOps, George Fahmy
– MLOps — details coming soon, Andreea Munteanu

💛 Charity goal: 50,000 UAH for 50 rehab sessions for Ukrainians in physical recovery. Support us and make your donation on the website.

Participation is free

🔗 Register now: https://devopsdays.com.ua — see you soon!

Шановні Інженери,

Після конференції, як завжди, відбудеться говорилка на тему AI. Кімната так і називатиметься - «Про AI» 😁

Теми було підібрано ретельно, з акцентом на те, щоб ви могли покращити процеси у своїй компанії та зоні відповідальності

100% поговоримо про RAG, Fine Tuning, ембедінги і вектори, агенти, MLOps і все що поруч

Реєструйтеся! 🔼

Дивіться що на ширшому ринку відбувається:

- Mistral AI - DevOps Engineer, HPC Services
- Open AI - Engineering Manager, Infrastructure (з кубом, істіо і тераформом в описі вакансії)
- Anthropic - Software Engineer, AI Reliability Engineering
- Nvidia - Senior Software Engineer - Bare Metal DevOps

AWS: знайомство з OpenSearch Service в ролі vector store

Ми зараз використовуємо AWS OpenSearch Service як vector store для нашого RAG з AWS Bedrock Knowledge Base. Про RAG і Bedrock детальніше поговоримо іншим разом, а сьогодні давайте подивимось на AWS OpenSearch Service. Власне, задача – мігрувати наш AWS OpenSearch Service Serverless на Managed, в першу чергу через (сюрпрайз) питання вартості – бо з Serverless…

https://rtfm.co.ua/aws-znajomstvo-z-opensearch-service-v-roli-vector-store/

#AWS_OpenSearch #Elasticsearch

Operational issue - Multiple AWS services in the US-EAST-1

Це ми вже проходили, будемо свідками як половина інтернету виходить з ладу - попередьте свої команди 🙂

https://health.aws.amazon.com/health/status