Вступ до MLOps і LLMOps

Добрий вечір пані і панове,

Сьогодні прийшов до вас з вебінаром по MLOps і LLMOps, який проводить Дмитро Сподарець - і він займався цим ще до мейнстріму. Враховуючи глибоку експертизу, ми запросили Дмитра допомогти в організації DevOpsDays Ukraine: AI Chapter (відбудеться восени), і я хотів би порекомендувати відвідати безкоштовний міт:

➡️ https://lu.ma/pz9mltkn?tk=4k0AIj

Також і я працюю в цьому домені, тому тримайте мікро-підбірку технологій, які не будуть зайвими в Machine Learning Operations. Частину ми використовуємо або використовували, частину я бачив на суміжних проектах, тощо.

Основна суть - додати собі в "контекст", щоб коли зустрічаєте статтю або гайд - не скіпали, а розбирались. Все це (ну майже) сетапиться на K8S, і цього набору буде достатньо щоб створити і потикати ML pipeline.

Отже, поїхали, по доменам:
1) Annotation - CVAT, Label Studio
2) Pipelines - KubeFlow / Metaflow / Airflow
3) Experiment tracking - MLFlow
4) Distributed Training - Ray, Horovod
5) Data Versioning - DVC
6) Serving - скиньте в коменти, у нас модельки на еджі (BentoML? KServe? Seldon Core? )
7) Feature Store - Feast
8) Model Registry - також MLFlow
9) Monitoring - Prometheus Stack
10) Tracing - OpenTelemetry + Jaeger

(закінчив список на тулах, які ви ВЖЕ знаєте - для хорошого настрою)

По KubeFlow у нас прям топова експертиза, в сторону multi-region, на 1000+ GPU-шних нод (автоскейлінг звісно). А ще ми випалили лям доларів через залипші поди в кубфлоу, але про це колись буде окремий пост.

Тихої ночі!

✅ Fwdays Academy відкриває набір на другий потік Platform Engineering Course! Ви зануритеся в Terraform CDK, AWS CDK, Pulumi, Kubernetes CRDs та Helm, отримаєте практичні навички та створите рішення для автоматизації платформ.

Згідно з дослідженнями IT-ринку, в 2025 році фахівці з Platform Engineering заробляють на 20% більше, ніж DevOps-інженери!

👉 Реєстрація та деталі: https://bit.ly/4jNpNI0
📅 Дати: 2-13 червня 2025
⚙️ Формат: 6 практичних онлайн-занять з реальними кейсами, груповою роботою та індивідуальними завданнями
🚀 Кількість місць обмежена
💰 Промо на -10%: mukolaich

Кому буде цікаво?
🔸 DevOps-інженерам
🔸 Розробникам
🔸 Системним адміністраторам
🔸 QA-спеціалістам
🔸 Всім, хто прагне прокачати навички Kubernetes, IaC та автоматизації інфраструктури

💡 Ментор курсу: Anton Grishko — Chief Architect у ProfiseaLabs, спікер DevOps-конференцій, автор статей на DOU і Medium. Понад 15 років у сфері ІТ, один із засновників стартапу з Platform Engineering.

🔥 Отримайте нові знання разом з Fwdays Academy!

Триває найбільша конференція IT-спільноти – DOU Day – і ми вирішили запитати спікерів, як їм подія 😎

Ділимось відповідями Всеволода Полякова, Head of Infrastructure в Let's Enhance. А вам як конфа?

Мережа Трійки та Зарплатне Опитування

Доброго дня, шановні DevOps / SRE / Platform / Infra фахівці! Прошу звернути увагу на важливі ініціативи:

1️⃣ 20 млн збір від DOU - https://dou.ua/triyka/
Запрошую долучитися! DOU збирає кошти + ініціатива також корисна для ментального здоров’я - ще й є мотивація у вигляді призів

2️⃣ Зарплатне опитування - https://dou.ua/lenta/sitenews/summer-survey-2025

Особливо закликаю брати участь інженерів рівня Senior+ або тих, хто має крепку компенсацію. Саме на ці віджети орієнтуються компанії - тому для нашої інфра галузі корисно демонструвати хороші зарплати

Окрема подяка інженеру з Житомира - в минулому опитуванні він задекларував $14K! У нас тут формується нова Bay Area 😁

Якщо хтось має супервисоку компенсацію (або якщо це читає той самий житомирський рокстар) — напишіть мені. Зберемо стек порад і підходів - повністю анонімно

Вдалого дня!

/dev/null

How is AI transforming DevOps?

On September 3rd, join DevOpsDays: AI Chapter to find out. World-class experts will share practical insights on GenAI, LLMs, MLOps, compliance, and building reliable AI agents for DevOps.

🎙️ Talks & Speakers
– The Impact of GenAI on Development and the SDLC, Patrick Debois
– AI Compliance Trends: IP & Data Protection in EU & U.S., Kateryna Dubas
– From Skepticism to Superpower: Adopting AI Tools in Dev Teams, Oleksii Ostapets
– Platform Engineering for LLMs, Max Körbächer
– Building Reliable Agents for DevOps, George Fahmy
– MLOps — details coming soon, Andreea Munteanu

💛 Charity goal: 50,000 UAH for 50 rehab sessions for Ukrainians in physical recovery. Support us and make your donation on the website.

Participation is free

🔗 Register now: https://devopsdays.com.ua — see you soon!

Шановні Інженери,

Після конференції, як завжди, відбудеться говорилка на тему AI. Кімната так і називатиметься - «Про AI» 😁

Теми було підібрано ретельно, з акцентом на те, щоб ви могли покращити процеси у своїй компанії та зоні відповідальності

100% поговоримо про RAG, Fine Tuning, ембедінги і вектори, агенти, MLOps і все що поруч

Реєструйтеся! 🔼

Дивіться що на ширшому ринку відбувається:

- Mistral AI - DevOps Engineer, HPC Services
- Open AI - Engineering Manager, Infrastructure (з кубом, істіо і тераформом в описі вакансії)
- Anthropic - Software Engineer, AI Reliability Engineering
- Nvidia - Senior Software Engineer - Bare Metal DevOps

AWS: знайомство з OpenSearch Service в ролі vector store

Ми зараз використовуємо AWS OpenSearch Service як vector store для нашого RAG з AWS Bedrock Knowledge Base. Про RAG і Bedrock детальніше поговоримо іншим разом, а сьогодні давайте подивимось на AWS OpenSearch Service. Власне, задача – мігрувати наш AWS OpenSearch Service Serverless на Managed, в першу чергу через (сюрпрайз) питання вартості – бо з Serverless…

https://rtfm.co.ua/aws-znajomstvo-z-opensearch-service-v-roli-vector-store/

#AWS_OpenSearch #Elasticsearch

Operational issue - Multiple AWS services in the US-EAST-1

Це ми вже проходили, будемо свідками як половина інтернету виходить з ладу - попередьте свої команди 🙂

https://health.aws.amazon.com/health/status