О профессии AIOps: модно-молодежно, денежно, но пока на нее не учат

Привет Хабр! А давайте поговорим об AIOps. Как профессия, подобная роли DevOps-инженера, AIOps пока не сформировалась в четко определенную должность. В компаниях задачи уровня AIOps выполняются спецами из DevOps, Data Science, IT Operations. Сотрудники могут работать над внедрением и поддержкой решений AIOps, но они обычно не называют себя AIOps-инженерами. Со временем, по мере развития этой области, возможно, появятся более специализированные роли, но на текущий момент AIOps скорее представляется как инструмент или набор практик, а не как самостоятельная профессия.

Читать далее

#aiops #devops #карьера_ит_специалиста #карьера_программиста #карьера_в_it_индустрии #карьера_в_it #карьерный_рост #карьера_в_ит #карьерные_стероиды | @habr_ai

Как справиться с нагрузкой в черную пятницу? Автоскейлинг инференса в Kubernetes

У многих наступление осени вызывает разные чувства и эмоции: от ностальгии во время просмотра Гарри Поттера под теплым пледом до депрессивных мыслей у дождливого окна в кофейне. Именно в этот период компании проводят масштабные мероприятия, одно из них — известная черная пятница. Клиенты пытаются «урвать» по хорошей скидке товары и купить подарки к Новому году. В связи с этим «атакуют» своим трафиком популярные сайты e-commerce, которые могут быть не готовы к такой нагрузке.

Ни для кого не секрет, как сохранить и инфраструктуру в пиковые нагрузки, и трафик клиентов. При этом не понести большие убытки. Деплоим сервис в облако, скейлим ресурсы по требованию и радуемся продажам! Но это в e-commerce, мы же с вами интересуемся ML production.

Привет, Хабр! Я — Антон, DevOps-инженер в команде Data/ML-продуктов Selectel. В этой статье расскажу, зачем нужен автоскейлинг GPU-ресурсов, как настроить масштабирование реплик в Kubernetes по трафику, а также как сделать свой высоконагруженный ChatGPT. Читать дальше →

#selectel #автоскейлинг #kubernetes #devops | @habr_ai

Готовим по рецепту: CI/CD в MLOps

Всем привет! Меня зовут Роза и я MLOps-инженер в Купере. Под катом расскажу, как построить CI/CD-пайплайн для ML-приложений с нуля, поэтапно и без боли. Ну почти :)

Раньше очень часто работа DS-инженера заканчивалась на подготовке кода модели в Jupyter-ноутбуке, а дальше его подхватывали команды разработки и доводили до продакшена. У такого подхода есть минусы. Например, если произойдёт инцидент, непонятно кто ответственен за сервис  — команда разработки или авторы ML-модели?

К счастью, культура разработки меняется: теперь ML-инженер — это специалист, который разрабатывает свой ML-сервис на всем пути от общения с бизнесом до продакшена. Этот подход хорошо описывает принцип «you build it, you run it»: кто построил модель, тот её и запускает. Как раз в этом здорово помогает CI/CD. Погнали!

#mlops #ml #gitlab #python #ci #devops | @habr_ai

Обзор k8sgpt: как искусственный интеллект помогает обучать DevOps-инженеров

В статье мы расскажем, что за утилита k8sgpt, как её поставить, какие есть полезные опции и как подключить к ней AI. Также покажем, какого уровня диагностику можно провести с помощью этого инструмента и на какие ответы чат-бота можно рассчитывать.

Читать далее

#ai #k8s #devops #ии #gpt_4 #gpt #k8sgpt #kubernetes #искусственный_интеллект #обучение | @habr_ai

State of DevOps 2024. Туда и обратно. Часть 2: Искусственный интеллект

Всем привет, с вами Сергей Задорожный, руководитель отдела платформенных решений банка «Центр-инвест» и один из авторов курса «DevOps для эксплуатации и разработки» от Яндекс Практикума. 

Сегодня продолжаем разбирать отчёт State of DevOps 2024. В прошлой статье мы обсудили DORA-метрики, а в этой обсудим искусственный интеллект. Пока он ещё не созрел (но это не точно), чтобы самостоятельно писать на Хабр обзоры про себя и отвечать на комментарии…

Первая часть обзора: State of DevOps 2024. Туда и обратно: 1. DORA-метрики и элитность

Читать далее

#devops #ai | @habr_ai

ИИ ускоряет разработку ПО, но пока не ускоряет выпуск продуктов (исследование Google Cloud — Dora за 2024)

По результатам исследования, основанного на отзывах более 39000 специалистов из компаний самых разных отраслей и всех размеров, искусственный интеллект значительно влияет на эффективность разработчиков и команд (спасибо Кэп, мы догадывались). При этом на скорость доставки софта потребителям и развитие продуктов ИИ пока не оказывает положительного эффекта и даже наоборот. Вот тут уже интереснее.

Dora (DevOps Research and Assessment), исследовательская команда Google Cloud, на протяжении 10 лет собирает данные и выявляет тренды в разработке и доставке (delivery) программного обеспечения. Ниже мы (наша команда ТГ-канала AI4Dev следит за отчетами Dora уже второй год) отобрали, перевели и прокомментировали самое интересное о влиянии AI на разработку из нового отчета за 2024 год.

Хочу картинки с цифрами и комментарии

#dora #google_cloud #ai #llm #разработка_софта #разработка_продуктов #delivery #devops #искусственный_интеллект | @habr_ai

MLOps: как не потеряться в 10 тысячах фич, часть 2

Первая часть — здесь.

Data lineage

Этот подход обеспечивает прослеживание связей в данных и клиентов, которые используют данные, от источника, включая промежуточные стадии, до момента потребления этих данных. Данные может потреблять сервисы, какие-то BI-системы, на которых построены дашборды, эксплуатировать данные могут люди, дата аналитики, которым это необходимо в рабочих процессах. Data lineage позволяет прозрачно взглянуть на эти вещи и отследить момент получения предагрегатов до момента эксплуатации этих данных клиентами.

Нам важен разрез, когда клиентами или целевыми заказчиками данных являются ML-модели.  Читать далее

#mlops #машинное_обучение #devops #большие_данные #big_data | @habr_ai

Куда нас вынесут большие технологические волны DevOps

В 1995 году с легкой руки Gartner в умах многих аналитиков по всему миру поселился новый термин — Gartner Hype Cycle. Как только не называли эту кривую: и цикл хайпа, и цикл зрелости, и цикл ожиданий. Но мне больше всего нравится представлять её в виде волн. Тогда в ней появляется глубокий образ — множество волн, которые в нашем технологическом мире переплетаются и рождают нашу повседневность.

Привет, Хабр! Меня зовут Антон Черноусов. Я Developer Advocate в Yandex Cloud и многие годы веду подкаст «The Art Of Programming».

Кривая Гартнера частенько помогает представить результаты прогнозов. Хотя прогнозы — дело неблагодарное. Особенно если мы попытаемся «заглянуть под капот» одной узкой сферы. Сегодня мы займемся неблагодарным делом и пристально посмотрим на мир DevOps.

Читать далее

#devops #gartner_hype_cycle #dora #datadog #ai #code_assistant #безопасная_разработка #облачные_провайдеры #platform_engineering #iac | @habr_ai

Доступные GPU для всех: знакомьтесь с PrimeWay

В последние годы искусственный интеллект и машинное обучение стали неотъемлемой частью многих отраслей. Однако доступ к высокопроизводительным GPU-ресурсам всё ещё остаётся серьёзным препятствием для многих разработчиков и компаний. Сложная инфраструктура, высокие затраты и ограниченная доступность мешают инновациям и замедляют прогресс.

Читать далее

#mlops #serverless #devops #машинное_обучение #data_science | @habr_ai

Как готовить Triton: рецепты вашей собственной Inference-платформы

Привет, Хабр! Меня зовут Антон, я DevOps-инженер в команде Data/ML-продуктов Selectel. Если вам нужно запустить небольшой инференс одной ML-модели, можно взять команду бэкендеров, дать им эту модель, они обернут ее в эндпоинт — и готово. Достаточно короткого скрипта из нескольких строк на Python. Но что если нужно запускать несколько моделей, оптимизировать выполнение, работать с ансамблем моделей, задействовать CPU и GPU одновременно и т. д.? Все эти проблемы решает NVIDIA Triton Inference Server. Правда, он добавляет одну новую: разобраться с ним и его документацией — тот еще квест.

В статье посмотрим, насколько сложной задачей может оказаться создание собственного инференса и какие аспекты нужно учитывать. Научимся запускать различные форматы моделей, посмотрим на основные фичи Inference-платформы Selectel, запустим несколько популярных LLM и моделей, а также познакомимся со способами оптимизации конфигурации и проектирования интерфейса для модели. Читать дальше →

#selectel #машинное_обучение #devops #инференс #ml_модели #инфраструктура | @habr_ai

Как бессерверные gpu делают AI доступным. Введение в платформу PrimeWay

Привет, Хабр! Сегодня мы поговорим о том, как бессерверные-технологии меняют мир GPU-вычислений. Если вы когда-нибудь сталкивались с машинным обучением, рендерингом анализа 3D-графики или большими данными, эта статья поможет вам сэкономить время, деньги и нервы. Читать далее

#mlops #devops #ai #ml #машинное_обучение #python #деплой #дообучение | @habr_ai

40 открытых уроков мая: куда движется IT в 2025 году

Весна — хорошее время обновить взгляд на технологии и практики, которые действительно работают. Мы собрали для вас подборку открытых уроков мая: без воды, с фокусом на развитие практических навыков в ИИ, разработке и архитектуре, инфраструктуре и DevOps, а также управлении IT-продуктами.

Все уроки бесплатны и проводятся онлайн — участие доступно каждому. Выбирайте интересную вам тему и записывайтесь по ссылкам ниже. Читать далее

#дайджест #открытые_уроки #машинное_обучение #разработка #devops #кибербезопасность #data_science #базы_данных #онлайн_уроки #программирование | @habr_ai

Распределённый инференс и шардирование LLM. Часть 2: скрипт vLLM, Ray Serve для вывода API и настройка KubeRay Cluster

Продолжаем пошагово разбираться с ответом на вопрос о том, как эффективно работать с передовыми LLM, используя доступное оборудование и распределённые вычисления. 

В первой части статьи мы подготовили всё необходимое для развёртывания распределённого инференса с Ray Serve и vLLM. Сегодня этим и займёмся. Мы напишем скрипт vLLM, используем Ray Serve, чтобы предоставить внешний HTTP API, а также настроим KubeRay Cluster и развернём в нём Gemma 3. Вперёд!

#llm #gpu #ai #ml #vllm #gemma3 #devops | @habr_ai

Распределённый инференс и шардирование LLM. Часть 3: настройка авторизации и интеграция с Open WebUI

Мы с вами подобрались к заключительной части статьи-инструкции об организации распределённого инференса и шардирования LLM в домашних условиях. Осталось совсем чуть-чуть — в финальной главе разберёмся, как развернуть Open WebUI через Helm и связать его с нашим Ray-кластером. Это даст возможность настроить авторизацию и удобный интерфейс для взаимодействия с нашей моделью.

В конце статьи попросим домашнюю LLM подвести итоги всей проделанной работы, а также поговорим о планах по развитию проекта. Читать далее

#ml #ai #llm #gpu #openwebui #devops #helm | @habr_ai