Мозг промышленного масштаба или как воплотить мечту в реальность?
В предыдущей статье мы рассмотрели различные типы нейросетей и обсудили, какие задачи можно решать с их помощью. Теперь рассмотрим задачу искусственного интеллекта с организационной и технической точки зрения. При работе над сложными проектами обычно вовлечена команда разработчиков и специалистов по обработке данных, у которых сразу возникают вопросы: как управлять проектом, совместно разрабатывать модель машинного обучения (Machine Learning model), проводить ее тестирование, каким образом синхронизировать код и результаты экспериментов? После разработки и оптимизации ML-модели возникает необходимость ее развертывания в промышленной среде. Все эти проблемы могут казаться менее увлекательными, чем решение самой задачи машинного обучения, но они имеют критическое значение для успешной реализации ML-проектов. В этой статье мы подробно рассмотрим жизненный цикл ML-сервиса от идеи до разработки и внедрения, а также инструменты и принципы, используемые на каждом этапе. Читать далее

#mlflow #mlops #mlops_tools #data_analysis #data_science #ml_модель #ml_инженер #docker #kubernetes #project_management | @habr_ai

Новые процессоры, апдейт TimescaleDB, кешбэк за S3 и многое другое: что мы обновили в апреле

Привет! С вами снова Саша, технический писатель в Selectel. В этом дайджесте рассказываю, как обновились наши продукты в апреле, раскрываю подробности новых акций и напоминаю о квизе для новичков и профи в IT. Читать дальше →

#selectel #процессоры #облачные_серверы #выделенные_серверы #kubernetes #ml #dns | @habr_ai

Масштабирование глубокого обучения с помощью Horovod и Kubernetes

Horovod — это фреймворк для распределенного глубокого обучения, изначально разработанный в Uber. Он позволяет масштабировать обучение моделей на сотни и тысячи GPU, сокращая время тренировки с недель до часов. Horovod поддерживает такие фреймворки, как TensorFlow, Keras, PyTorch и Apache MXNet, и легко интегрируется с существующими кодовыми базами, требуя минимум изменений.

В статье как раз и пойдет речь о том, как масштабировать модельки с помощью Horovod и Kubernetes.

Читать далее

#kubernetes #horovod #глубокое_обучение #dl #ml | @habr_ai

Как справиться с нагрузкой в черную пятницу? Автоскейлинг инференса в Kubernetes

У многих наступление осени вызывает разные чувства и эмоции: от ностальгии во время просмотра Гарри Поттера под теплым пледом до депрессивных мыслей у дождливого окна в кофейне. Именно в этот период компании проводят масштабные мероприятия, одно из них — известная черная пятница. Клиенты пытаются «урвать» по хорошей скидке товары и купить подарки к Новому году. В связи с этим «атакуют» своим трафиком популярные сайты e-commerce, которые могут быть не готовы к такой нагрузке.

Ни для кого не секрет, как сохранить и инфраструктуру в пиковые нагрузки, и трафик клиентов. При этом не понести большие убытки. Деплоим сервис в облако, скейлим ресурсы по требованию и радуемся продажам! Но это в e-commerce, мы же с вами интересуемся ML production.

Привет, Хабр! Я — Антон, DevOps-инженер в команде Data/ML-продуктов Selectel. В этой статье расскажу, зачем нужен автоскейлинг GPU-ресурсов, как настроить масштабирование реплик в Kubernetes по трафику, а также как сделать свой высоконагруженный ChatGPT. Читать дальше →

#selectel #автоскейлинг #kubernetes #devops | @habr_ai

Обзор k8sgpt: как искусственный интеллект помогает обучать DevOps-инженеров

В статье мы расскажем, что за утилита k8sgpt, как её поставить, какие есть полезные опции и как подключить к ней AI. Также покажем, какого уровня диагностику можно провести с помощью этого инструмента и на какие ответы чат-бота можно рассчитывать.

Читать далее

#ai #k8s #devops #ии #gpt_4 #gpt #k8sgpt #kubernetes #искусственный_интеллект #обучение | @habr_ai

Прощай, программист? AI уже пишет код лучше тебя

Дмитрий Рожков, менеджер команды Kubernetes-сервисов и создатель популярного YouTube-канала Senior Software Vlogger, поделился своим опытом тестирования AI-ассистентов для программирования. Он рассказал о том, способны ли нейросети заменить программистов, какие подводные камни ждут при работе с AI-помощниками и почему мы до сих пор не видим бума новых приложений, созданных с помощью искусственного интеллекта.

Читать далее

#ai_программирование #искусственный_интеллект_ai_ #программисты #kubernetes #будущее_программирования | @habr_ai

Разворачиваем Langfuse в Kubernetes: open-source альтернатива Langsmith

Привет, Хабр! Меня зовут Арсений @kazars24, я студент 2 курса магистратуры [AI] Talent Hub и ML инженер в компании Вита. Последнее время я активно занимаюсь разработкой LLM-приложений, и в процессе работы столкнулся с необходимостью их мониторинга. После долгих поисков и экспериментов я нашел отличное решение — Langfuse, о котором сегодня и поговорим. Читать далее

#langfuse #kubernetes #llm_приложения #мониторинг_приложений #postgresql #open_source #machine_learning | @habr_ai

Цифровой двойник: не просто копия, а твой персональный баг-репорт реального мира

Пока одни обсуждают метавселенные и ИИ, инженеры и разработчики уже строят цифровых двойников — виртуальных клонов реальных объектов, систем и людей. Эта статья — попытка разобраться без прикрас и с примерами, как устроена такая технология, какие инструменты сейчас в ходу, с чем сталкиваются разработчики, и где всё это реально применяется — от предсказания отказов турбин до мониторинга состояния коров в Новой Зеландии. Читать далее

#цифровой_двойник #симуляция #iot #предиктивная_аналитика #моделирование #kubernetes #python #графовые_базы_данных #scada #виртуализация | @habr_ai

Распределённый инференс и шардирование LLM. Часть 1: настройка GPU, проброс в Proxmox и настройка Kubernetes

Когда модель DeepSeek R1 стала широко обсуждаться в сообществе, я заинтересовался, можно ли эффективно использовать её и другие крупные модели в домашних условиях, не прибегая к дорогостоящим облачным сервисам. Поскольку DevOps и инфраструктурой я увлекаюсь уже несколько лет, у меня постепенно сформировалась домашняя лаборатория, на которой я и решил проверить эту идею. 

Эта статья в трёх частях — результат моего опыта в решении этой задачи. Внутри вас ждёт пошаговое руководство по реализации бюджетного распределённого инференса с использованием Ray Serve, vLLM, Kubernetes, Proxmox и других технологий. В первой части мы разберём настройку GPU и его проброс в Proxmox, развернём Kubernetes-кластер, установим GPU Operator и KubeRay Operator. Поехали!

#llm #ml #ai #gpu #proxmox #deckhouse_kubernetes_platform #kubernetes #pci_passthrough | @habr_ai

Внедрение ML кластера для масштабирования AI сервисов

Привет! С вами Олег, Рамиль и Андрей из Flocktory. Мы руководим машинным обучением и разработкой в компании, сейчас активно внедряем AI для лучшей персонализации. В прошлом году наши команды реализовали ML-сервисы, внедрили ML Feature Store и переработали жизненный цикл моделей (о чём мы подробно рассказывали на HighLoad++: https://highload.ru/moscow/2024/abstracts/12929). В этой статье поразмышляем над следующим шагом для среднего размера компании, которая внедряет AI – как масштабировать проекты машинного обучения. Обработка, анализ и обучение на данных влекут за собой применение ML систем, в том числе нейросетей. Это требует больших вычислительных ресурсов: сотни гигабайт ОЗУ, десятки ядер CPU, а также видеокарты и (или) специальные чипы для ускорения вычислений.

Рассмотрим основные варианты ресурсов, которые можно использовать, сложности, связанные с их эксплуатацией, целесообразность вложений и vendor lock. Но сначала поговорим о природе трудностей, возникающих при масштабировании. Читать далее

#ml #масштабирование #docker #kubernetes #ai #архитектура_по | @habr_ai

Как построить безопасный MLOps-pipeline: Tier-уровни зрелости, принципы и реальные инструменты

На практике продакшен-модели чаще всего «падают» из-за трёх вещей: несоответствие с инфраструктурой, дрейфа данных, и ошибочного отката/обновления версии.

Единый гайд по безопасной разработке ML-моделей — от хаотичного до полностью автоматизированного уровня зрелости.

Что внутри:

Как применять Infrastructure-as-Code для ML-кластеров и не оставлять открытые порты;

Зачем даже маленькой команде нужен Feature Store и как избежать training-serving skew;

Где прячутся CVE в ML-библиотеках и как их ловить до релиза;

Канареечный деплой с авто-откатом по метрикам и разумными порогами;

мониторинг дрейфа данных и качества модели в реальном времени;

Чек-лист DevSecOps: от тега в Model Registry до регулярных Model Review.

Материал поможет выстроить MLOps-процесс, устойчивый к атакам и сбоям, не превращая релизы моделей в ночной марафон. Читать далее

#mlsecops #mlops #devsecops #ai_security #ai_safety #безопасная_разработка_ml #жизненный_цикл_ml_модели #kubernetes_ml | @habr_ai

Как я автоматизировал деплой аналитической платформы для спортивных данных на базе нестабильного API

Разбираю кейс построения отказоустойчивого пайплайна для аналитики спортивных данных на базе нестабильного API dingerodds com. В статье — реализация обёртки с ретраями и балансировкой, деплой в Kubernetes с автоскейлингом, CI/CD через GitLab и хранение данных в Parquet (MinIO). Показываю, как превратить ненадёжный источник в стабильную платформу для ML и аналитики. Читать далее

#dingerodds #api_обёртка #kubernetes #cicd #devops #parquet #etl #data_engineering #ml_pipeline | @habr_ai

7 кругов ада: практический гид по выбору стека для ML-разработки

Сколько раз за последние пару-тройку вы меняли свой AI/ML стек? Если ответ «ни разу» — либо у вас железная дисциплина, либо вы просто не следите за тем, что происходит в индустрии. McKinsey Global Survey показывает, что adoption AI вырос с 50% до 72% только за последний год. Это означает, что пока вы размышляете над выбором между PyTorch и TensorFlow, ваши конкуренты уже запускают production-модели на совершенно других стеках. 

Проблема не в том, что инструментов мало — а в том, что их чертовски много. Современный ML/AI стек превратился в слоеный пирог из семи уровней: от ИИ-инфраструктуры в самом низу до слоя ИИ-решений наверху. Каждый уровень предлагает десятки вариантов, от которых глаза разбегаются даже у матерых разработчиков, но хаос поддается систематизации. В этой статье мы расскажем о любимых инструментах, препарируем популярные решения, и разберемся, как выбрать стек, который не превратится в тыкву через полгода.  Читать далее

#ml #стек #инструменты_разработки #pytorch #tensorflow #grafana #python #postgresql #pandas #kubernetes | @habr_ai

Вайб-кодинг с доставкой на дом

Для многих рынок ИИ-решений представляется как конкурентная борьба облачных и open source-моделей, но спектр применения языковых моделей постоянно расширяется, закрывая все более узкие ниши. И сейчас все больше команд, даже среди лидеров, выкладывают свои специализированные модели в общий доступ открытыми не только для запуска, но и дообучения и доработок. Эти модели часто имеют более скромные системные требования по сравнению с облачными. Иногда настолько, что некоторые из них можно запускать на мобильных и встраиваемых устройствах даже без специальных нейро- или графических вычислителей. Такие тенденции требуют от ИТ-специалистов навыков в обращении с моделями, некоторые из которых мы рассмотрим в данной статье на примере настройки модели, ассистирующей в разработке программного кода на локальном ПК. Учитывая высокую динамику развития индустрии ИИ, приведенные решения не могут быть ультимативными и актуальными, однако, возможно, кому-то он помогут продвинуться в освоении навыков работы с LLM-моделями (Large Language Models - Большие языковые модели).  Читать далее

#ollama #llama_cpp #вайб_кодинг #kubernetes | @habr_ai

Как CEO за ночь решил запустить AI-хакатон: техническая исповедь о 48 часах и рождении MVP

Глубокой ночью CEO компании решает рискнуть: всего 48 часов на создание AI-ревьювера кода. Что это — безумие или дальновидность? История хакатона MergeSensei без прикрас: как команда собрала MVP за выходные и что из этого вышло. Читать далее

#ai #code_review #хакатон #mvp #kubernetes #ci_cd #стартап #разработка #архитектура #управление_командой | @habr_ai