Мозг промышленного масштаба или как воплотить мечту в реальность?
В предыдущей статье мы рассмотрели различные типы нейросетей и обсудили, какие задачи можно решать с их помощью. Теперь рассмотрим задачу искусственного интеллекта с организационной и технической точки зрения. При работе над сложными проектами обычно вовлечена команда разработчиков и специалистов по обработке данных, у которых сразу возникают вопросы: как управлять проектом, совместно разрабатывать модель машинного обучения (Machine Learning model), проводить ее тестирование, каким образом синхронизировать код и результаты экспериментов? После разработки и оптимизации ML-модели возникает необходимость ее развертывания в промышленной среде. Все эти проблемы могут казаться менее увлекательными, чем решение самой задачи машинного обучения, но они имеют критическое значение для успешной реализации ML-проектов. В этой статье мы подробно рассмотрим жизненный цикл ML-сервиса от идеи до разработки и внедрения, а также инструменты и принципы, используемые на каждом этапе. Читать далее

#mlflow #mlops #mlops_tools #data_analysis #data_science #ml_модель #ml_инженер #docker #kubernetes #project_management | @habr_ai

Запускаем PrivateGPT на GPU AMD Radeon в Docker

PrivateGPT — это проект, который расширяет возможности работы LLM-моделей, позволяя добавлять неограниченное количество личных данных.

31 октября 2023 AMD Radeon предоставила поддержку PyTorch для любительских видеокарт. Полный список видеокарт и ОС можно посмотреть здесь. Описанная инструкция протестирована на AMD Radeon RX 7900 XTX.

Для запуска нам понадобится Ubuntu с установленными: git, make, docker и ROCm.

Читать далее

#privategpt #radeon #ai #ии #машинное_обучение #amd #rx_7900_xtx #docker #rocm | @habr_ai

ChatGPT + YandexGPT API = ЛЮБОФ. Часть 1

Сказ о том, как мы, дата-сайентист и аналитик данных, на троих с ChatGPT, без программиста и девопса, создали сервис пересказа новостей TechMix с текстом и озвучкой. ChatGPT писал код, а мы ему только поддакивали.

Авторы: Эдуард Ланчев, Илья Кузнецов, ChatGPT

Третьим будешь? (вместо вступления)

Собрались мы с Ильёй написать сервис, который берет зарубежные Tech-новости и пересказывает их на русский. И не простой сервис в монолите, а с кучей микросервисов, шиной, базой данных, логированием, парой моделек машинного обучения под капотом, работой с парой внешних API, да еще и с CI/CD. И не просто написать, а чтобы потом можно было масштабировать, добавляя другие сервисы. 

Собрались, а рядом ни программиста, ни девопса нет. А хотя бы третий в команду точно нужен — факт, известный всем. Время идет, ничего не меняется, ночь сменяется днем и так по кругу. И в какой-то момент открыли мы браузер и написали первому, кто под руку попал:

— Третьим будешь?

— Какой контекст у этой фразы в вашем случае?

— Нам программист нужен. Будешь третьим в команде?

— Звучит интересно! 

Хотели уже с ним по зуму пообщаться, а оказалось, чаты перепутали и это ChatGPT. Хоть и железка, но мы ж уже договорились. Вот так и стали втроем работать: Илья, я и наш неожиданный помощник ChatGPT.

Читать далее

#chatgpt #yandexgpt #искусственный_интеллект #python #микросервисы #docker_compose #rabbitmq #clickhouse #telegram_bot #управление_проектами | @habr_ai

Запускаем Stable Diffusion на GPU AMD Radeon в Docker

Для запуска нам понадобится Ubuntu с установленными: git, make, docker и ROCm.

Инструкция по запуску короткая и простая, поэтому дополнительно разберём пример генерации изображения для этой статьи и продеманстрируем работу Stable Diffusion на AMD Radeon.

Читать далее

#stable_diffusion #tutorial #radeon #amd #rx_7900_xtx #docker #rocm | @habr_ai

Запускаем ComfyUI на GPU AMD Radeon в Docker

В этой статье я хочу рассказать об опыте контейнеризации с использованием видеокарты Radeon от AMD. В качестве примера возьмём ComfyUI и поместим его в контейнер. А в конце, для демонстрации успешной работы, создадим видео в стиле аниме.

Читать далее

#comfyui #tutorial #radeon #amd #rx_7900_xtx #docker #rocm | @habr_ai

Распределённый инференс llama.cpp через RPC

Приветствую, хабровчане!

Идея создания данной публикации крутилась в моей голове уже давно, дело в том, что одно из моих хобби связанно с распределёнными вычислениями, а другое хобби связанно с нейросетями и мне давно не давала покоя идея запустить инференс LLM на нескольких компьютерах, но так чтобы все они выполняли работу над одной и той же моделью параллельно.

Погуглив некоторое время узнал, что проект LocalAI уже относительно давно поддерживает такую возможность, недолго думая я раскатал на нескольких компьютерах данный проект, после чего выполнил все необходимые настройки связав все инстансы в единую систему и, мягко говоря, был разочарован, уж слишком "фатально-недостаточным" оказалось данное решение, Docker-образ собран неоптимально, он был огромный по весу и только под amd64, неотключаемый веб-интерфейс шел в комплекте с проектом, скупой выбор моделей, некоторые из доступных LLM не работали в режиме RPC, все эмбеддинговые модели тоже отказывались запускаться в таком режиме, и так далее и тому подобное.

Повозившись ещё немного, полез в исходники и обнаружил упоминание проекта llama.cpp, затем нашёл вызов бинарника rpc-server. И вот я оказался на странице llama.cpp/examples/rpc и всё заверте... Читать далее

#docker #llama_cpp #rpc #dockerhub #gguf #embedding #api #автоген_челлендж | @habr_ai

[Перевод] Операции машинного обучения (MLOps) для начинающих: полное внедрение проекта

Разработка, развёртывание и поддержка моделей машинного обучения в продакшене может быть сложной и трудоёмкой задачей. Здесь на помощь приходит Machine Learning Operations (MLOps) — набор практик, который автоматизирует управление ML-процессами и упрощает развёртывание моделей. В этой статье я расскажу о некоторых основных практиках и инструментах MLOps на примере реализации проекта от начала до конца. Это поможет вам эффективнее управлять ML-проектами, начиная с разработки и заканчивая мониторингом в продакшене.

Прочитав эту статью, вы узнаете, как:

— Использовать DVC для версионирования данных.

— Отслеживать логи, артефакты и регистрировать версии моделей с помощью MLflow.

— Развернуть модель с помощью FastAPI, Docker и AWS ECS.

— Отслеживать модель в продакшене с помощью Evidently AI.

Читать далее

#mlops #машинное_обучение #mlops_tools #docker #fastapi | @habr_ai

Вызов функций в Ollama

Для Ollama доступно множество интеграций. Одна из популярных — Open WebUI. Это веб-интерфейс для управления Ollama, предлагающий широкие возможности и гибкие настройки. Недавно в Open WebUI появилась поддержка плагинов Pipelines, которая позволяет вызывать функции. Читать далее

#ai #нейросети #llm #ollama #open_webui #pipelines #amd #rx_7900_xtx #rocm #docker | @habr_ai

Новые инструменты в руках разработчика и эксперта: операция «Импортозамещение»

Привет, друзья! На прошлой неделе мы взяли обратный отсчет и в ожидании боя Курантов начали знакомить вас с трендами кибербеза и ИТ и делиться прогнозами на будущее. В прошлый раз поговорили про рынок российской кибербезопасности и с какими объективными трудностями он столкнулся. Это при том, что количество угроз никуда не делось, а, напротив, даже увеличилось, и задача отрасли стала еще более трудоемкой. В этот раз поговорим, о том, как рынок выходит из сложившегося положения, какие новые технологии уже работают в кибербезе и дружат ли с ними разработчики, а какие планируется внедрить.  

Читать далее

#разработка #новые_технологии #импортозамещение #ml #devsecops #ai #linux #llm #yandex_cloud #docker | @habr_ai

Делаем свой Telegra.ph на маркдауне за три минуты и один промпт

Последние два года я почти не пишу код. Наверное, только 10% кода в моих личных и коммерческих проектах написано мной, все остальное генерируют нейронки. За это время у меня вырабатался определенный подход к созданию проектов и появились инструменты, которые я для этого использую. Этим я и хочу поделиться с вами под катом.

Под кат →

#django #python #docker #cursor #copilot #ai #prompt #web #code | @habr_ai

Запускаем ML-модели с помощью Docker и Nvidia Triton Server

Nvidia Triton Server - технология, которая значительно упрощает запуск моделей машинного обучения и их использование в веб-приложениях. Более того, Nvidia Triton Server предлагает средства для управления количеством инстансов одной модели, средства для распределения ресурсов и балансировки нагрузки между этими инстансами, также тритон сервер обладает поддержкой популярных ML-фреймворков, и это далеко не полный список предлагаемых возможностей. В общем, именно поэтому мне бы хотелось познакомить вас с данным инструментом и продемонстрировать возможности его использования в ваших приложениях. В этом гайде автор постарался собрать полезную информацию о запуске моделей машинного обучения с помощью Nvidia Triton Server в docker-контейнерах.

Читать далее

#nvidia #nvidia_triton #python #ml #docker | @habr_ai

12 событий апреля, которые нельзя пропустить

Мы собрали для вас серию открытых уроков, которые пройдут в апреле и помогут не просто разобраться в сложных темах, а применить знания на практике. Будущее AI агентов на основе LLM, Prometheus для мониторинга, как избежать хаоса в IT-проектах и как обучить модель понимать языки — на эти и не только темы поговорим с экспертами в IT. Рассмотрим реальные кейсы, обсудим опыт и получим понимание того, как внедрять эти технологии в проекты. Читать далее

#ai_агенты #scrum #seq2seq #автоматизация_тестирования #docker #apache_kafka #смарт_контракты #data_science #prometheus | @habr_ai

Автодополнение кода своими руками (Docker Ollama + JetBrains IDE)

Я: хочу автодополнение кода

Также я: у нас уже есть автодополнение кода дома

Автодополнение кода дома:

Привет, Хабр! Я Саша, разработчик из Cloud4Y. Хочу поделиться с вами своей идеей локального развёртывания нейросети для автодополнения кода. В этом примере мы будем использовать модель Qwen2.5-Coder на 14B параметров. Есть идеи, как можно сделать это ещё лучше? С радостью послушаю. Читать далее

#автодополнение_кода #ollama #docker_ollama #jetbrains_ide #разработка | @habr_ai

Разворачиваем нейросеть на бесплатном VPS: FastAPI + Hugging Face за 15 минут

Хотите запустить свою нейросеть в облаке, но нет бюджета на мощный сервер? В этой статье я покажу, как развернуть модель с Hugging Face на бесплатном VPS с помощью Docker и FastAPI. Вы получите работающий HTTP-сервис всего за 15 минут, даже если раньше не работали с развертыванием ML-моделей.

Мы разберем каждый шаг: от создания Space на Hugging Face до написания API-интерфейса на Python. В качестве примера используем модель TinyLlama, но подход подойдет для любой модели, укладывающейся в ограничения бесплатного тарифа. Я постараюсь рассказать, как обойти типичные проблемы с памятью и производительностью на слабых серверах, а также как избежать "засыпания" вашего сервиса. В статье есть готовые Dockerfile, код на Python и примеры запросов — просто повторяйте за мной и получите свой работающий AI-сервис! Читать далее

#vps #ml #docker | @habr_ai

Установил DeepSeek 1.5B на слабое железо, пока остывал мой борщ

DeepSeek 1.5B — маленький, но шустрый собрат больших языковых моделей. Работает локально, не требует железа на киловатт.

Внутри — инструкция по установке, настройке и запуску DeepSeek 1.5B на Ubuntu 24.04 с Ollama и Open WebUI. Читать далее

#deepseek #ии_модель #установка_сервера #ии #docker #ollama #ubuntu_24_04 #ии_и_машинное_обучение #генеративные_модели | @habr_ai

Как я ушёл с Kotlin (Spring Boot) на Go (Gin) и сделал AI-чат с WebSocket и GPT-4

Меня зовут Артём, я занимаюсь коммерческой разработкой с 2019 года. Последние несколько лет я активно использовал Spring Boot для создания backend-сервисов на Java и Kotlin.

Но в какой-то момент захотелось попробовать что-то новое. Не потому что Spring надоел, а просто чтобы выйти из зоны комфорта и узнать, как чувствует себя проект на другом языке. Я решил: возьму уже начатый pet-проект, перепишу его на Go — и посмотрю, как изменится подход, скорость разработки, ощущения. Читать далее

#go #gpt_4 #websocket #docker #github_actions #pet_project #jwt #kotlin | @habr_ai