Запускаем Stable Diffusion на GPU AMD Radeon в Docker

Для запуска нам понадобится Ubuntu с установленными: git, make, docker и ROCm.

Инструкция по запуску короткая и простая, поэтому дополнительно разберём пример генерации изображения для этой статьи и продеманстрируем работу Stable Diffusion на AMD Radeon.

Читать далее

#stable_diffusion #tutorial #radeon #amd #rx_7900_xtx #docker #rocm | @habr_ai

Запускаем ComfyUI на GPU AMD Radeon в Docker

В этой статье я хочу рассказать об опыте контейнеризации с использованием видеокарты Radeon от AMD. В качестве примера возьмём ComfyUI и поместим его в контейнер. А в конце, для демонстрации успешной работы, создадим видео в стиле аниме.

Читать далее

#comfyui #tutorial #radeon #amd #rx_7900_xtx #docker #rocm | @habr_ai

Распределённый инференс llama.cpp через RPC

Приветствую, хабровчане!

Идея создания данной публикации крутилась в моей голове уже давно, дело в том, что одно из моих хобби связанно с распределёнными вычислениями, а другое хобби связанно с нейросетями и мне давно не давала покоя идея запустить инференс LLM на нескольких компьютерах, но так чтобы все они выполняли работу над одной и той же моделью параллельно.

Погуглив некоторое время узнал, что проект LocalAI уже относительно давно поддерживает такую возможность, недолго думая я раскатал на нескольких компьютерах данный проект, после чего выполнил все необходимые настройки связав все инстансы в единую систему и, мягко говоря, был разочарован, уж слишком "фатально-недостаточным" оказалось данное решение, Docker-образ собран неоптимально, он был огромный по весу и только под amd64, неотключаемый веб-интерфейс шел в комплекте с проектом, скупой выбор моделей, некоторые из доступных LLM не работали в режиме RPC, все эмбеддинговые модели тоже отказывались запускаться в таком режиме, и так далее и тому подобное.

Повозившись ещё немного, полез в исходники и обнаружил упоминание проекта llama.cpp, затем нашёл вызов бинарника rpc-server. И вот я оказался на странице llama.cpp/examples/rpc и всё заверте... Читать далее

#docker #llama_cpp #rpc #dockerhub #gguf #embedding #api #автоген_челлендж | @habr_ai

[Перевод] Операции машинного обучения (MLOps) для начинающих: полное внедрение проекта

Разработка, развёртывание и поддержка моделей машинного обучения в продакшене может быть сложной и трудоёмкой задачей. Здесь на помощь приходит Machine Learning Operations (MLOps) — набор практик, который автоматизирует управление ML-процессами и упрощает развёртывание моделей. В этой статье я расскажу о некоторых основных практиках и инструментах MLOps на примере реализации проекта от начала до конца. Это поможет вам эффективнее управлять ML-проектами, начиная с разработки и заканчивая мониторингом в продакшене.

Прочитав эту статью, вы узнаете, как:

— Использовать DVC для версионирования данных.

— Отслеживать логи, артефакты и регистрировать версии моделей с помощью MLflow.

— Развернуть модель с помощью FastAPI, Docker и AWS ECS.

— Отслеживать модель в продакшене с помощью Evidently AI.

Читать далее

#mlops #машинное_обучение #mlops_tools #docker #fastapi | @habr_ai

Вызов функций в Ollama

Для Ollama доступно множество интеграций. Одна из популярных — Open WebUI. Это веб-интерфейс для управления Ollama, предлагающий широкие возможности и гибкие настройки. Недавно в Open WebUI появилась поддержка плагинов Pipelines, которая позволяет вызывать функции. Читать далее

#ai #нейросети #llm #ollama #open_webui #pipelines #amd #rx_7900_xtx #rocm #docker | @habr_ai

Новые инструменты в руках разработчика и эксперта: операция «Импортозамещение»

Привет, друзья! На прошлой неделе мы взяли обратный отсчет и в ожидании боя Курантов начали знакомить вас с трендами кибербеза и ИТ и делиться прогнозами на будущее. В прошлый раз поговорили про рынок российской кибербезопасности и с какими объективными трудностями он столкнулся. Это при том, что количество угроз никуда не делось, а, напротив, даже увеличилось, и задача отрасли стала еще более трудоемкой. В этот раз поговорим, о том, как рынок выходит из сложившегося положения, какие новые технологии уже работают в кибербезе и дружат ли с ними разработчики, а какие планируется внедрить.  

Читать далее

#разработка #новые_технологии #импортозамещение #ml #devsecops #ai #linux #llm #yandex_cloud #docker | @habr_ai

Делаем свой Telegra.ph на маркдауне за три минуты и один промпт

Последние два года я почти не пишу код. Наверное, только 10% кода в моих личных и коммерческих проектах написано мной, все остальное генерируют нейронки. За это время у меня вырабатался определенный подход к созданию проектов и появились инструменты, которые я для этого использую. Этим я и хочу поделиться с вами под катом.

Под кат →

#django #python #docker #cursor #copilot #ai #prompt #web #code | @habr_ai

Запускаем ML-модели с помощью Docker и Nvidia Triton Server

Nvidia Triton Server - технология, которая значительно упрощает запуск моделей машинного обучения и их использование в веб-приложениях. Более того, Nvidia Triton Server предлагает средства для управления количеством инстансов одной модели, средства для распределения ресурсов и балансировки нагрузки между этими инстансами, также тритон сервер обладает поддержкой популярных ML-фреймворков, и это далеко не полный список предлагаемых возможностей. В общем, именно поэтому мне бы хотелось познакомить вас с данным инструментом и продемонстрировать возможности его использования в ваших приложениях. В этом гайде автор постарался собрать полезную информацию о запуске моделей машинного обучения с помощью Nvidia Triton Server в docker-контейнерах.

Читать далее

#nvidia #nvidia_triton #python #ml #docker | @habr_ai

12 событий апреля, которые нельзя пропустить

Мы собрали для вас серию открытых уроков, которые пройдут в апреле и помогут не просто разобраться в сложных темах, а применить знания на практике. Будущее AI агентов на основе LLM, Prometheus для мониторинга, как избежать хаоса в IT-проектах и как обучить модель понимать языки — на эти и не только темы поговорим с экспертами в IT. Рассмотрим реальные кейсы, обсудим опыт и получим понимание того, как внедрять эти технологии в проекты. Читать далее

#ai_агенты #scrum #seq2seq #автоматизация_тестирования #docker #apache_kafka #смарт_контракты #data_science #prometheus | @habr_ai

Автодополнение кода своими руками (Docker Ollama + JetBrains IDE)

Я: хочу автодополнение кода

Также я: у нас уже есть автодополнение кода дома

Автодополнение кода дома:

Привет, Хабр! Я Саша, разработчик из Cloud4Y. Хочу поделиться с вами своей идеей локального развёртывания нейросети для автодополнения кода. В этом примере мы будем использовать модель Qwen2.5-Coder на 14B параметров. Есть идеи, как можно сделать это ещё лучше? С радостью послушаю. Читать далее

#автодополнение_кода #ollama #docker_ollama #jetbrains_ide #разработка | @habr_ai

Разворачиваем нейросеть на бесплатном VPS: FastAPI + Hugging Face за 15 минут

Хотите запустить свою нейросеть в облаке, но нет бюджета на мощный сервер? В этой статье я покажу, как развернуть модель с Hugging Face на бесплатном VPS с помощью Docker и FastAPI. Вы получите работающий HTTP-сервис всего за 15 минут, даже если раньше не работали с развертыванием ML-моделей.

Мы разберем каждый шаг: от создания Space на Hugging Face до написания API-интерфейса на Python. В качестве примера используем модель TinyLlama, но подход подойдет для любой модели, укладывающейся в ограничения бесплатного тарифа. Я постараюсь рассказать, как обойти типичные проблемы с памятью и производительностью на слабых серверах, а также как избежать "засыпания" вашего сервиса. В статье есть готовые Dockerfile, код на Python и примеры запросов — просто повторяйте за мной и получите свой работающий AI-сервис! Читать далее

#vps #ml #docker | @habr_ai

Установил DeepSeek 1.5B на слабое железо, пока остывал мой борщ

DeepSeek 1.5B — маленький, но шустрый собрат больших языковых моделей. Работает локально, не требует железа на киловатт.

Внутри — инструкция по установке, настройке и запуску DeepSeek 1.5B на Ubuntu 24.04 с Ollama и Open WebUI. Читать далее

#deepseek #ии_модель #установка_сервера #ии #docker #ollama #ubuntu_24_04 #ии_и_машинное_обучение #генеративные_модели | @habr_ai

Как я ушёл с Kotlin (Spring Boot) на Go (Gin) и сделал AI-чат с WebSocket и GPT-4

Меня зовут Артём, я занимаюсь коммерческой разработкой с 2019 года. Последние несколько лет я активно использовал Spring Boot для создания backend-сервисов на Java и Kotlin.

Но в какой-то момент захотелось попробовать что-то новое. Не потому что Spring надоел, а просто чтобы выйти из зоны комфорта и узнать, как чувствует себя проект на другом языке. Я решил: возьму уже начатый pet-проект, перепишу его на Go — и посмотрю, как изменится подход, скорость разработки, ощущения. Читать далее

#go #gpt_4 #websocket #docker #github_actions #pet_project #jwt #kotlin | @habr_ai

Внедрение ML кластера для масштабирования AI сервисов

Привет! С вами Олег, Рамиль и Андрей из Flocktory. Мы руководим машинным обучением и разработкой в компании, сейчас активно внедряем AI для лучшей персонализации. В прошлом году наши команды реализовали ML-сервисы, внедрили ML Feature Store и переработали жизненный цикл моделей (о чём мы подробно рассказывали на HighLoad++: https://highload.ru/moscow/2024/abstracts/12929). В этой статье поразмышляем над следующим шагом для среднего размера компании, которая внедряет AI – как масштабировать проекты машинного обучения. Обработка, анализ и обучение на данных влекут за собой применение ML систем, в том числе нейросетей. Это требует больших вычислительных ресурсов: сотни гигабайт ОЗУ, десятки ядер CPU, а также видеокарты и (или) специальные чипы для ускорения вычислений.

Рассмотрим основные варианты ресурсов, которые можно использовать, сложности, связанные с их эксплуатацией, целесообразность вложений и vendor lock. Но сначала поговорим о природе трудностей, возникающих при масштабировании. Читать далее

#ml #масштабирование #docker #kubernetes #ai #архитектура_по | @habr_ai

To Docker or not to Docker? Вот в чём JupyterLab

Локальная работа в Jupyter-ноутбуках – неотъемлемая часть исследований и экспериментов нашего ML-отдела. Но из какой среды эти ноутбуки лучше запускать?

Мы пользуемся двумя вариантами: запуском из Docker-контейнера и запуском в изолированном локальном poetry-окружении.

В статье соберем минимальный сетап для работы с Jupyter-ноутбуками и ссылки на полезные ресурсы для ознакомления. Читать далее

#poetry #docker #docker_compose #mlops #ml #jupyterlab #jupyter #jupyter_notebook #infrastructure #mlops_tools | @habr_ai

Запускаем Aider в Docker

Для локального вайб-кодинга понадобятся: Docker, make и видеокарта (либо арендованный сервер). Далее набираем шесть несложных команд и ловим вайб. Читать далее

#вайб_кодинг #aider #ollama #docker | @habr_ai

Шпаргалка по установке драйверов NVIDIA на ML сервер

Данный материал предназначен для быстрой и последовательной установки драйверов NVIDIA, в том числе для видеокарт 50xx серии, а также настройки NVIDIA Container Toolkit. Эта инструкция актуальна для Linux-систем на базе Ubuntu и других Debian-совместимых дистрибутивов. Читать далее

#nvidia #docker #ubuntu #драйвер #установка #gpu #cuda #nvidia_smi #container #linux | @habr_ai

BlackWave: Как я создал симулятор соцсети с тысячами ИИ-ботов и почему перешёл на Python

Эта статья — не просто рассказ о разработке. Это путь от сумасшедшей идеи «социальной сети для одного» до полноценной open-source платформы, где каждый бот — личность. Я поделюсь тем, как строил архитектуру, зачем отказался от C# в пользу Python и почему важно, чтобы ИИ-боты вели себя не как алгоритмы, а как настоящие люди. Читать

#python #django #fastapi #искусственный_интеллект #социальные_сети #открытый_код #docker #docker_compose #ai #векторные_базы_данных | @habr_ai

Telegram AI Companion: веселый проект на Rust, Telegram и локальном ИИ

Привет, Хабр! 👋

Недавно я собрал небольшой, но бодрый pet-проект — Telegram AI Companion. Это Telegram-бот, который умеет болтать с вами, используя локальную языковую модель через LocalAI. Без OpenAI, без облаков — всё на своём железе.

Цель проекта — не революция в AI, а именно учебное и увлекательное погружение в Rust, асинхронность, Telegram API и локальные LLM-модели. Такой себе “бот-компаньон”, но больше для разработчика, чем пользователя :)

Если вам интересно: Читать далее

#rust #telegram_bot #localai #llm #docker #actix #openai #ai #ngrok #natural_language_processing | @habr_ai

GPT-OSS-20B, H100: выжимаем 156 миллиардов токенов в месяц

После релиза GPT-OSS-20B от OpenAI было много новостей, но конкретных бенчмарков с реальными цифрами я так и не нашел.

Решил выжать из модели максимум на H100 PCIe 80GB. Что получилось: до 60K токенов/сек c 91% загрузка GPU. Внутри пишу, как я это сделал по шагам! Читать далее

#gpt_oss_20b #vllm #gpt_oss_20b_benchmark #локальная_llm #vram_использование #llm #h100 #h100_pcie #tps_токены_в_секунду #docker_gpt_oss | @habr_ai