Автодополнение кода своими руками (Docker Ollama + JetBrains IDE)

Я: хочу автодополнение кода

Также я: у нас уже есть автодополнение кода дома

Автодополнение кода дома:

Привет, Хабр! Я Саша, разработчик из Cloud4Y. Хочу поделиться с вами своей идеей локального развёртывания нейросети для автодополнения кода. В этом примере мы будем использовать модель Qwen2.5-Coder на 14B параметров. Есть идеи, как можно сделать это ещё лучше? С радостью послушаю. Читать далее

#автодополнение_кода #ollama #docker_ollama #jetbrains_ide #разработка | @habr_ai

Разворачиваем нейросеть на бесплатном VPS: FastAPI + Hugging Face за 15 минут

Хотите запустить свою нейросеть в облаке, но нет бюджета на мощный сервер? В этой статье я покажу, как развернуть модель с Hugging Face на бесплатном VPS с помощью Docker и FastAPI. Вы получите работающий HTTP-сервис всего за 15 минут, даже если раньше не работали с развертыванием ML-моделей.

Мы разберем каждый шаг: от создания Space на Hugging Face до написания API-интерфейса на Python. В качестве примера используем модель TinyLlama, но подход подойдет для любой модели, укладывающейся в ограничения бесплатного тарифа. Я постараюсь рассказать, как обойти типичные проблемы с памятью и производительностью на слабых серверах, а также как избежать "засыпания" вашего сервиса. В статье есть готовые Dockerfile, код на Python и примеры запросов — просто повторяйте за мной и получите свой работающий AI-сервис! Читать далее

#vps #ml #docker | @habr_ai

Установил DeepSeek 1.5B на слабое железо, пока остывал мой борщ

DeepSeek 1.5B — маленький, но шустрый собрат больших языковых моделей. Работает локально, не требует железа на киловатт.

Внутри — инструкция по установке, настройке и запуску DeepSeek 1.5B на Ubuntu 24.04 с Ollama и Open WebUI. Читать далее

#deepseek #ии_модель #установка_сервера #ии #docker #ollama #ubuntu_24_04 #ии_и_машинное_обучение #генеративные_модели | @habr_ai

Как я ушёл с Kotlin (Spring Boot) на Go (Gin) и сделал AI-чат с WebSocket и GPT-4

Меня зовут Артём, я занимаюсь коммерческой разработкой с 2019 года. Последние несколько лет я активно использовал Spring Boot для создания backend-сервисов на Java и Kotlin.

Но в какой-то момент захотелось попробовать что-то новое. Не потому что Spring надоел, а просто чтобы выйти из зоны комфорта и узнать, как чувствует себя проект на другом языке. Я решил: возьму уже начатый pet-проект, перепишу его на Go — и посмотрю, как изменится подход, скорость разработки, ощущения. Читать далее

#go #gpt_4 #websocket #docker #github_actions #pet_project #jwt #kotlin | @habr_ai

Внедрение ML кластера для масштабирования AI сервисов

Привет! С вами Олег, Рамиль и Андрей из Flocktory. Мы руководим машинным обучением и разработкой в компании, сейчас активно внедряем AI для лучшей персонализации. В прошлом году наши команды реализовали ML-сервисы, внедрили ML Feature Store и переработали жизненный цикл моделей (о чём мы подробно рассказывали на HighLoad++: https://highload.ru/moscow/2024/abstracts/12929). В этой статье поразмышляем над следующим шагом для среднего размера компании, которая внедряет AI – как масштабировать проекты машинного обучения. Обработка, анализ и обучение на данных влекут за собой применение ML систем, в том числе нейросетей. Это требует больших вычислительных ресурсов: сотни гигабайт ОЗУ, десятки ядер CPU, а также видеокарты и (или) специальные чипы для ускорения вычислений.

Рассмотрим основные варианты ресурсов, которые можно использовать, сложности, связанные с их эксплуатацией, целесообразность вложений и vendor lock. Но сначала поговорим о природе трудностей, возникающих при масштабировании. Читать далее

#ml #масштабирование #docker #kubernetes #ai #архитектура_по | @habr_ai

To Docker or not to Docker? Вот в чём JupyterLab

Локальная работа в Jupyter-ноутбуках – неотъемлемая часть исследований и экспериментов нашего ML-отдела. Но из какой среды эти ноутбуки лучше запускать?

Мы пользуемся двумя вариантами: запуском из Docker-контейнера и запуском в изолированном локальном poetry-окружении.

В статье соберем минимальный сетап для работы с Jupyter-ноутбуками и ссылки на полезные ресурсы для ознакомления. Читать далее

#poetry #docker #docker_compose #mlops #ml #jupyterlab #jupyter #jupyter_notebook #infrastructure #mlops_tools | @habr_ai

Запускаем Aider в Docker

Для локального вайб-кодинга понадобятся: Docker, make и видеокарта (либо арендованный сервер). Далее набираем шесть несложных команд и ловим вайб. Читать далее

#вайб_кодинг #aider #ollama #docker | @habr_ai

Шпаргалка по установке драйверов NVIDIA на ML сервер

Данный материал предназначен для быстрой и последовательной установки драйверов NVIDIA, в том числе для видеокарт 50xx серии, а также настройки NVIDIA Container Toolkit. Эта инструкция актуальна для Linux-систем на базе Ubuntu и других Debian-совместимых дистрибутивов. Читать далее

#nvidia #docker #ubuntu #драйвер #установка #gpu #cuda #nvidia_smi #container #linux | @habr_ai

BlackWave: Как я создал симулятор соцсети с тысячами ИИ-ботов и почему перешёл на Python

Эта статья — не просто рассказ о разработке. Это путь от сумасшедшей идеи «социальной сети для одного» до полноценной open-source платформы, где каждый бот — личность. Я поделюсь тем, как строил архитектуру, зачем отказался от C# в пользу Python и почему важно, чтобы ИИ-боты вели себя не как алгоритмы, а как настоящие люди. Читать

#python #django #fastapi #искусственный_интеллект #социальные_сети #открытый_код #docker #docker_compose #ai #векторные_базы_данных | @habr_ai

Telegram AI Companion: веселый проект на Rust, Telegram и локальном ИИ

Привет, Хабр! 👋

Недавно я собрал небольшой, но бодрый pet-проект — Telegram AI Companion. Это Telegram-бот, который умеет болтать с вами, используя локальную языковую модель через LocalAI. Без OpenAI, без облаков — всё на своём железе.

Цель проекта — не революция в AI, а именно учебное и увлекательное погружение в Rust, асинхронность, Telegram API и локальные LLM-модели. Такой себе “бот-компаньон”, но больше для разработчика, чем пользователя :)

Если вам интересно: Читать далее

#rust #telegram_bot #localai #llm #docker #actix #openai #ai #ngrok #natural_language_processing | @habr_ai

GPT-OSS-20B, H100: выжимаем 156 миллиардов токенов в месяц

После релиза GPT-OSS-20B от OpenAI было много новостей, но конкретных бенчмарков с реальными цифрами я так и не нашел.

Решил выжать из модели максимум на H100 PCIe 80GB. Что получилось: до 60K токенов/сек c 91% загрузка GPU. Внутри пишу, как я это сделал по шагам! Читать далее

#gpt_oss_20b #vllm #gpt_oss_20b_benchmark #локальная_llm #vram_использование #llm #h100 #h100_pcie #tps_токены_в_секунду #docker_gpt_oss | @habr_ai