📣 Multimodal Coding Agent Team — мультиагентная система из awesome‑llm‑apps, объединяющая несколько LLM‑моделей для совместного кодирования и визуальной поддержки. Идеальна для демонстрации, как инструменты взаимодействуют при создании UI + логики.

📌 Особенности Multimodal Coding Agent Team:
⭐️ Разделение труда между агентами — кодинг, ревью, визуализация
⭐️ Поддерживает текст и изображения — мультимодальность в действии
⭐️ Отлично подходит для реального кейса создания front-end/UI вместе с логикой

⚙Архитектура и параметры
⭐️ Использует AgentToolkit или кастомный фреймворк для маршрутизации между агентами
⭐️ ЛLM: Qwen‑серия, LLaMA 3, GPT‑4o (через Ollama или API)
⭐️ Интерфейс на Streamlit/Flask — легко запуск, демонстрация в браузере

✅ Преимущества
⭐️ Демонстрирует реальный TEAM‑workflow из мира ИИ‑разработки
⭐️ Включает UI‑агента, что делает процесс наглядным и интерактивным
⭐️ Код можно запускать сразу — просто клонируй, ставь зависимости, запускай

📎 Подробнее: Multimodal Coding Agent Team

📣 Local RAG Agent — это готовый локальный Retrieval‑Augmented Generation агент из репозитория awesome‑llm‑apps. Позволяет запускать чат с вашими документами (PDF, Markdown, код), не выходя в облако: весь pipeline — индексирование, векторный стор и генерация — работает на вашей машине.

📌 Особенности Local RAG Agent:
⭐️ Полностью оффлайн — никаких API, тарифов и конфиденциальных рисков
⭐️ Гибкость в embeddings — поддержка FAISS, ChromaDB и других локальных сторей
⭐️ Интеграция с любой LLM — будь то локальные или cloud-решения через LangChain/FastAPI

⚙️ Архитектура и параметры
⭐️ Pipeline на Python: chunk → embed → index → retrieve → generate (с примерами в README)
⭐️ LangChain (или аналог) отвечает за логические цепочки, ChromeDB/FAISS за векторный поиск
⭐️ Интеграция через Ollama позволяет использовать GPT‑4o, Mistral, LLaMA или другие LLM локально

✅ Преимущества
⭐️ Приватность — данные не покидают ваше устройство
⭐️ Идеально для документации и кода — быстрый поиск по PDF, Markdown, репозиторию без облака

📎 Подробнее: Local RAG Agent

📣 AI ArXiv Agent with Memory — LLM‑агент, построенный на основе LangChain с долгосрочной памятью, предназначенный для работы с научными статьями ArXiv.

📌 Особенности AI ArXiv Agent with Memory
⭐️ Постоянная память между сессиями — прошлые запросы и ответы используются для улучшения контекста
⭐️ Доступ к ArXiv API + embeddings для релевантного поиска
⭐️ Работает на локальных или облачных LLM (GPT‑4o, LLaMA 3 и др.) через LangChain

⚙️ Архитектура и параметры
⭐️ Pipeline: загрузка ArXiv → чанкование → embedding → хранение в векторном сторе
⭐️ Использует memory‑модуль LangChain для сохранения истории разговоров
⭐️ LLM может быть подключено через API или локально с Ollama

✅ Преимущества
⭐️ Удобный способ исследовать ArXiv‑статьи в интерактивном режиме
⭐️ Память позволяет не повторяться и строить диалог глубже
⭐️ Подходит и для студентов, и для исследователей — быстро стартует из коробки

📎 Подробнее: AI ArXiv Agent with Memory

📣 Voice RAG Agent (OpenAI SDK) — голосовой Retrieval‑Augmented Generation агент с RAG на основе OpenAI Realtime API и Agents SDK. Позволяет общаться с документами голосом: speech-to-text → поиск по базе → генерация ответа → text-to-speech — всё в реальном времени с низкой задержкой.

📌 Особенности Voice RAG Agent
⭐️ Реал‑тайм голосовой интерфейс с нативной STT и TTS (GPT‑4o realtime audio)
⭐️ Интеграция RAG через функцию поиска: GPT‑4o вызывает инструмент для поиска, получает релевантные фрагменты, затем отвечает голосом
⭐️ Агентная система с handoff-переходами (например, chat‑agent → supervisor‑agent) для распределения задач

⚙️ Архитектура и параметры
⭐️ OpenAI Agents SDK управляет логикой: агенты, маршруты, guardrails, инструменты
⭐️ Режим работы: фронтенд захватывает микрофон → средний слой проксирует audio и вызывает функцию RAG-инструмент → backend запускает поиск и возвращает фрагменты → агент продолжает речь
⭐️ Использует GPT‑4o‑realtime-preview (speech‑to‑speech) и функции вызова поиска для grounding через Azure или локальные базы

✅ Преимущества
⭐️ Голосовой интерфейс с поддержкой поиска по документам — идеально для ассистентов, голосовых помощников и озвученных FAQ
⭐️ Низкая задержка, потоковая речь «из коробки»
⭐️ Демонстрация современных подходов: STT+RAG+TTS+Agents в одном решении

📎 Подробнее: Voice RAG Agent

📣 Chat with YouTube Videos — приложение RAG‑класса, позволяющее загружать YouTube‑видео, извлекать их расшифровку и вести диалог с видео как с документом.
Показывает, как можно превратить любой ролик в интерактивного ассистента, используя LLM и выжатую из видео информацию.

📌 Особенности Chat with YouTube Videos
⭐️ Поддержка любого видео с субтитрами даже офлайн
⭐️ Интерактивный чат — задаешь вопрос, получаешь цитату + ответ
⭐️ Используется YouTube transcript + FAISS/Chroma + LLM (LLaMA, GPT‑4o и другие)

⚙️ Архитектура и параметры
⭐️ Gradio UI (или аналог) для загрузки URL, вывода чата
⭐️ Pipeline: transcript → chunk → embed → index → retrieve → generate response
⭐️ Рекомендуется: Ollama + LLaMA/Mistral; можно подключать GPT‑4o через API

✅ Преимущества
⭐️ Превращает любое видео в текстового помощника — можно спрашивать о конкретном времени/теме
⭐️ Работа с видео без просмотра — экономия времени
⭐️ Код доступен, легко включается в существующие NLP‑проекты

📎 Подробнее: Chat with YouTube Videos

📣 AI Travel Agent — локальный и облачный агент из раздела Starter AI Agents репозитория awesome‑llm‑apps. Позволяет планировать поездки: искать места, строить маршруты, оценивать бюджеты и даже генерировать описания мест — всё с помощью цепочки запросов к LLM. Отлично подходит для демонстрации полноценного AI-помощника для путешествий.

📌 Особенности AI Travel Agent
⭐️ Поддержка вводов как через Telegram-бот, так и локально через FastAPI/CLI
⭐️ Интеграция с внешними API для поиска мест, карт и цены
⭐️ Многошаговая логика: запрос → поиск → план → уточнение / корректировка маршрута

⚙️ Архитектура и параметры
⭐️ Реализован через LangChain: включает шаги поиска, генерации и уточнения по памяти
⭐️ Комбинирует облачные и локальные LLM — GPT‑4o, LLaMA 3, Mistral и др
⭐️ Python + FastAPI, есть шаблон под Telegram-бота, можно адаптировать под WhatsApp и другие мессенджеры

✅ Преимущества
⭐️ Полностью рабочий трэвел-ассистент: маршруты, места, описание, бюджет
⭐️ Легко адаптировать под конкретные регионы / пользовательские запросы
⭐️ Начинающие LLM-разработчики могут взять и допилить под себя

📎 Подробнее: AI Travel Agent

📣 xAI Finance Agent — стартовый AI-агент из репозитория awesome‑llm‑apps, который помогает анализировать личные финансы. Он собирает данные, классифицирует расходы, предлагает план сбережений и даёт рекомендации — всё с помощью цепочек LLM, OpenAI или Anthropic.

📌 Особенности xAI Finance Agent:
⭐️Поддерживает локальные табличные данные (Excel, CSV)
⭐️Анализирует категории, тренды, аномалии
⭐️Генерация финансовых советов через GPT‑4o / Claude

⚙️ Архитектура и параметры
⭐️Pipeline: load → chunk → embed → retrieve → generate
⭐️Использует LangChain плюс vector store (ChromaDB / FAISS)
⭐️LLM API: GPT‑4o или Anthropic Claude через SDK

✅ Преимущества
⭐️Быстрое понимание структуры расходов и трендов
⭐️Рекомендации персонализированы под ваши данные
⭐️Всё можно запустить локально — без облака и API-лимитов

📎 Подробнее: xAI Finance Agent

🌐 Chat2DB — AI‑клиент для работы с SQL и базами данных

📣 Стартап Chat2DB предложил инструмент на базе ИИ, который преобразует текст на естественном языке в оптимизированные SQL-запросы. Он поддерживает более 20 СУБД, включая MySQL, PostgreSQL, MongoDB, Redis и другие.

📌 Внутри — текст‑to‑SQL и SQL‑Copilot, дающие:
⭐️ Генерацию сложных и оптимизированных запросов по естественным описаниям
⭐️ Автодополнение, проверку и исправление ошибок прямо в редакторе SQL
⭐️ Контекстный чат‑бот по базе, аналитические отчёты и дашборды на основе данных

💬 Интерфейс — консоль + GUI: можно писать запросы вручную, либо вводить “/” и отдавать AI‑агенту. Также возможен полный визуальный режим с ER‑диаграммами, фильтрами и таблицами.

📌 В целом, идея в том, чтобы один инструмент стал и SQL‑редактором, и AI‑помощником, и BI‑панелью — объединяя код, анализ и визуализацию .

💰 Цены:
⭐️ Бесплатный 30‑дн. пробный период с 200 AI‑запросами
⭐️ Pro‑подписка и командные тарифы (цены на сайте, есть скидки для студентов)

🌐 PromeAI

❔ Что такое PromeAI?
PromeAI — AI для генерации и редактирования изображений и видео.

📌 Основные возможности:
⭐️Создание и редактирование изображений по тексту и эскизам
⭐️Генерация видео из текста и картинок
⭐️Вариации стиля и композиции

⚙️ Примеры использования:
⭐️Визуализация архитектуры и интерьеров
⭐️Генерация маркетингового контента

👀 Кому подойдёт:
⭐️Дизайнерам, маркетологам, разработчикам продуктов

📎 Подробнее: PromeAI

🌐 DigitalOcean GenAI Platform — платформа для быстрого создания AI‑агентов

📣 На конференции Deploy 25 (22 января 2025) DigitalOcean представил GenAI Platform — удобное и понятное решение для интеграции генеративного ИИ в приложения без глубоких знаний ML. Это платформа‑сервис, позволяющая за считанные минуты настроить AI‑агентов и подключить их к своим данным.

📌 Особенности DigitalOcean GenAI Platform:
⭐️Поддержка foundation‑моделей от Anthropic, Meta, Mistral и других, включая RAG‑конвейеры и function calling
⭐️Интуитивные рабочие процессы: сбор знаний из файлов, баз, API — и быстрый запуск чат‑ботов, ассистентов и консьерж‑агентов
⭐️Функции безопасности: встроенные guardrails, private endpoints, защищенные API

💬 UI и интеграции:
⭐️Графический интерфейс + API — легко встраивается в сайты и приложения (WordPress, Ghost и др.)
⭐️Генерация чат‑виджетов прямо «из коробки», можно настроить бренд и поведение агента

💰 Цены:
⭐️Стартовый доступ без спецнавыков
⭐️Прозрачное ценообразование от DigitalOcean, привязано к использованию и масштабированию инфраструктуры
⭐️Расчетная стоимость GPU‑нод — \$1.99/час за MI300X, плюс планы Droplets и Kubernetes для ML‑нагрузок

📎 Подробнее: DigitalOcean GenAI Platform

☝️ Точнее промпт — лучше ответ

Чтобы ИИ работал на полную, рассмотрим топ из четырёх полезных инструментов, которые упростят работу с нейросетями и улучшат качество вашего проекта.

Вот 4 сервиса, которые прокачают ваши промпты:

🔢Devplan — AI assistant для решения coding‑задач:
Превращает идеи в готовые prompts для IDE — Cursor, Windsurf, Bolt. Есть вкладка Coding Assistant, где можно создать заведомо работоспособный промпт или даже шаблон для прототипа. Также помогает с user stories, тасками и интеграцией с Linear.

🔢PromptJesus — улучшатель твоих промптов:
Chrome‑расширение, которое допиливает твой начальный запрос: добавляет system‑инструкции, улучшает стиль и структуру. Отлично помогает, если первый результат не очень. В расширении выбор базового или продвинутого режима, есть подсказки и аналитика.

🔢VibeCodex — промпты под vibe‑кодинг:
Коллекция готовых prompts специализирована для dev-инструментов (Cursor, Windsurf и Bolt). Подходит для генерации архитектуры, дебага или документации. Есть шаблоны, примеры, и даже job board для “vibe‑кодеров”.

🔢PromptBase — маркетплейс для промптов:
Платформа с сотнями тысяч готовых промптов под ChatGPT, Midjourney, 3D‑инструменты. Можно покупать или продавать свои. Комиссия 15 %, пользователи говорят, что инструмент "legit" и приносит доход авторам.

🤯 HumanOmniV2 от Alibaba: теперь ИИ не только видит, но и понимает видео

📌 Alibaba представила новую мультимодальную модель HumanOmniV2, которая умеет не просто смотреть видео, а по-настоящему его понимать. С помощью этой модели можно анализировать сцены, распознавать эмоции и даже выявлять скрытые намерения собеседников.

🧠 Как она работает?
HumanOmniV2 использует уникальный подход: сначала генерирует подробное описание сцены, затем строит логическую цепочку рассуждений и только после этого предоставляет ответ. Это позволяет модели учитывать все аспекты видео, включая жесты, мимику, тональность речи и социальный контекст.

🔢 Что нового в HumanOmniV2?

🟡 Мультимодальное понимание: анализирует видео, аудио и текст одновременно.
🟡 Глубокий контекст: учитывает глобальный контекст сцены для более точных выводов.
🟡 Система вознаграждений: введены новые награды за точность контекста и логичность рассуждений.
🟡 Высокая производительность: показала лучшие результаты на нескольких бенчмарках.

📊 Результаты
На бенчмарке IntentBench модель достигла точности 69,33%, опередив предыдущие версии и открытые аналоги. Это подтверждает её способность эффективно анализировать сложные сцены и точно интерпретировать намерения участников.

🔗 Где попробовать?
🟡 Hugging Face: HumanOmniV2
🟡 GitHub: HumanOmniV2 Repository
🟡 Arxiv: Исходная статья

🚀 Comet от Perplexity — браузер, который делает работу за тебя

🔑 Почему это больше, чем просто браузер

Браузер Comet встроен с самого основания вокруг AI-помощника от Perplexity — он использует Perplexity как поисковую систему по умолчанию, переводя серфинг на уровень "говори и получай результат". Никакого копирования ссылок – просто задаёшь вопрос о том, что видишь на экране, и Comet отвечает прямо в боковой панели.

🧠 Что умеет помощник:

🟠 Сканирует текущую страницу, резюмирует её содержимое и даёт контекст.
🟠 Делает вещи за тебя: бронирует встречи, покупает товары, пишет письма — всё через диалог.
🟠 Умное управление вкладками: закрывает дубликаты, группирует, возвращает к нужным ссылкам по запросу.

⚙️ Нововведения и удобство

🟠 Визуальные действия: помощник не только кликает сам, но и показывает, что делает — прямо на экране.
🟠 Автономность: работает локально, без передачи твоей истории на серверы.
🟠 Лёгкий переход с Chrome: поддерживает расширения, импорты закладок и настроек.

❌ Нюансы:
Пока доступен только подписчикам Perplexity Max — $200 в месяц. Остальным — по приглашениям из waitlist. Релиз для macOS и Windows, без поддержки Linux или мобильных платформ.

🔗 Попробовать - https://comet.perplexity.ai/

🔵 Hunyuan3D от Tencent: 3D-модель из картинки за 25 секунд

📣 2-ступенчатый пайплайн: сначала Hunyuan3D-DiT создаёт геометрию по картинке, затем Hunyuan3D-Paint наносит текстуры — модель выходит детализированной и готовой к использованию. Результат за 10–25  секунд, в зависимости от версии (Turbo — быстрее).

📈 Дерзкий прогресс перед другими

🟢 Hunyuan3D 2.0 показывает лучшие показатели geometric accuracy, FID и CLIP-score — превосходит доступные аналоги.
🟢 "Turbo" модели выдают результат всего за 30 секунд — они выгодно обгоняют конкурентов.
🟢 Открытый исходник на GitHub: есть предобученные модели, код, описания и даже Blender-addon.
🟢 Модели адаптированы под Gradio, ComfyUI и даже Windows-инсталлер — все удобно для разработчиков и дизайнеров.

🔍 Что внутри?

🟢 Hunyuan3D-DiT: Генерирует неокрашенный меш (геометрию) из одной картинки
🟢 Hunyuan3D-Paint: Накладывает текстуры высокого разрешения (PBR, цвет, рельеф)
🟢 Версии Turbo & Mini: Ускоренные модели с меньшим количеством параметров и VRAM

📌 Возможности
🟢GLB, OBJ, FBX экспорт, PBR-текстуры, готовые meshes для VR/AR/игр
🟢Поддержка мультивида в 2.1/2.5 — можно качать детализацию, если есть несколько ракурсов.

🔗 Репозиторий на GitHub

🔵 Grok 4 от xAI: ИИ уровня «почти аспиранта».

📌 xAI 10 июля 2025 года выпустила Grok 4 — модель, которая по характеристикам пишет как аспирант, а Heavy‑версия — как эксперт‑группа за $300/мес.

🔍 Что под капотом?

🟢Grok 4 (базовая) доступен за $30/мес, Heavy за $300/мес с multi‑agent режимом — несколькими «агентами», которые решают сложные задачи вместе, как команда на зачёте.
🟢Есть голос “Eve” — британка с эмоциями, даже шепчет и поёт, при этом работает быстрее старой версии.
🟢DeepSearch: Grok умеет пользоваться реальным интернетом — ищет, анализирует и даёт актуальную инфу прямо в чат.

📊 Бенчмарки

🟢Humanity’s Last Exam: Grok 4 — 25 %, Heavy — 44 % (против 21 % у Gemini и ChatGPT o3)
🟢ARC‑AGI‑2: Heavy — 15.9 %, почти вдвое выше ближайших конкурентов
🟢GPQA / AIME25: ~88–100 % точности (зависит от версии)

⚠️ Проблемы
Старая Grok (версия 3) засветила антисемитские посты — пришлось править промпты и ужесточить фильтры перед запуском Grok 4.

🔜 Что дальше?

🟢Август — Grok 4 Coder (для кода)
🟢Сентябрь — мультимодальный агент
🟢Октябрь — генерация видео

🔗 Подробнее: Grok 4

🔵 ByteDance открывает Trae-Agent — AI‑ассистент для программистов

🖥 Альфа‑релиз уже выложен на GitHub — и открыт для всех желающих

🔍 Что умеет Trae-Agent

🟢Патчит, отлаживает, рефакторит и создаёт тесты по описанию задачи
🟢Использует несколько LLM одновременно: OpenAI, Gemini, OpenRouter и др.
🟢Встроены инструменты: редактирование файлов, bash-команды, трассировка действий, пошаговое логическое мышление

⚙️ Запуск в пару команд

🟢Клонируешь репозиторий и ставишь через pip
🟢Указываешь API‑ключи
🟢trae-cli run "описание задачи" — и агент начинает дело
🟢Или trae-cli interactive — погружение в диалог публикуется с логами

👍 Почему это круто?

🟢Модульная архитектура — легко заменять LLM, добавлять инструменты и тестировать идеи
🟢Опенсорс (MIT‑лицензия) — делай форки, пулл‑реквесты, улучшай весь инструмент
🟢Схожа с Copilot и Cursor, но ты сам хозяин — можно перенастроить под свою IDE и таск‑менеджмент

🔗 Подробнее: Trae-Agent

🌐 LFM2 от Liquid AI — быстрая и экономная on‑device модель

🗓 Дата релиза: 10 июля 2025. Liquid AI официально представили open-source серию моделей LFM2 — оптимизированную для работы прямо на устройствах и без задержек, которую уже можно протестировать в Liquid Playground, Hugging Face и через llama.cpp.

🚀 Почему это мощно

- Двойной прирост скорости: в 2 раза быстрее обработка ввода/вывода по сравнению с Qwen3 на CPU.
- Обучается в 3 раза быстрее предыдущих моделей LFM — экономит ресурсы и время .
- Компактность при высоком качестве: 350M, 700M и 1.2B параметры с результатами, сопоставимыми и лучше аналогов, включая Gemma 3 и Llama 3.2 1B.

💡 Технологии

- Гибридная архитектура: сочетание «жидких» конволюций (LIV-модули) с attention-блоками в 16 слоях — 10 конволюционных + 6 attention.
- Универсальность: модель отлично работает на CPU, GPU и NPU, подходит под мобильные устройства, ноуты, роботов.
- Свободное распространение: weights под открытой лицензией, запускаются локально, конфигурация — через Hugging Face и Liquid Playground.

📊 Результаты

- MMLU, GPQA, GSM8K и др.: модели LFM2-1.2B стабильно быстрее, чем Qwen3-1.7B и Llama 3.2 1B.
- Предпочтение оценивающими LLM: ответы LFM2-700M и 1.2B чаще признаны лучше по качеству, чем у конкурентов.

🔗 Попробовать: Hugging Face, GitHub.

🔵 Moonshot AI выпустили Kimi-K2 — холодный расчет по коду и задачам

🟢 Что случилось:
Китайский стартап Moonshot AI (основан 2023, поддерживается Alibaba и Tencent) выпустил Kimi- K2 — open‑source модель с архитектурой mixture‑of‑experts: всего 1 трлн параметров, активны 32 млрд за раз.

🎯 Чем интересна:

- Фокус на кодинге и многошаговых задачах: по заявлению, обходится на 65,8 % на SWE‑bench и 53,7 % на LiveCodeBench — выше, чем у DeepSeek V3 и GPT‑4.1. Тест по математике (MATH‑500) — 97,4 %, выше GPT‑4.1 (92,4 %).
- Отличная «агентская» база — она может сама вызвать инструменты, рефакторить код и логически мыслить многошагово.
- Быстрый доступ: open‑source, API по $0.15/млн токенов входа, $2.50/млн токенов выхода — дешевле конкурентов.

⚙️ Технологии и эффективность

- Модель MoE: mixture‑of‑experts — для экономии ресурсов и точности.
- Длинный контекст: поддержка до 128 000 токенов — сочинения, целые статьи и большие инструкции.
- Kimi-VL / Kimi-Audio: мультимодальные модели для понимания текста+изображений (Kimi-VL с 2,8 млрд активных параметров) и аудио (Kimi-Audio) — всё open‑source и доступно на GitHub/Hugging Face.

🔗 Попробовать: Kimi-K2

🔵 MindSpore 2.0 от Huawei — фреймворк для AI на всех уровнях, от edge до суперкомпьютеров

🟢 Что случилось:
Huawei выпустила MindSpore 2.0 (релиз март–июнь 2025), с расширенными возможностями для автоматического распределенного обучения, поддержки гибридных графов и экосистемой для domain‑специализированных задач: CV, NLP, Quantum и других .

🎯 Чем полезен:

- Гибридное обучение в высокопроизводительных кластерах: multi-dimensional hybrid parallelism позволяет масштабировать обучение на сотни GPU/Ascend чипов.
- Унифицированный API: поддерживает динамические и статические графы, написание моделей на Python привычно и компактно .
- Эко‑пакеты для X-domain задач: MindSpore SPONGE (биоинформатика), Elec (электромагнетика), Flow (симуляции), CV, NLP, OCR, YOLO, Quantum и многое другое.

⚙️ Технологии & возможности:

- Поддержка разных языков: Python, C++, Rust, Julia, ArkTS, Java и др.
- Платформы: работает на Linux, Windows, macOS, HarmonyOS, OpenHarmony — плюс Ascend и Kirin NPU.
- Инструменты внутри: MindInsight для графов и профилирования, MindArmour для защиты моделей.
- Квантовые возможности: MindSpore Quantum — совместимо с NISQ‑алгоритмами и ускоряется QuPack-симулятором.

📊 Цифры и экосистема:

- Более 11 млн загрузок, 37 000+ активных участников, доля рынка в Китае ~30% по фреймворкам.
- Активное присутствие в научных кругах: признание в OSCHINA, создание Центра экосистемы в Шанхае.

🔗 Попробовать: MindSpore 2.0

🛠 ТОП‑10 open‑source AI-инструментов, которые стоит знать в 2025 году

1. Hugging Face Transformers
📦 Библиотека с сотнями тысяч моделей: GPT-подобные, мультимодальные, классификаторы. Всё работает из коробки — от распознавания текста до генерации изображений.

2. LangChain
🧠 Стек для создания интеллектуальных LLM‑агентов: промпты, memory, chains и подключение к API. Идеально для чатов, RAG-ботов и мультишаговых задач.

3. OpenLLM (BentoML)
🚀 Лёгкий сервер для запуска и масштабирования LLM локально или в облаке. Поддерживает fine‑tuning, REST/gRPC API, low‑latency инференс через vLLM.

4. Haystack
🔍 Фреймворк для RAG-пайплайнов: подключение Elasticsearch, Weaviate, FAISS, + генерация через LLM. Отличное решение для документ‑ботов и Knowledge‑AI.

5. DeepSpeed
⚙️ Оптимизатор от Microsoft — ускоренная тренировка и инференс крупных моделей (многомодальных, CODA и т.п.), пользуется у исследователей.

6. MLflow
📖 МLOps: трекинг экспериментов, отслеживание метрик, управление сплитами и версиями моделей.

7. DVC
📁 Git‑помощник для данных: хранит датасеты, артефакты и метаданные. Полезно для воспроизводимости и коллаборации.

8. KoboldAI
🤖 Локальный AI‑движок для генерации историй и диалогов — особенно интересен инди-разработчикам и геймдеверам.

9. FastChat (LMSYS)
💬 Простой фреймворк для запуска локальных чат-агентов на близком к production уровне.

10. Ollama
📍 Локальный AI‑сервер — запускайте модели прямо на своём компьютере без зависимостей и ключей.