🚀 Обещанная статья про JEV и собственного AI-агента вышла на Хабре!
В этот раз снова в партнёрстве с HOSTKEY подготовил большой практический материал:
👉 Что такое JEV и зачем он нужен: собираем AI-агента на связке LLM + open-source аналог JEV
В последнее время вокруг JEV довольно много шума. Новая архитектура, быстрое принятие решений, альтернатива привычным LLM в определённых задачах. Решил разобраться, что там действительно интересного и как всё это можно применить на практике.
Но одной теорией, как обычно, не ограничился 🙂
Для эксперимента развернул две локальные нейросети: Laya, открытый аналог JEV для принятия структурированных решений, и Gemma 4, которую подключил для более сложных задач.
На их основе собрал полноценного AI-агента на Python, причём без LangGraph, CrewAI и других агентных фреймворков.
Получилась небольшая автоматизированная редакция: Laya классифицирует входящие новости, отсеивает лишнее, а Gemma самостоятельно работает с инструментами, готовит статьи и публикует их в блоге.
Что разбираем в статье:
🔹 Что такое JEV, чем он отличается от обычных LLM и какие у него есть open-source альтернативы.
🔹 Как развернуть Laya на CPU, а Gemma 4 на GPU через llama.cpp.
🔹 Как написать собственный Agent Harness на Python и организовать работу с инструментами.
🔹 Как собрать всё это в полноценное FastAPI-приложение с фоновыми задачами, базой данных и веб-интерфейсом.
🔹 Как запустить всю инфраструктуру через Docker Compose и получить работающий проект.
Отдельное спасибо ребятам из HOSTKEY, которые предоставили для подготовки материала выделенный сервер с RTX 4090 и Ryzen 9 5950X. Благодаря этому удалось нормально поэкспериментировать с локальными моделями и довести проект до рабочего состояния.
Все исходники, конфигурации и инструкции по запуску тоже выложил на GitHub:
👉 https://github.com/Yakvenalex/Habr-Jev-Agent
Статья получилась объёмной, с большим количеством кода, команд и примеров. Так что при желании можно не просто почитать, а повторить весь эксперимент самостоятельно.
Буду рад вашим комментариям на Хабре. Особенно интересно, что думаете о самом подходе с разделением задач между небольшой моделью принятия решений и большой LLM.
Ну и если материал понравится, поддержите его плюсом. Это действительно помогает продвижению подобных технических статей 🙂
Приятного чтения!🚀
В этот раз снова в партнёрстве с HOSTKEY подготовил большой практический материал:
👉 Что такое JEV и зачем он нужен: собираем AI-агента на связке LLM + open-source аналог JEV
В последнее время вокруг JEV довольно много шума. Новая архитектура, быстрое принятие решений, альтернатива привычным LLM в определённых задачах. Решил разобраться, что там действительно интересного и как всё это можно применить на практике.
Но одной теорией, как обычно, не ограничился 🙂
Для эксперимента развернул две локальные нейросети: Laya, открытый аналог JEV для принятия структурированных решений, и Gemma 4, которую подключил для более сложных задач.
На их основе собрал полноценного AI-агента на Python, причём без LangGraph, CrewAI и других агентных фреймворков.
Получилась небольшая автоматизированная редакция: Laya классифицирует входящие новости, отсеивает лишнее, а Gemma самостоятельно работает с инструментами, готовит статьи и публикует их в блоге.
Что разбираем в статье:
🔹 Что такое JEV, чем он отличается от обычных LLM и какие у него есть open-source альтернативы.
🔹 Как развернуть Laya на CPU, а Gemma 4 на GPU через llama.cpp.
🔹 Как написать собственный Agent Harness на Python и организовать работу с инструментами.
🔹 Как собрать всё это в полноценное FastAPI-приложение с фоновыми задачами, базой данных и веб-интерфейсом.
🔹 Как запустить всю инфраструктуру через Docker Compose и получить работающий проект.
Отдельное спасибо ребятам из HOSTKEY, которые предоставили для подготовки материала выделенный сервер с RTX 4090 и Ryzen 9 5950X. Благодаря этому удалось нормально поэкспериментировать с локальными моделями и довести проект до рабочего состояния.
Все исходники, конфигурации и инструкции по запуску тоже выложил на GitHub:
👉 https://github.com/Yakvenalex/Habr-Jev-Agent
Статья получилась объёмной, с большим количеством кода, команд и примеров. Так что при желании можно не просто почитать, а повторить весь эксперимент самостоятельно.
Буду рад вашим комментариям на Хабре. Особенно интересно, что думаете о самом подходе с разделением задач между небольшой моделью принятия решений и большой LLM.
Ну и если материал понравится, поддержите его плюсом. Это действительно помогает продвижению подобных технических статей 🙂
Приятного чтения!
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Что такое JEV и зачем он нужен: собираем AI-агента на связке LLM + open-source аналог JEV
Автор: Алексей Яковенко , опытный python разработчик с многолетним стажем. Со времени моей последней статьи в мире ИИ успел появиться очередной «убийца всех LLM» и чуть ли не будущее всей AI-индустрии...
4👍13🔥7❤6😍1