Jarvis день первый

В опросе на самую интересный продукт лидировал Jarvis и я решил начать с него (теперь уже Youtube).

Буду пробовать формат build in public и рассказывать что я собираюсь делать и что из этого получилось - а вы в свою очередь сможете поучаствовать и повлиять на разработку.

___

У меня есть миллион технических идей для этого бота - инициирование диалога, самообучение, автономный аудит прогресса с советами и тд.
Но, к сожалению, начать нужно с простых основ, которые были во всех 30+ бесполезных роликах на ютубе - инструменты.

Я воспринимаю агентов как людей - такая аналогия помогает понимать, как именно должна выглядеть архитектура и какие решения будут оптимальными для правильной работы.

К примеру - наш Jarvis является типичным ассистентом, который должен успевать делать много дел. Как и реальный человек, он ограничен в количестве дел, которыми сможет одномоментно жонглировать и держать в памяти.
Поэтому, чтобы сделать его реальным швейцарским ножом, первым делом добавим ему “ассистентов для ассистента” - а именно дополнительных агентов, как инструменты, которые будут выполнять всю грязную работу за него.

План на сегодня:

1️⃣ Сделать простого агента в ТГ

2️⃣ Добавить к нему 3 агента:
- для общения с БД (куда мы будем все писать)
- для общения с Ютубом (просто потому что такой агент есть и я им пользуюсь для себя)
- для исследований (поиск в интернете, размышления и составление отчета)

3️⃣ Заставить его использовать их по назначению - самое сложное в этой задаче.


⬇️ Пишите в комментариях, что вы добавили в своего личного ассистента для упрощения ежедневной рутины.

Jarvis: результаты первого дня

Я подключил к агенту 2 агента (БД и ютуб) и пытаюсь заставить агента в один запрос сделать следующее:
1. Найти топовое видео на ютубе в определенной нише.
2. Транскрибировать его.
3. Написать верхнеуровневый скрипт, название и описание картинки для нового видео.
4. Записать всю эту информацию в таблицу (которой не существует и ее нужно создать).

Неудивительно, что все мультиагентские системы от “креаторов” сейчас выглядят как набор последовательных агентов без тулзов, что само по себе является обычным Chat Completion запросом - то есть автоматизацией, а не агентом. Потому что, чтобы заставить агента думать, выполнять задачи и взаимодействовать с другими агентами, нужно решить миллион различных проблем.

Вот некоторые из них:

1️⃣ AI Agent node в n8n создан на основе Langchain и абсолютно бесполезен, если вы не контролируете параметры и подходы самого Langchain.
Я посмотрел логи агента, дополнительно разобрал код модуля с Gemini и подтвердил свои опасения - они лепят историю, системный промпт и запрос в одну большую кашу. Как результат - ИИ агент с трудом слушается команд и понимает что вообще нужно делать.

Особенно это видно на сложных много ступенчатых задачах и длинных диалогах - вместо выполнения текущего запроса агент может выловить предыдущий запрос из истории и начать выполнять его.

Вывод - делать основного агента на OpenAI.

2️⃣ Побочные эффекты первого пункта - агент не слушается системного промпта и настырно лезет выполнять все задачи сам, вместо того чтобы планировать и делегировать большие задачи своим помощникам.
Также, агент упускает важные детали и начинает делать отсебятину - это будет правиться с помощью дополнительной проверки позже.

3️⃣ Tavily, который пихают все креаторы ютуба, оказался полным разочарованием (что неудивительно) - вместо него лучше использовать Perplexity для сложных исследований и Firecrawl для поиска и парсинга сайтов.

___

В итоге первый день растянется на два дня, но это не удивительно, ведь мы пытаемся создать то, чего еще не было.

Чуть позже вернусь с результатами и конкретными мини-открытиями/решениями, которые удалось сделать во время разработки.

P.S. есть вакантное место для проекта с ИИ - если у вас есть идеи и бюджет от $3k, то пишите в личку

Jarvis день четвертый

В общем долго рассказывать, но вот так выглядит будущее.

Обновил сайт с Lovable

Прошлый сайт был красивым (спасибо жене), но лежал мертвым грузом и уже устарел к моменту его завершения - там не было ничего про ИИ.

Хотелось сделать что-то простое, где была бы суть, а не картинка.
Картинку сейчас сделать не так сложно - я вижу кучу хороших дизайнов у агентств креаторов, поэтому не вижу особого смысла соревноваться в картинке. к тому же в америке больше входу полотна текста среди продающих лендосов

Вместо этого я добавил список кейсов, который является наверное пятой долей от того, что на самом деле мы сделали.
А также добавил нечто вроде FAQ, где расписал свои мысли по поводу типичных проектов с RAG и генерацией контента.

Многие клиенты приходят с ложными представлениями о возможностях ИИ, поэтому хотелось бы объяснять им все “на входе”, чтобы не тратить свое и чужое время.

https://lowcoding.dev/

Не используйте AI Agent ноду для агентов

Я давно заметил, что AI Agent нода работает куда хуже как агент, нежели OpenAI ассистент.
С ней агенты хуже следуют промптам, помнят историю и выбирают инструменты.

Я решил разобраться почему так.

1️⃣Каждая модель (OpenAI, Gemini, Claude) натренирована определенным образом и ожидает на входе данные в определенном формате с разметкой.

2️⃣По сути модель всегда обрабатывает 1 сообщение, которое содержит в себе сразу все - системный промпт, ваш запрос, предыдущую историю, описание тулзов, описание output формата.

3️⃣ Каждую модель обучали по своему - к примеру OpenAI использует ChatML, где указаны роли (ассистент, пользователь, система) и промпты в формате JSON. Также с разметкой идет и история, тулзы и тд.

[
{ "role": "system", "content": "You are a helpful assistant." },
{ "role": "user", "content": "What is the capital of France?" },
{ "role": "assistant", "content": "Paris." }
]

4️⃣ Langchain принимает данные на входе в одном формате, а далее “переводит” их в формат выбранной LLM.
Пока он это делает, он может немного видоизменять данные и формат в силу технических особенностей и непоспеванием за обновлениями LLM.

Наглядно - если открыть execution AI agent ноды в N8N и посмотреть, что он отправляет во время рассуждений, то там видно, как он склеивает system prompt, user prompt и историю в одну гигантскую кашу, где даже человек ногу сломит.

➡️В итоге как результат LLM (а конкретно OpenAI) получает вводные данные не в том виде, в котором привыкла, а значит хуже их распознает.
Это влияет на все - следование промпту, выбор инструментов, память прошлых сообщений.

Таким образом, лучше всего использовать OpenAI ассистента напрямую - тогда он будет лучше распознавать инструменты, использовать умную память, которая делает автоматическое саммари, а не просто удаляет старые сообщения.

Я проводил этот эксперимент на 5+ проектах клиентов и друзей - просто менял AI agent ноду на OpenAI ассистента, оставляя набор инструментов и промпт тем же. Результат - агенты сразу начинали себя вести так, как они должны себя вести.

___

ПС Это мое обывательское понимание Langchain, которое я выудил из Gemini. Не знаю читают ли меня хардовые ML инженеры, возможно они смогут поправить, если понял не так.

В воскресенье проводил стрим и 2 часа пинал приложение по генерации шортсов.
Получается неплохо, думаю через пару дней покажу.

Но самое интересное - я захотел впилить туда полноценный видео редактор, чтобы можно было накрасить губы сгенерированному видео.

В итоге удалось найти 2 решения - Remotion и Git какого-то чела.

Remotion Studio я не смог установить с Lovable, но думаю это все же возможно.

Зато смог установить Гит - сделал болванку на Lovable, подключил к гитхабу и через терминал потер все что было в гите и перенес гит с редактором туда.
Таким образом Lovable увидел этот редактор и далее я продолжил делать приложение уже с подготовленным редактором.

Гит - https://github.com/designcombo/react-video-editor
Remotion Studio - https://www.remotion.dev/docs/studio/deploy-static