Jarvis: результаты первого дня

Я подключил к агенту 2 агента (БД и ютуб) и пытаюсь заставить агента в один запрос сделать следующее:
1. Найти топовое видео на ютубе в определенной нише.
2. Транскрибировать его.
3. Написать верхнеуровневый скрипт, название и описание картинки для нового видео.
4. Записать всю эту информацию в таблицу (которой не существует и ее нужно создать).

Неудивительно, что все мультиагентские системы от “креаторов” сейчас выглядят как набор последовательных агентов без тулзов, что само по себе является обычным Chat Completion запросом - то есть автоматизацией, а не агентом. Потому что, чтобы заставить агента думать, выполнять задачи и взаимодействовать с другими агентами, нужно решить миллион различных проблем.

Вот некоторые из них:

1️⃣ AI Agent node в n8n создан на основе Langchain и абсолютно бесполезен, если вы не контролируете параметры и подходы самого Langchain.
Я посмотрел логи агента, дополнительно разобрал код модуля с Gemini и подтвердил свои опасения - они лепят историю, системный промпт и запрос в одну большую кашу. Как результат - ИИ агент с трудом слушается команд и понимает что вообще нужно делать.

Особенно это видно на сложных много ступенчатых задачах и длинных диалогах - вместо выполнения текущего запроса агент может выловить предыдущий запрос из истории и начать выполнять его.

Вывод - делать основного агента на OpenAI.

2️⃣ Побочные эффекты первого пункта - агент не слушается системного промпта и настырно лезет выполнять все задачи сам, вместо того чтобы планировать и делегировать большие задачи своим помощникам.
Также, агент упускает важные детали и начинает делать отсебятину - это будет правиться с помощью дополнительной проверки позже.

3️⃣ Tavily, который пихают все креаторы ютуба, оказался полным разочарованием (что неудивительно) - вместо него лучше использовать Perplexity для сложных исследований и Firecrawl для поиска и парсинга сайтов.

___

В итоге первый день растянется на два дня, но это не удивительно, ведь мы пытаемся создать то, чего еще не было.

Чуть позже вернусь с результатами и конкретными мини-открытиями/решениями, которые удалось сделать во время разработки.

P.S. есть вакантное место для проекта с ИИ - если у вас есть идеи и бюджет от $3k, то пишите в личку

Jarvis день четвертый

В общем долго рассказывать, но вот так выглядит будущее.

Обновил сайт с Lovable

Прошлый сайт был красивым (спасибо жене), но лежал мертвым грузом и уже устарел к моменту его завершения - там не было ничего про ИИ.

Хотелось сделать что-то простое, где была бы суть, а не картинка.
Картинку сейчас сделать не так сложно - я вижу кучу хороших дизайнов у агентств креаторов, поэтому не вижу особого смысла соревноваться в картинке. к тому же в америке больше входу полотна текста среди продающих лендосов

Вместо этого я добавил список кейсов, который является наверное пятой долей от того, что на самом деле мы сделали.
А также добавил нечто вроде FAQ, где расписал свои мысли по поводу типичных проектов с RAG и генерацией контента.

Многие клиенты приходят с ложными представлениями о возможностях ИИ, поэтому хотелось бы объяснять им все “на входе”, чтобы не тратить свое и чужое время.

https://lowcoding.dev/

Не используйте AI Agent ноду для агентов

Я давно заметил, что AI Agent нода работает куда хуже как агент, нежели OpenAI ассистент.
С ней агенты хуже следуют промптам, помнят историю и выбирают инструменты.

Я решил разобраться почему так.

1️⃣Каждая модель (OpenAI, Gemini, Claude) натренирована определенным образом и ожидает на входе данные в определенном формате с разметкой.

2️⃣По сути модель всегда обрабатывает 1 сообщение, которое содержит в себе сразу все - системный промпт, ваш запрос, предыдущую историю, описание тулзов, описание output формата.

3️⃣ Каждую модель обучали по своему - к примеру OpenAI использует ChatML, где указаны роли (ассистент, пользователь, система) и промпты в формате JSON. Также с разметкой идет и история, тулзы и тд.

[
{ "role": "system", "content": "You are a helpful assistant." },
{ "role": "user", "content": "What is the capital of France?" },
{ "role": "assistant", "content": "Paris." }
]

4️⃣ Langchain принимает данные на входе в одном формате, а далее “переводит” их в формат выбранной LLM.
Пока он это делает, он может немного видоизменять данные и формат в силу технических особенностей и непоспеванием за обновлениями LLM.

Наглядно - если открыть execution AI agent ноды в N8N и посмотреть, что он отправляет во время рассуждений, то там видно, как он склеивает system prompt, user prompt и историю в одну гигантскую кашу, где даже человек ногу сломит.

➡️В итоге как результат LLM (а конкретно OpenAI) получает вводные данные не в том виде, в котором привыкла, а значит хуже их распознает.
Это влияет на все - следование промпту, выбор инструментов, память прошлых сообщений.

Таким образом, лучше всего использовать OpenAI ассистента напрямую - тогда он будет лучше распознавать инструменты, использовать умную память, которая делает автоматическое саммари, а не просто удаляет старые сообщения.

Я проводил этот эксперимент на 5+ проектах клиентов и друзей - просто менял AI agent ноду на OpenAI ассистента, оставляя набор инструментов и промпт тем же. Результат - агенты сразу начинали себя вести так, как они должны себя вести.

___

ПС Это мое обывательское понимание Langchain, которое я выудил из Gemini. Не знаю читают ли меня хардовые ML инженеры, возможно они смогут поправить, если понял не так.

В воскресенье проводил стрим и 2 часа пинал приложение по генерации шортсов.
Получается неплохо, думаю через пару дней покажу.

Но самое интересное - я захотел впилить туда полноценный видео редактор, чтобы можно было накрасить губы сгенерированному видео.

В итоге удалось найти 2 решения - Remotion и Git какого-то чела.

Remotion Studio я не смог установить с Lovable, но думаю это все же возможно.

Зато смог установить Гит - сделал болванку на Lovable, подключил к гитхабу и через терминал потер все что было в гите и перенес гит с редактором туда.
Таким образом Lovable увидел этот редактор и далее я продолжил делать приложение уже с подготовленным редактором.

Гит - https://github.com/designcombo/react-video-editor
Remotion Studio - https://www.remotion.dev/docs/studio/deploy-static

Вводный курс по Lovable

Публикую вводную часть курса по Lovable, в рамках которой рассказываю как подготавливать ТЗ проекта и среду Lovable для качественного старта.

Ссылка на курс:
https://lowcodingdev.notion.site/Lovable-2258f31dd5d4805fb780f34e5b94ef1f?source=copy_link

Как я использовал ИИ на прошлой неделе

1️⃣ Раньше я использовал Deepl, чтобы исправить ошибки в английской речи, но теперь завел отдельный чат в GPT и задал ему промпт на исправление ошибок. В итоге все собирается в одном месте, и я могу раз в неделю просить сделать саммари с наиболее распространенными ошибками и задания для их исправления.

Дополнительный лайфхак - смотреть видео по интересной вам теме на ютубе и потом транскрибировать его и прогонять через GPT, чтобы вытащить все уникальные словосочетания, которые могут расширить ваш словарный запас.

2️⃣ У меня в аптечке за несколько лет скопилась пачка всяких таблеток еще и с разных стран. Я решил разово внести их всех в отдельный чат, чтобы можно было быстро проконсультироваться при признаках заболевания. Но лучше не болеть и делать профилактику (эхинацея/прополис, спорт, медитации)

3️⃣ Вместе с Perplexity и GPT получил быстрый экскурс в закупку рекламы в ТГ каналах - первый может сделать глубокий быстрый рисерч по теме и ввести в курс дела на уровне среднего эксперта, а второй поможет реализовать текста и подборку каналов по метрикам.

4️⃣ Помимо кучи обычного кода я смог с ИИ разобраться с облачным рендерингом видео с Remotion. Для этого потребовалось развернуть проект на Github, написать Supabase edge function и функцию на AWS lambda. В итоге Supabase триггерит AWS со всей нужной информацией, там рендерится видео и возвращается назад.

5️⃣ Благодаря Эдуарду получил новый проект на $6000 - изначально хотел просить 5к, но посоветовался с ИИ и выставил счет на $7k, который в итоге сторговался до 6. Поэтому если вы тоже скромничаете и недооцениваете себя - ИИ отличный партнер, который ничего не боится и не скромничает - настоящая акула бизнеса.

6️⃣ Также из забавного - делал по заказу мамы кастомную наклейку на вино с изображением человека. Для непосвященных родителей генерация картинки с человеком с фотографии по ВАУ эффекту на равне с прилетом инопланетян.

А как вы используете ИИ для работы и жизни?