На прошлой неделе вышел Dynamic Workflows в Claude Code. Естественно, я сразу пошел пробовать на реальном проекте.

Я собрал 22 агента в один workflow, чтобы они ревьюили наш код. Десять минут, миллион токенов, красивый отчёт. И уверенное «одобрено» на коде, в котором сидел реальный баг.

А потом запустил одного агента, который просто прочитал весь проект. Три минуты. Баг найден, задача завёрнута.

Самое обидное даже не это. Один из тех 22 агентов баг нашёл. Поднял флаг. А проверяющий агент, чья работа перепроверять чужие находки, полез искать подтверждение в изменённых файлах, не нашёл (потому что доказательство лежало в соседнем файле, который никто не трогал) и спокойно выкинул находку. Двадцать два агента, и среди них нашёлся один умный, которого заткнул один дурак с неправильной инструкцией.

Это был второй из трёх заходов, которые я сделал, когда тестировал Dynamic Workflows в Claude Code на нашем реальном проекте Family Cinema. Первый заход был на искусственном примере, третий, после того как я починил workflow. И он показал самое главное: workflow нашёл баги, которые одиночный агент пропустил. Но стоил в 15 раз больше. И при это пропустил баги, которые смог найти одиночный агент.

Написал про этот эксперимент большую статью на Хабре: три захода, шесть прогонов, четыре миллиона токенов, таблицы, схемы и конкретные выводы о том, когда многоагентные workflow имеют смысл, а когда это просто дорогой способ получить красивый отчёт.

https://habr.com/ru/articles/1041858/

P.S. По рекомендации читателя опубликовал также на Medium

Промпт - это творчество? Нет, это 10 блоков в жёстком порядке

Большую часть прошлого года мы в ITSalt переводили разработку на агентов и по дороге собрали собственный фреймворк NaCl. Когда живёшь внутри такого процесса, начинаешь хорошо понимать, как выглядит правильный промпт: роль, контекст, проверяемые критерии готовности, формат, ограничения, защита от выдумок. Это уже не вопрос вкуса, а набор требований, который держишь в голове.

Но промпты мы пишем не только на работе. Промпт для агента-диетолога, для программы тренировок, для сценария детского праздника. И вот тут начинается боль: написать такой промпт из головы, ничего не упустив, - это каждый раз минут 20 сосредоточенной работы. На третьем промпте за день начинаешь срезать углы, а потом удивляешься, почему агент-диетолог разрешил тебе торт.

Поэтому я собрал скилл, который делает эту рутину за меня. Называется pepper-prompt-engineer. Описываешь задачу человеческими словами - получаешь полноценный промпт по всем правилам. Важная деталь: скилл не решает вашу задачу. Попросишь "напиши парсер" - он выдаст не код, а промпт, который ты отдашь другой модели, и уже она напишет парсер.

Внутри жёсткая конструкция: любой промпт на выходе - это 10 блоков в одном и том же порядке. Роль, задача, контекст, критерии готовности, шаги, ограничения, способ рассуждения, формат ответа, примеры, самопроверка. Восемь из десяти стоят всегда, даже если внутри одна строчка. Самые недооценённые - критерии готовности и самопроверка. Критерий должен проверяться как тест: "текст должен быть интересным" - так нельзя, интересность не измеришь. "Не длиннее 280 символов, без хэштегов, с вопросом в конце" - можно: открыл, посчитал, проверил. А самопроверка - тот же список, повёрнутый к модели как чеклист на выходе. Не сошлось с заданием - переделывай, не показывай.

Перед выдачей готовый промпт прогоняется через 18 автоматических проверок. Есть среди них и проверка наоборот: на обычную просьбу "напиши факториал" скилл не должен среагировать вовсе. Помощник, который превращает каждую мелкую просьбу в проект, - это коллега, который на "передай соль" присылает регламент сервировки стола.

А вот чего в собранных промптах вы не найдёте - так это "сделай идеально, или я тебя уволю" и "моя бабушка расплачется". Эти заклинания из той же эпохи, что и "думай шаг за шагом": три года назад им приписывали лишние проценты качества, а на современных моделях они в лучшем случае бесполезны. Правила промптинга устаревают вместе с поколениями моделей.

Хороший промпт не случается - он собирается.

P.S. Подробная статья со всеми механиками - на Хабре

Сам скилл - https://raw.githubusercontent.com/ITSalt/PepperSkills/main/pepper-prompt-engineer/pepper-prompt-engineer.skill

Выступаю сегодня на Летнем Аналитическом Фестивале с мастер-классом. Буду рассказывать о том, как с помощью ИИ проводить этапы бизнес-анализа и системного анализа так, чтобы потом ИИ-разработчик мог это разрабатывать. А главное, чтобы через год непрерывных улучшений и доработок всегда можно было ответить на вопросы "а как это работает?" и "почему это было сделано именно так?"

Кстати, это самые дорогие вопросы в ИТ-разработке. Попробуйте задать их в команде. Как думаете, по всем функциям системы сможете получить чёткие и ясные ответы? В моей методологии - на 100%. И это стало возможно именно благодаря приходу эры искусственного интеллекта.

- ИИ глючит и придумывает - скажете вы. И будете правы. Но для этого есть методология и.... смотрите презентацию :)

Фреймворк доступен для всех! https://github.com/ITSalt/NaCl

Наглядная иллюстрация эволюции! Трилобиту слева - около 445 миллионов лет! Мы его сами откопали на месте бывшего древнего моря в Палеопарке.

На фото - мне 16 лет, я хожу по горам и свысока взираю на этот бренный мир.

Сегодня мне 46! А значит, всё только начинается :)

https://looktwinstudio.ru/ - наконец-то сапожник обзавёлся сапогами :)

В конце августа мы провели вебинар «Вскрытие показало: нейросеть шьёт на глазок». На нём за два часа вскрыли тринадцать типовых поломок товарной нейросъёмки: почему на генерациях уезжают крой и посадка, сложный рисунок ткани упрощается, украшение выходит крупнее настоящего, а цвет товара «улучшается» сам собой. Разбирали не только то, что чинится словами, но и то, что промптом не лечится в принципе, и что тогда делать.

Обычно после вебинара спикер щедрым жестом кидает в чат архив на сорок файлов, желает удачи и растворяется, а вы потом неделю открываете эти файлы по одному и пытаетесь понять, в каком порядке их вообще читать.

Мы решили так не делать.

После «Вскрытия» вы получаете не папку с промптами, а базу знаний, с которой работаешь вместе с ИИ. Мы специально причесали каждый материал так, чтобы им можно было пользоваться прямо в диалоге с нейросетью, без всякой настройки.

Самый простой способ выглядит так:

1. На странице находите свой случай, например «Ткань выглядит пластиковой», и открываете материал.
2. Копируете промпт (или, если у вашего чата есть доступ к веб-страницам, просто даёте агенту прямую ссылку на него).
3. В том же сообщении дописываете свою задачу обычными словами: «шёлковая блузка, свободная посадка, вот фото вещи».
4. Агент собирает по этому промпту готовый бриф кадра, который уходит прямо в генератор.

По сути вся работа это открыть нужный материал и дописать в чат пару слов про свою вещь. Один и тот же промпт работает как станок: прогоняете его на разных изделиях и получаете разные брифы. А таких промптов на странице дюжина, плюс готовые комплекты под конкретную задачу.

А кто хочет капитально: те же материалы можно один раз собрать в проект Claude или ChatGPT, и агент будет держать всю базу под рукой сам. Но для старта это не обязательно, начать можно за минуту, прямо в окне чата.

Всё лежит на продакшене, вместе с записью эфира и картой из тринадцати поломок: https://looktwinstudio.ru/webinars/refusal-index/. Забирайте, и если какой-то метод у вас не заведётся - напишите. Мне это интересно даже больше, чем истории про то, как всё сработало с первого раза. 🙂

Не знаю, как вам, а мне всегда 1 сентября нравилось тем, что при раздаче учебников можно взять самый потрёпанный и с ненулевым шансом попасть на разрисовку. Это когда портреты всяких личностей силами художественных натур с шариковыми ручками представали в совершенно неожиданных амплуа.

Увы, учебников мне не раздают, а вот на скучных собраниях сидеть приходится. И в один прекрасный момент одно сошлось с другим и мы выпустили приложение для браузера, которое позволяет рисовать прямо в браузере ручкой, карандашом или фломиком.

Моя жизнь разделилась на до и после :) И хоть рисовать я не умею, скучных собраний больше в моей жизни нет!

Хотите так же? Ставьте официальное расширение - и пользуйтесь наздоровье - это бесплатно!