Первый сбой в продукте 😢

3,5 дня не работала авторизация через Еламу. Узнал об этом час назад

Навайбкодят стартапов, ничего не понимая в разработке, а потом всё разваливается

Но на самом деле проблема оказалась не в вайбкодинге, а в том, что в запросах, которые Елама присылает для авторизации, был баг, с учётом которого я всё и настроил. Его исправили на днях, но ничего не сказали, т.к. не думали, что он повлияет на кого-то

Единственная недоработка с моей стороны — отсутствие алерта и регулярной автоматической проверки, работает ли авторизация через Еламу без ошибок. Был бы алерт на этот класс проблем, я заметил и исправил бы сбой в первый день

Сейчас всё работает, заходите

Иногда нейросети разговаривают на птичьем языке

Вот что мне сейчас заявил агент:

Волна 4 целиком в один прогон не помещается. По контракту в неё входят: внешний мьютекс + пре-ран гейт Z3 + фаза деривации + публикационная транзакция (O1/O3/O4/O6) + CAS/матрица статусов + гейт identity-миграции с квитанцией + закрытый отчёт прогона (11 членов) + регистрация расписания + ручной one-shot с грамматикой бюджета + три identity-писателя + одноразовый бэкфил

😐 😐 😐

Главное ограничение в работе с нейросетями — способность человека принимать решения

Нейронки производят вопросы, развилки и ошибки быстрее, чем человеческий мозг способен их переработать

Кто-то отдаёт все решения на откуп агентам. В этом случае работа выглядит как магия, нейросеть придаёт дикое ускорение, но с непредсказуемым и, частенько, хреновым результатом на выходе

Кто-то пытается уследить за всем, разбирается в каждой детали и принимает сотни решений ежедневно. В этом случае работа превращается в жуткую и тяжёлую рутину, а нейросеть больше замедляет, чем ускоряет. Но при таком подходе выше шанс получить предсказуемые и качественные результаты

Как по мне, самый важный навык в работе с нейросетями заключается в том, чтобы научиться выделять ключевое и принимать решения только по этим вопросам, а всё остальное отдавать на откуп агентам. Это даёт и ускорение, и нормальный предсказуемый результат. Такого уровня относительно легко добиться в областях, в которых ты эксперт. И пиздец как сложно в том, в чем ты разбираешься слабо, потому что нейросеть раздувает значимость каждой мелочи, а тебе самому не хватает экспертизы, чтобы отделить важное от какой-то фигни

И как с этим быстро разобраться я пока не знаю 😒

Как я переложил решение вопросов на нейронку

О проблеме писал в предыдущем посте. Если коротко, то скорость работы упирается в мою способность принимать решения. При этом нейронка генерирует такое количество вопросов, что человеческий мозг не вывозит. И ключевая загвоздка была в том, как снизить количество вопросов, которые доходят до меня, и оставить при этом самые важные

Пока пришёл к такой схеме: агент-оркестратор пишет черновик с вариантами решений → на каждую развилку запускает отдельного субагента → субагент разбирает вопрос по алгоритму. Работает схема за счет того, что у субагентов чистый контекст, в рамках которого они глубоко разбирают всего один вопрос. Когда то же самое пытался делать агент в основном контексте, получалась фигня, поскольку его контекст переполнен другими вопросами и ненужной информацией, из-за чего он забывал что-то проверить, не находил нужные факты в документации или попросту галлюцинировал

В общих чертах алгоритм для субагентов состоит из 4 шагов. Внутри шагов — правила и проверки, собранные из принципов разных авторов: «растворить проблему вместо того, чтобы решать» Рассела Акоффа, теория ограничений Элияху Голдратта, забор Честертона («не сноси, пока не узнал, зачем поставили»), односторонние и двусторонние двери Джеффа Безоса, вычитание как первый ход из книги «Subtract» Лейди Клотца, делегирование по риску из Next Move Theory Вани Замесина

Шаг 1: растворить
Агент проверяет, есть ли проблема на самом деле или она надумана. Если проблемы нет — вопрос снимается. Если есть — ищет, не записан ли ответ уже в правилах проекта или в том, как проект устроен

Шаг 2: решить без меня
Если на первом шаге готового ответа не нашлось, то его зачастую можно выбрать из нескольких вариантов. Варианты решения проблемы уже лежат в черновике, но агент не берет этот список как есть, а сначала делает разбор: что оставить, убрать или добавить. После этого проверяет каждый вариант на соответствие реальности: читает документацию, запускает код, смотрит, как сделано в других частях проекта. Выбирает вариант, который решает проблему минимальными усилиями и при ошибке откатывается без серьезных последствий. Мне в этом случае приходит краткая сводка: что выбрал, почему и как проверил своё решение

Шаг 3: отложить до замера
Бывает, что варианты держатся на предположениях, которые сейчас проверить нечем. Тогда агент не гадает, а записывает три вещи: какой замер нужен, когда он станет возможен и при каком результате вопрос откроется снова. Если решать всё равно надо сейчас, агент ищет вариант, который легко пересмотреть в будущем за счет правки кода. Если пересмотр в будущем заденет пользователей продукта или потребует перезаписи накопленных данных, то вопрос уходит мне на четвертый шаг

Шаг 4: спросить меня
Сюда доходит то, что агент не вправе решать сам

Цели продукта: скорость, объёмы, качество, цена, допустимые расходы. Агент не может решить за меня, какую скорость ответа я хочу видеть в сервисе, по какой цене буду его продавать или сколько ресурсов готов выделить на задачу

Необратимое: решение, которое заденет пользователей или накопленные данные, уходит мне, даже если оно чисто техническое. Я не готов пока доверять такие решения агентам и хочу лично в каждом из них разобраться, рассмотреть альтернативы, оценить риски

Противоречия: ситуации, когда решение проблемы требует отменить решение, которое я ранее принял по какому-либо вопросу в проекте. Агент не имеет права отменять и перезаписывать решения, которые я когда-либо ранее принимал, поэтому единственный вариант — спросить меня

Первые результаты этого подхода: из 27 открытых вопросов, которые раньше я разбирал бы сам шаг за шагом, 10 сняты с повестки, 16 агент решил сам и написал мне краткую сводку, и только 1 вопрос дошёл до меня 😧 это безумный буст производительности

Вчера Клод за меня прошел полный цикл маркировки рекламы под посевы

1. Завел в новый кабинет ОРД меня в роли агента и клиента в роли рекламодателя

2. Завел посреднический договор

3. Загрузил креативы с картинками и выдал под каждый ERID и готовые ссылки с UTM+ERID разметкой. Проверил, что метки не сломали ссылки и они открываются корректно

4. Пол дня проверял в фоне прошли ли окончательную регистрацию креативы в ЕРИР. От выдачи токена до подтверждения прошло по 6 часов в среднем, если бы подтверждение не получили, то он сам бы подал повторные запросы

Попутно подсветил опечатки в рекламных текстах, юридические риски формулировок адаптации исходного поста от блогеров (одну переписали после его наводки) и проверил регистрацию каналов, у которых 10к+ подписчиков, в РКН

Работа шла через ОРД Яндекса по API. До Яндекса добрались после того, как он оценил текущие тарифы моего старого ОРД и сказал, что дороговато будет для небольшого посева, лучше другой ОРД выбрать и пошел ресерчить тарифы. Ключ API после регистрации я получил в два клика. После Клод изучил документацию API, написал коннекторы, поднял отдельный контейнер на моём сервере для хостинга картинок, т.к. ОРД принимает их по API только в виде ссылки и сделал всё то, что я описал выше

В конце, когда всё настроили, маркировка выглядела так: «Клод, братишка, вот на рабочем столе лежат договоры, заведи в систему. А вот канал, текст для размещения в нём, ссылка с меткой и на рабочем столе лежит картинка, промаркируй» 😍

А ведь еще несколько месяцев назад перспективными казались SaaS проекты, которые упрощают процесс маркировки рекламы