Вижу, что кейс с модерацией через Jev актуален, поэтому публикую пример реализации такого Jev-модератора для для Mastra фреймворка. Реализовано в виде кастомного InputProcessor (по аналогии с обычным LLMным ModerationProcessor): https://github.com/CodeAlive-AI/mastra-jev-moderation

И мнение Рефата про Jev тоже рекомендую к прочтению: https://t.me/nobilix/303

Кстати, моделька уже появилась на OpenRouter: https://openrouter.ai/typesafe/jev-1.13

@ai_driven

Ребят, на всякий случай уточню для тех, кто не вчитался - по 20$ подписке до 10 октября Девин дают практически бесконечную квоту на свою новую фронтир модель SWE 2.0 - это тюн и без того очень удачной модели Kimi K3. И это пока лучшая модель-исполнитель из тех, что мне встречались - я думаю, на уровне с Sol. У К3, кстати, изначально очень хорошо с удержанием контекста на длинных дистанциях.
Я напомню, что Devin недавно купили Windsurf и объедини усилия, а кор команда у них - это лютые олимпиадники - у них отличный CLI с ACP (который полностью поддерживается моим оркестратором) и довольно удобное Desktop приложение для тех, кто хочет юзать его стэндэлон - а вкладка с редактором так вообще киллер фича особенно для любителей посмотреть код.

Я в основном использую девина из оркестрации из Codex или Claude Code. Так и пишу:

Максимально делегируй работу Девину, на тебе только мышление, оркестрация и проверка. Где уместно - параллель выполнение.

Дальше уже скилл оркестрации все, что нужно делает - правильно запускает и инструктирует как оркестратора, так и Девина (подробнее в следующем посте).

В бенчах SWE 2.0 идет на уровне самых топовых фронтиров. А лимит там 10 параллельных сессий.
В Desktop я его обычно запускаю на Max reasoning, а в CLI на High. Ощущение доступа к бесконечной фронтир модели сильное.

Подписку на грока я отменил.

ЗЫ: Отдыхайте на выходных :))

@ai_driven

Вот за что люблю очередь сообщений в Codex. Накидываешь задачи на ночь одну за другой и со спокойной душой идешь спать. Спека дошлифовывается, а Девин субагенты потом идут ее выполнять под контролем Астры.
Вообще, тщательное разжевывание сложных и неочевидных мест прямо в плане сильной моделью - важнейшая штука в SDD, особенно когда сама работа делегируется агенту подешевле.
А планеров в данном случае двое - Астра основная и Fable советник(ца).

@ai_driven

Чем мой оркестратор отличается от claude -p и т. п.?

Помимо полезных инструкций, вправляющих мозги как координатору, так и воркерам, важнейшая фишка конкретно моего pragmatic-orchestration в том, что он умеет перенаправлять воркера прямо во время работы (в Codex эта фича называется Steer). То есть, если агент-координатор во время очередной проверки видит, что условный Devin пошел не туда или что-то не учел, ну или просто вы отправили какое-то уточнение координатору, он сможет перенаправить воркера (или воркеров) прямо во время выполнения, не прерывая их работу. И это поддерживается практически для всех harnesses - где-то через ACP, где-то встроенными средствами.

@ai_driven

Выступление за выступлением.

Примерно так проходит для меня сентябрь. Много знакомств, интересных историй и опыта о том, что работает, а что нет.

Вот вам ещё немного анонсов выступлений на грядущую неделю.

Во вторник, 22 сентября, в 18:00 (GMT+3) на буткемпе от NAITION расскажу про feedback-loop в работе с агентами.

Как правильно настроенные циклы обратной связи помогают достичь более качественного результата от работы AI-агентов. И о том, как feedback-loop помогают измерить качество процессов.

А в среду, 23 сентября, также в 18:00 (GMT+3), выступят мои товарищи по авторским AI-блогам – Родион Мостовой и Максим Ключников (вы могли их видеть у меня на эфирах про код с AI-агентами и про экономию токенов). Они выступят с очень амбициозной темой: "Конвертируем Enterprise-проект в Dark Factory". Расскажут про то, какой путь надо преодолеть компании на пути к этому состоянию.

Даты и время: 22 и 23 сентября, в 18:00 (GMT+3).

Доступ на эфиры бесплатный, после регистрации.

Регистрация в боте: @ai_meetups_bot

Vibe-Observability и автономный баг-фиксинг

Эксперементирую с автономным исправлением багов через агента - BugSink тригерит облачный claude code в момент когда возникает эксепшн, тот просыпается ищет причину и исправляет (у него полный ридонли доступ к проду + доступ к репозиторию). Проект эксперимельный, цена ошибки не велика, поэтому такая автономия допустима.

Но главное другое - чтобы это все нормально работало, вайб-система должна быть предельно прозрачной, трассируемой, нужны хорошие логи, трейсы и прочие обсервабилити с телеметрией, в т. ч. для агента внутри (но что за современный продукт без агента внутри), которые из коробки кодовый агент конечно не делает нормально и остается куча пробелов.

Помните мой репо vibe-stack? С оптимальным сетапом для создания не только быстрых, но и хороших и надежных MVP? Так вот я добавил туда два новых документа на эту тему:

docs/observability.md
это как раз про грамотный сетап обсервабилити, включая сквозные трейсы от клиента до сервера (кстати, баги на стороне клиента тоже фиксируются и летят в BugSink, а благодаря сорс мапам трейсы еще сразу деминифицируются). BugSink если что - это такой более легковесный опенсорсный аналог сентри.
А сами логи и трейсы (в тч логи агента) пишутся в OpenObserve - это такой легковесный опенсорсный аналог ELK стека.
В общем, для любителей поделать проекты или быстро и качественно поднять MVP чего угодно - рекомендасьен.
Скармливаете доку своему агенту - и вуаля ваш прод теперь тоже AI-native, agent-ready, super-mega :)

docs/autonomous-bugfixer.md
А это как раз тот самый гайд по настройке автономного SRE-баг-фиксера, который просыпается по тригеру из BugSink, читает ваш прозрачный прод и PRит апдейт, который дальше автоматически мерджится тригерит редеплой.

Репо: https://github.com/CodeAlive-AI/vibe-stack

@ai_driven

Онбординг агентов в Enterprise кодовые базы на миллионы LoC

Вместе с Максимом Ключниковым (Этихлид) поделились своим опытом о том, как добиться максимум эффективности от AI агентов на больших легаси проектах. Я рассказывал про построение тезауруса и борьбу с тех долгом, а также поделился неочевидными результатами наших бенчмарков, измеряющих эффективность контекстных движков (векторный RAG, графовый RAG). Во второй части Максим рассказал об AI-native инфраструктуре . А в третьей части к нам присоединился Глеб Михеев (Уставший техдир) и мы вместе поотвечали на вопросы зрителей, обсудили тему миграции больших проектов, а также тему объективного измерения эффективности агентов на своей кодовой базе.

Запись на YouTube: Конвертируем Enterprise-проект в Dark Factory — Родион Мостовой и Максим Ключников

Таймкоды:
00:00 Знакомство со спикерами и начало доклада
02:15 Что такое Dark Factory и что для неё нужно
09:25 Делаем Enterprise-проект понятным агенту
14:20 Тезаурус, инварианты и знания команды
26:05 Исследование подсистем и проблема missing change
29:20 Контекстные движки: поиск и GraphRAG
36:50 Верификация: тесты, AI QA и запуск в CI/VM
56:30 Максим Ключников: замыкаем петлю на инфраструктуру
1:25:25 Воркфлоу для типовых задач
1:28:05 Профиль готовности проекта к агентам
1:31:05 Сколько работы можно отдать агентам
1:42:30 Обсуждение и вопросы участников

@ai_driven

Собеседования на программиста в эпоху AI

Помните раньше была такая штука как собеседование по теории? Когда просто задают вопросы а-ля "как работает хеш таблица" или "а что там происходит при коллизиях"? Так вот, оказывается, такое и сейчас есть.

Вообще, тема собеседований мне весьма не чужда, я даже когда-то готовил людей к прохождению этих самых собеседований, причем весьма успешно.
Так вот, формат таких теоретических собеседований мне никогда не нравился. А теперь, в эпоху AI он и вовсе потерял какой бы то ни было смысл. Почему? Потому, что кандидату, в целом, ничего не стоит посадить рядом с собой какую-нибудь нейронку на церебрас + live модельку, которая будет слушать и выпуливать ответы даже на самые сложные вопросы быстрее, чем интервьюер закончит задавать вопрос. Более того, такие персональные агенты-помощники вот-вот вообще станут нормой (это если вдруг вы до сих пор относитесь к такому как к читерству). Собсна, при должной сноровке не сложно запромптить агента так, чтобы он вылавливал всевозможные уловки (а-ля чего это вы мне в третий раз одно и то же спрашиваете разными словами) и вообще вел себя как живой.

Но как тогда? Есть радикальное мнение, что испытательный срок - это лучшее "собеседование", причем не 3-месячный, а куда более быстрый (сейчас с агентами, в принципе, за неделю-две уже можно делать выводы об адекватности кандидата). Ну ок, каждого же не будешь брать на платную испыталку - согласен. Что тогда? Мне очень нравятся два формата на собесах:
1. Обсуждение опыта: задач, которые кандидат решал ранее и особо запоминающихся проблем/граблей, которые возникали на этом пути (ок, такое и с нейронкой можно провернуть, но явно будет сильно сложнее сделать это органично).
2. И второй формат: вот удивитесь, но это лайв код ревью*. И это как раз тот формат, который не просто позволяет проверить знание той самой теории, но и понимание этой теории на практике. Ну, например, есть у вас тот самый блок вопросов про хеш-таблицы/dict (допустим, вы считаете понимание его строения важным), напишите в коде кейс с коллизией или кейс с overriden GetHashCode() => 0 и спрашивайте, что там в представленной портянке на 100 строк не так (спойлер: там все не так). Ну, или у вас есть странный вопрос про отличие Thread от Task - ну, бахните в коде Thread.Start с каким-нибудь async void и await'ом внутри и смотрите что на это кандидат скажет, ну и так далее. А если на ваш теоретический вопрос не получается придумать практический кейс тогда это хороший повод задуматься о целесообразности такого вопроса. Еще, раньше подобные примеры портянок было не просто придумывать и я на РФ рынке встречал всего пару компаний, которые такие штуки делали. Сейчас же, как вы понимаете, такие задачки очень здорово можно нагенерить вместе с нейронкой - берете этот пост, описание вашей вакансии, описание компании и отправляете это все гпт 6 про с просьбой сгенерить такую портянку на часовое интервью.
Ну ок, вы мне скажете, что мешает (сильной) нейронке поревьюить код и найти в нем все проблемы? То, что в любом ревью важен контекст, а контекст надо догадаться сначала уточнить и в зависимости от контекста важность той или иной проблемы будет отличаться (мы же помним как хорошо нейронки могут бесконечно находить проблемы). Проблемный код в этом случае выдается кандидату всей портянкой и в нем может быть как много проблем, так и наоборот практически не быть. Здесь еще важно отметить сам процесс - кандидат сразу побежал ошибки искать или сначала попытался понять а что вообще происходит и для чего. Ну и в целом, идеально когда вайб-кандидат не готов к такому формату и тогда его (обычно простой) live-агент просто будет хвататься за первую попавшуюся на экране проблему не вдаваясь особо в контекст и в ее важность. Короче, в таком сетапе обмануть систему становится сильно сложнее.

* Речь, конечно, идет о кейсах, когда по классике нанимают конкретного специалиста на конкретный стэк, а не агентного инженера-агностика.

А как у вас в компании поменялась механика собеседований? И спрашиваете ли еще в принципе про условное устройство хеш-таблиц или у вас уже AI-native полным ходом и все подкапотные детали - это что-то из разряда знаний ассемблера?)

@ai_driven

Выхожу из сумрака, чтобы разом рассказать на новой конфе все то, о чем не успеваю рассказать в канале.
Мы собрали самых топовых руссоязычных спикеров в сфере агентной разработки (до кого смогли дотянуть) и организовали с ними конфу. Помимо оркестрации команды агентов, я впервые структурировано расскажу про свой агентный сетап, про свои подходы, уникальные скиллы, а также почему я ушел от Spec-Driven фреймворков и даже от Plan Mode и что использую вместо.

Подробнее про свой доклад и про доклады спикеров расскажу немного позже, а пока репостну описание нашей конфы от Коли, друга нашего канала и организатора (уж очень хорошо он написал):

Конфы, которые мы делаем – комьюнити проекты. Это значит, что мы обычно делаем их своей тг тусовочкой, а все деньги, которые получаем с билетов, направляем на промо самой конфы (либо записей после)

На удивление, при всей "некоммерческости", получается качество, за которое не стыдно. Ну, вы сами скорее всего видели 😅

Только вот не понятно, как теперь отстраиваться от этих бесконечных конференций за подписку, которые штампуют каждую неделю, упихивая 10 спикеров в 2-3 часа выступлений без предварительных прогонов

Год назад, когда мы делали AI Dev Live, мы по сути были первые за несколько лет, кто делал что-то большое в таком формате – никак отстраиваться было не нужно

И вот, что мы решили:

1. По классике, мы запарываемся по качеству – все доклад проходят прогоны, даже у самых опытных спикеров, а программой занимаются ребята из ПК топовых конференций

2. Список тем. Так же, как и в прошлом году, мы постарались выбрать такой контент, который бы был актуален весь следующий год (удивительно, но наши прошлогодние доклады вполне уместны даже сейчас)

3. Дополнительная ценность. Мы видим, какая жопа сейчас творится на рынке труда (причем, с обеих сторон). Так что мы добавили несколько бонусов для участников: можно будет запостить вакансию, если вы нанимающий менеджер, найти подходящую или просто запостить свое cv, если вы ищете работу, а еще будут взаимоконнекты в линкедине – нетворк сейчас решает. А еще у нас будет отдельный крутой доклад от HRD про это

4. Еще у нас была идея выцепить хедлайнером кого-то из deepseek, z.ai или moonshot, но пока конференции с реквизитами ИП в футере – слишком большой риск даже для китайцев. Зато получилось договориться с ребятами из CodeRabbit – вот уж кого точно стоит послушать про ревью агентами

Короче, если вы технарь, и ваша работа завязана на ии, то я очень советую не пропускать – таких мероприятий в ру-пространстве почти нет

11-12 ноября с 14:00 по мск. Приводите коллег и начальство

Как обычно, можно платно, а можно бесплатно, при подписке на спикеров

Регистрация: ai-dev.live

Бекдор в Claude Code расширении для VSCode/Cursor

TL;DR - недавнюю версию Claude Code extension for VSCode/Cursor/etc. атаковали бекдором через одну из его зависимостей (пресловутый supply chain), поэтому стоит проверить не попал ли ваш ПК под атаку - проверить можно через своего агента

Cursor говорят, что сервер атакующего уже отключен, но если ваш ПК таки попал под атаку, то стоит как минимум отозвать ключи из .env и других файлов и тд (в промпте все есть).

Промпт на диагностику и хилинг (авторством Astra Pro) - отдавать его лучше Опусу или GPT 6.1 Sol/Astra.

Тот случай когда есть смысл друзьям переслать на всякий, ну и безопасникам вашей компании тоже.

Новость увидел в канале Макса Сябро @syabro_notes - спасибо ему за быструю реакцию.

Подробный разбор бекдора (за ссылку спасибо @kant2002)

@ai_driven