Anthropic выпустили статью о том как их разраб создал себе harness для выполнения длительных задач по кодингу.

Harness design for long-running application development

Думаю, те кто находятся на таком же уровне владения ai coding как я, уже сталкивались с проблемами, описанными в статье.

Автор рассказывает о том, как он пришёл к такому сетапу выполнения больших задач: planner (создает спеки по задаче из промпта пользователя), generator (пишет код) и evaluator (проводит независимое тестирование предыдущего шага).

Вот что мне показалось примечательным:
◾️

Out of the box, Claude is a poor QA agent. In early runs, I watched it identify legitimate issues, then talk itself into deciding they weren't a big deal and approve the work anyway. It also tended to test superficially, rather than probing edge cases, so more subtle bugs often slipped through

Автор статьи признает, что Claude из коробки склонен сглаживать углы, поэтому даже evaluator (у которого свой контекст!) пропускал многие баги.

Кто бы мог подумать! А мог бы просто пересесть на codex с GPT 5.4 ))

◾️ Автор говорит, что в начале ему приходилось сильно декомпозировать задачи (с поколением 4.5), а с выходом Opus 4.6 надобность в этом отпала.
Тут соглашусь - даже с предыдущим поколением GPT 5.2-5.3 необходимость в сильной декомпозиции задач действительно отпала

◾️ Ну и конечно же сам факт того, что ребята пришли к той системе, с которой я работаю примерно с сентября 🙂 В декабре видос об этом записывал.
Сейчас я уже на второй версии этого подхода — собрал в skill для codex, результат шикарный, каждая задача выполняется ровно так, как было задумано!

#aicoding@the_ai_architect

Лайк, репост,
✔️ Тимур Хахалев про AI Coding, подписывайтесь!

Claude Code стал лучше. В него добавили Codex plugin

Не шутка! Ребята из Codex выпустили плагин для Claude Code.

Состоит из нескольких команд:

/codex:review — запускает read-only Codex review.
/codex:adversarial-review — запускает управляемый code review с возможностью задать вопросы по имплементации.
/codex:rescue — передает задачи в Codex

Менеджить джобы в бэкграунде можно с помощью /codex:status, /codex:result, и /codex:cancel

Установить:

/plugin marketplace add openai/codex-plugin-cc
/plugin install codex@openai-codex
/codex:setup

Инструкция тут

Примечательно, что codex exec запускается не просто из bash, а через .mjs скрипт на 1k строк 🙂

#aicoding@the_ai_architect

Лайк, репост,
✔️ Тимур Хахалев про AI Coding, подписывайтесь!

Claude Code стал лучше. Опять. Его случайно опенсорснули

Как и год назад, кто то из команды Anthropic случайно включил сорс-мапы в релиз и благодаря этому красавчику мы теперь имеем возможность изучить Claude Code получше.

Вот что из интересного удалось нарыть:

- Buddy — тамагочи AI компаньон прямо в Claude Code. Судя по всему, это прекол для 1 апреля
- Kairos — persistent assistant. Насколько я понял, это альтернатива openClaw. Ну не смогли Анты игнорить спрос на такой продукт
- Ultraplan — режим планирования, в котором предлагается дать CC 10-30 минут времени для того чтобы передать подготовку плана в web и там Opus 4.6 подготовил план и вернул обратно. Зачем передавать в веб? Не понятно
- Undercover — режим "маскировки", насколько я понял, нужен для тех случаев, когда сотрудники Anthropic работают над публичными репозиториями и не хотят, чтобы их Claude Code был раскрыт. В таком режиме детерменированно вырезаются соавторства, имена моделей и т. д.

Ещё мне стало интересно, а как работает телеметрия в Claude Code?
На самом деле, ничего сверх-секретного нет. Флаги DISABLE_TELEMETRY и CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC отключают всю телеметрию (об этом было известно давно).

А как Claude Code определяет, что вы пользуетесь двумя аккаунтами с одного устройства?
В файле ~/.claude.json поле userID - это randomBytes(32).toString('hex'), который генерится один раз и является вашим device id.

Исходный твит. А тут народ уже собрал все интересные детали в одном месте.

#aicoding@the_ai_architect

Лайк, репост,
✔️ Тимур Хахалев про AI Coding, подписывайтесь!

Сколько стоит одна задача, выполненная с человеком, который умеет в AI Coding?

Пришла в голову идея подсчитать, сколько у меня стоят сессии имплементации плана по Plan & Act. Посчитал, получились интересные числа (на картинке), и пришла идея написать этот пост, который скорее всего заставит некоторых подгореть 🤷‍♂️

И так, сколько я трачу ресурсов на работу по Plan & Act с codex.

На подготовку к задаче я трачу 1-2 часа, потом передаю задачу в работу codex'у, он её выполняет 1-2 часа, и потом я вручную протыкиваю задачу в UI и убеждаюсь что всё работает так, как было задумано. Если нет, то исправляем. Трачу на это ещё 1 час, примерно. Итого: 2-3 часа на одну задачу чисто моего времени.

Теперь на конкретном примере из недавней практики:
Пользователь может писать в ТП через телеграм бота. На другой стороне (в веб приложении) сидит оператор и общается с этим пользователем. Назовём эту систему inbox.
Нужно сделать вот что: уведомления о новых сообщениях от пользователей присылать в телеграм чатик; дать возможность отвечать через реплай в этом телеграм чатике, соответственно, вся переписка через этот чат должна проходить через этот inbox; добавить дебаунс и отправлять уведы в чатик только спустя 30 сек от последнего сообщения.

По трудозатратам, GPT оценил такую задачу (с учётом фиксов после имплементации, но без учёта рисерчей и планирования) в 14-20 человеко-часов. Claude оценил в 5-7 рабочих дней 😆. Ок, условимся на 3х рабочих днях - 24 часа.

Сколько такая задача будет стоить для работодателя, если он даст её "аналоговому" разработчику, который будет писать код вручную?

Предположим, такой разработчик для работодателя стоит 350к руб в мес после налогов. Ставка в час 2к руб. 2к руб * 24 часа работы = 48 тыс руб или $533 по нынешнему курсу.

Сколько такая задача будет стоить для работодателя, если он даст её "цифровому" разработчику, который будет использовать AI агентов для реализации?

Имплементация этой задачи, в пересчёте на плату по api, стоит $23.27 (77.7M tokens) в Codex (модели GPT 5.4 High и 5.3 Codex High).

Разработчик, который будет ставить эту задачу и проверять потом, стоил бы 2к руб * 3 часа = 6к руб = $66. В сумме, с учётом затрат на агентов: $90.

Итог: задача, выполненная человеком стоит $533 и занимает 3 рабочих дня. Задача, выполненная агентом под контролем человека стоит $90 и занимает менее 1 рабочего дня. Разница в 5 раз.

Вот такие дела 😏

#aicoding@the_ai_architect

Лайк, репост,
✔️ Тимур Хахалев про AI Coding, подписывайтесь!

Моему подходу Plan & Act примерно 8 месяцев уже и он претерпел значительные изменения:

- на старте это был workflow заточенный именно под Claude Code и актуальные в сентябре модели - Sonnet 4 и GPT 5: приходилось почти вручную выполнять декомпозицию задач в отдельные файлы, потому что большие задачи на имплементации sonnet не переваривал. Приходилось сильно запариваться над вычищением плана с GPT 5. Уже тогда на старте у меня был процесс верификации реализованной задачи

- какое-то время зимой я не использовал этот подход, но потом, когда пришлось шиппить много и быстро, вернулся к нему и понял, что codex'у не нужна декомпозиция задач и нет необходимости заморачиваться с этим. Так же упростился процесс подготовки плана, потому что на тот момент уже появилась модель GPT 5.2

- с февраля примерно я занимаюсь улучшением Plan & Act, делился им с некоторыми людьми, в том числе с @gleb_pro_ai

еще вот @yatimur прикольного планировщика сделал. Я гоняю — хорошо работает, могу рекомендовать (только сетап геморройный)

Сейчас Plan & Act состоит из: подготовка черновика плана -> создание плана (implementation plan с milestones) -> имплементация -> проверка на соответствие написанного кода плану -> code review по написанному коду, ну и конечно же исправление косяков в лупе, после каждой проверки.

Итог - выполненная задача от и до. После реализации я иду сам тыкать эту фичу в UI и убеждаюсь что она работает так, как было задумано. Если что-то не так, то это исправляется фоллоу-аппом.

На такую задачу я обычно трачу 1-2 часа максимум на подготовку, и остальные 1-2 часа агент тратит на реализацию, и 1 час максимум на проверку вручную. В до AI эпоху на такие задачи тратится обычно от 4 до десятков рабочих человеко-часов

- на днях вот ещё попробовал superpowers brainstorm скилл, мне понравился, похоже на мою стадию подготовки draft, так что позаимствовал подходы оттуда

- планирую ещё добавить полноценную стадию QA отдельным агентом. В одном проекте у меня уже есть подход, где для тестирования агент создает отдельный мир в БД и гоняет вдоль и поперек integration, e2e тесты (в т. ч. где агент сам ходит по сайту через свой браузер), но об этом расскажу как нибудь в следующий раз.

#aicoding@the_ai_architect

Лайк, репост,
✔️ Тимур Хахалев про AI Coding, подписывайтесь!

Про developer ux

Я недавно настраивал sentry впервые. Мне не хотелось разбираться в новых (для меня) сущностях этого продукта, поэтому сетапить я его планировал с AI, конечно же.

Дал задачу кодексу "давай настроим sentry" на проекте. Агент сходил и настроил, я создал новый проект на стороне Sentry.

Дальше, нужно проверить что всё работает. Пошёл искать способы связи между моим агентом и sentry: находил и mcp и голый api по curl завернутый в skill, в итоге остановился на официальном sentry cli и skill к нему.
Установка простейшая, ставится через bun add -g sentry. Не нужно возиться с json'ами, как в случае с mcp.

После установки агент сразу подтянул skill и пошёл работать с sentry. Кайф

---

Далее, для подготовки к PAC1 мне нужно было настроить langfuse, чтобы можно было удобно смотреть логи запросов.
Приятно обрадовался, что langfuse теперь предлагает настраивать проект прямо с агентом, у них прям в документации есть промпт

Install the Langfuse AI skill from github.com/langfuse/skills
and use it to add tracing to this application with Langfuse
following best practices.

К нему же ещё идёт и langfuse-cli, который позволяет подключаться к lf и читать телеметрию.

Мне очень понравилось, учитывая, что еще пару месяцев назад, когда я последний раз настраивал langfuse, у них ещё не было этого и настройка lf была сущим адом (нужно настроить с десяток файлов. Bolt-on настройкой это не назовёшь)

---

Ну и третьим проектом за последнее время был posthog.
У них тоже появился cli + skill, теперь можно удобно давать агенту в руки возможность работать с аналитикой.
Причем, тут еще понравилось, что авторизация была максимально удобной: команда posthog-cli login, далее открывается браузер, подтверждаешь выбор и всё готово.

Осенью ещё писал про stripe cli, тоже мега удобный инструмент, кто пропустил — вот ссылка.

Вывод такой — будущее Developer UX за такими штуками, которые упрощают взаимодействие с вашим проектом.

Вот мне вообще не хочется разбираться в сущностях posthog, sentry или langfuse, я просто знаю о некоторых юзкейсах использования этого проекта и хочу себе настроить так же.
Я не хочу читать документацию, или даже спрашивать чатгпт о том чтобы он мне создал инструкцию по документации этого сервиса.

Нет, я хочу просто кинуть в железяку (моего агента) ссылкой на новый сервис и попросить настроить его для меня, и локально и на стороне сервиса.

Короче, если ваш продукт сложный для онбординга и настройки - упрощайте его с помощью вот таких инструментов, которые построят связь между агентом вашего клиента и вашим сервисом.

#aicoding@the_ai_architect

Лайк, репост,
✔️ Тимур Хахалев про AI Coding, подписывайтесь!

Продолжая тему skills + cli, вот что из недавнего удалось реализовать

На моей основной работе появилась необходимость создать удобную замену cloudflare tunnels (выставить в интернет порт своего локального проекта) с примерно такими тезисами из ТЗ:
- каждый разработчик должен иметь возможность быстро публиковать локальный сервис наружу.
- у каждого разработчика может быть несколько одновременно опубликованных портов.
- имена туннелей должны быть предсказуемыми и человекочитаемыми.
- управление должно идти с компьютера разработчика через CLI.
- конфигурация и состояние туннелей должны храниться централизованно, а не только локально на ноутбуке.
- пример url адреса такого туннеля: 3005.john-s.tun.example.com - проксирует на localhost:3005 разработчика

Как это происходило

1. Вместе с codex изучили, а что вообще есть. Cloudflare tunnels не подходил, потому что для наших требований необходимо было платить за wildcard серты и за что то ещё.
Поискал ещё готовые решения, ничего не подошло - либо комбайн, либо недостаточно функционала. Было принято решение делать свой велосипед :)).
Остановились на frp в качестве движка + свой cli и сервер для управления доступом.

2. Подумал и накидал user journeys - мое виденье того, как юзер будет пользоваться этим сервисом. Потюнили с codex

3. Накидали верхнеуровневый roadmap - как сделать проект с нуля до продакшена

4. Из roadmap сделали 8 задач

5. Передал в реализацию с помощью моего Plan & Act skill.

6. По ходу реализации "щупал" этот проект, уточнял требования, что то менял.

7. В конце ещё сделал skill, с помощью которого можно управлять этими туннелями: как пользователю, так и админу.
Просто кидаем в агента скилл и просим поднять туннель: агент проверяет, установлен ли cli (если нет, то устанавливает), сетапит его и поднимает туннель. Если пользователь админ, то так же можно кидать в агента скилл и просить управлять юзерами (создать, удалить и т. д.)

8. Задеплоил и передал инструмент в пользование команде.

От идеи до релиза в прод ушло 15 рабочих часов.

Скриншот в комментах

#aicoding@the_ai_architect

Лайк, репост,
✔️ Тимур Хахалев про AI Coding, подписывайтесь!

CLI Creator Skill

Тут ребятки из openai вчера релизнули новый curated skill — CLI Creator

Skill уже добавлен в Codex App

Он позволяет создать cli + skill для вашей рутины из имеющихся: API docs, OpenAPI JSON, SDK docs, curl examples, browser app, existing internal script, article, or working shell history.

Звучит потрясающе!

Я уже пошёл и проверил на себе. У меня был skill, который ходил в мой сервис по api (через curl + api key) и доставал read only инфу.
Сейчас попросил gpt создать cli версию этого инструмента.

Мы с ним обсудили то, как это будет выглядеть, добавили апдейтов (skill немного отставал) и с помощью моего planact реализовали задачу за 1.5 часа. Всё работает прекрасно!

Напоминаю, что главная идея такой связки cli+skill состоит в том, чтобы дать вашему кодинговому агенту доступ к вашему любимому сервису.
Юзкейс может быть, к примеру, такой: "Ок, агент, сколько пользователей у нас сегодня зарегистрировалось с параметром %PARAM%?". Агент подтягивает этот созданный skill, далее использует CLI, идёт в ваш сервис, тянет инфу и отвечает на ваш вопрос.

Так что если у вас есть какие-то процессы, которые можно так упаковать, то 100% рекомендую это сделать!

Кстати, этот skill является продолжением идеи Валеры и Паши — openapi-to-cli, инструмент который генерирует cli из вашего openapi. Кому актуально — тоже рекомендую!

#aicoding@the_ai_architect

Лайк, репост,
✔️ Тимур Хахалев про AI Coding, подписывайтесь!