Как уже говорил ранее, с февраля разработчики в RetailCRM массово переходят на агентскую разработку. Прошло 5 месяцев этого пути, хотел бы подбить промежуточные выводы.
Ключевые цифры
1. Число смерженных Merge Request-ов +26%. Доля MR, разработанных с агентами 50-55%
2. Объем изменений, заезжающих с MR +250%. Доля строк с агентами 75-80%
3. Медиана Time to market задач держится плюс-минус на том же уровне
4. Средний Time to market задач снизился на 39%, снижается все 5 месяцев
Что всё это значит
1. Кодинг – это только один из этапов реализации задачи. Объем выпускаемого кода увеличился в 2,5 раза, но число MR только на треть. Мы ускорили кодинг, но узкими местами становятся другие этапы. Стабильность медианы t2m дополнительно подтверждает, что ускорение кодинга почти не ускоряет весь пайплайн производства, по крайней мере сейчас. С другой стороны и не замедляет, что тоже важно
2. Среднее значение t2m, в отличие от медианы, более чувствительно к крайним значениям, то есть к длительности долгих задач. Снижение среднего говорит о том, что агентская разработка больше ускоряет крупные задачи и фичи. Рост объема изменений как дополнительное подтверждение этой гипотезы
3. Как видно, с агентами делается чуть больше половины MR. Остальная часть без агентов по несколькими причинам:
3.1. Мелкие правки бывает быстрее внести напрямую, чем объяснять агенту
3.2. Мы пока осторожно переводим на агентов молодых ребят. Кажется, когда мало опыта, то агенту больше доверяешь и хуже верифицируешь результат, а опыт получаешь более поверхностный. Соответственно от них больше MR без агентов
В общем, с агентами код пишешь быстрее, но в конечном итоге всё упирается в людей⌛️ И переход к Tiny Teams напрашивается сам собой: небольшие, но более автономные команды. Часть наших уже такими и является.
В ближайшее время подключим агентов в процессы ревью. И по части harness пока далеко не все готово, особенно на крупных проектах с историей, продолжаем улучшать.
Делитесь, как у вас обстоят дела?
🔗 Инженерия и AI | Ilyas Salikhov
Ключевые цифры
1. Число смерженных Merge Request-ов +26%. Доля MR, разработанных с агентами 50-55%
2. Объем изменений, заезжающих с MR +250%. Доля строк с агентами 75-80%
3. Медиана Time to market задач держится плюс-минус на том же уровне
4. Средний Time to market задач снизился на 39%, снижается все 5 месяцев
Что всё это значит
1. Кодинг – это только один из этапов реализации задачи. Объем выпускаемого кода увеличился в 2,5 раза, но число MR только на треть. Мы ускорили кодинг, но узкими местами становятся другие этапы. Стабильность медианы t2m дополнительно подтверждает, что ускорение кодинга почти не ускоряет весь пайплайн производства, по крайней мере сейчас. С другой стороны и не замедляет, что тоже важно
2. Среднее значение t2m, в отличие от медианы, более чувствительно к крайним значениям, то есть к длительности долгих задач. Снижение среднего говорит о том, что агентская разработка больше ускоряет крупные задачи и фичи. Рост объема изменений как дополнительное подтверждение этой гипотезы
3. Как видно, с агентами делается чуть больше половины MR. Остальная часть без агентов по несколькими причинам:
3.1. Мелкие правки бывает быстрее внести напрямую, чем объяснять агенту
3.2. Мы пока осторожно переводим на агентов молодых ребят. Кажется, когда мало опыта, то агенту больше доверяешь и хуже верифицируешь результат, а опыт получаешь более поверхностный. Соответственно от них больше MR без агентов
В общем, с агентами код пишешь быстрее, но в конечном итоге всё упирается в людей
В ближайшее время подключим агентов в процессы ревью. И по части harness пока далеко не все готово, особенно на крупных проектах с историей, продолжаем улучшать.
Делитесь, как у вас обстоят дела?
🔗 Инженерия и AI | Ilyas Salikhov
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤23👍16🔥7👾4🎉1
Как отдельный трек, мы развиваем сквозного агента компании Orpheus, который помогает нам во всё большем количестве бизнес-процессов компании, не только в разработке.
И получаются интересные прецеденты, когда Orpheus делает задачи по улучшению самого себя 👾
🔗 Инженерия и AI | Ilyas Salikhov
И получаются интересные прецеденты, когда Orpheus делает задачи по улучшению самого себя 👾
🔗 Инженерия и AI | Ilyas Salikhov
🔥21👍10👾7❤1
Media is too big
VIEW IN TELEGRAM
Погода лучше не придумаешь, не забываем про тело, разгружаем мозг. Недавно в Forbes прочитал про MB Barbell, тренажеры которых встречаю в Москве. Оказалась компанией из Петрозаводска, основана аж в 1986 года. Основатель, Вадим Маркелов, запатентовал уличный тренажер с изменяемой нагрузкой, сейчас выпускают 12к уличных тренажеров в год.
Ребята еще крутыши, вложились в городскую среду родного города. По своей инициативе поставили 130 тренажеров на набережной Петрозаводска. А в 2025 году открыли ещё одну крупную бесплатную площадку на Крестовском острове в Петербурге на 300 тренажёров.
Приятно узнавать про такие компании, которые меняют ежедневный быт и среду к лучшему. Особенно приятно, когда это региональная компания.
🔗 Инженерия и AI | Ilyas Salikhov
Ребята еще крутыши, вложились в городскую среду родного города. По своей инициативе поставили 130 тренажеров на набережной Петрозаводска. А в 2025 году открыли ещё одну крупную бесплатную площадку на Крестовском острове в Петербурге на 300 тренажёров.
Приятно узнавать про такие компании, которые меняют ежедневный быт и среду к лучшему. Особенно приятно, когда это региональная компания.
🔗 Инженерия и AI | Ilyas Salikhov
🔥29👍5⚡3❤1
Это база
Убежден, что каждый разработчик, считающий себя экспертом, должен понимать устройство СУБД (системы управления базами данных) не хуже, чем языков, на которых он пишет. Ошибки по части данных обходятся очень дорого, иногда просто необратимы. Не продумали индексы: запросы в проде стали грузить сервер в полку. Ошиблись в миграции: затерли часть данных при переносе в новые таблицы. Банально полезли в прод и выполнили запрос с ошибкой.
И даже в эпоху AI, SQL-запросы и миграции — последнее, что будет ехать в прод без ревью человеком. Понятно, что AI очень хорошо понимает и SQL, и индексы, но ответственность за применение к проду остается на людях. По крайней мере, пока👉
Что рекомендую по теме:
1. Тонкости работы с PostgreSQL
Мой плотненький доклад на Podlodka PHP Crew (200+ слайдов за 1 час). Это мой же обновленный доклад с PHPRussia / Highload++.
Видео | Презентация
2. PostgreSQL 18 изнутри
Фундаментальная книга Егора Рогова. Если решили разобраться как следует и навсегда. Недавно вышло ее обновление под PG18.
Страница книги | PDF
3. SQL Performance Explained
Эталон баланса содержательности и объема. Можно прочитать за 2-3 вечера, при это всё ключевое дано. Крайне рекомендую.
Сайт книги (платная)
🔗 Инженерия и AI | Ilyas Salikhov
Убежден, что каждый разработчик, считающий себя экспертом, должен понимать устройство СУБД (системы управления базами данных) не хуже, чем языков, на которых он пишет. Ошибки по части данных обходятся очень дорого, иногда просто необратимы. Не продумали индексы: запросы в проде стали грузить сервер в полку. Ошиблись в миграции: затерли часть данных при переносе в новые таблицы. Банально полезли в прод и выполнили запрос с ошибкой.
И даже в эпоху AI, SQL-запросы и миграции — последнее, что будет ехать в прод без ревью человеком. Понятно, что AI очень хорошо понимает и SQL, и индексы, но ответственность за применение к проду остается на людях. По крайней мере, пока
Что рекомендую по теме:
1. Тонкости работы с PostgreSQL
Мой плотненький доклад на Podlodka PHP Crew (200+ слайдов за 1 час). Это мой же обновленный доклад с PHPRussia / Highload++.
Видео | Презентация
2. PostgreSQL 18 изнутри
Фундаментальная книга Егора Рогова. Если решили разобраться как следует и навсегда. Недавно вышло ее обновление под PG18.
Страница книги | PDF
3. SQL Performance Explained
Эталон баланса содержательности и объема. Можно прочитать за 2-3 вечера, при это всё ключевое дано. Крайне рекомендую.
Сайт книги (платная)
🔗 Инженерия и AI | Ilyas Salikhov
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Доклад: Тонкости работы с PostgreSQL / Ильяс Салихов (RetailCRM)
Поговорим про типы данных и индексы, разберем нюансы миграции схемы и данных на больших объемах, а также рассмотрим батчинг-операции
Презентация - https://drive.google.com/file/d/13IdKAF8QqPHbuvtJlnNl-NjZaW0apHUW/view?usp=drive_link
Понравилось видео и…
Презентация - https://drive.google.com/file/d/13IdKAF8QqPHbuvtJlnNl-NjZaW0apHUW/view?usp=drive_link
Понравилось видео и…
🔥22👍12❤5💯3⚡2
Как-то тут упоминал про Орфея (Orpheus), нашего сквозного AI-агента в RetailCRM. Вообще, одна из очевидных точек приложения агентов — техподдержка. В саппорте обычно выделяют линии поддержки: первая, вторая и тд, которые присутствуют и у нас. Плюс у нас есть процесс дежурств среди разработчиков: один из разработчиков выходит из спринтов на 2 недели и разбирает эскалированные обращения.
Орфей с июня помогает как самой техподдержке, так и дежурным разработчикам. Решил глянуть, что стало с дежурствами (да, отчет мне тоже помог собрать Орфей🚬 ). Что вижу:
1. До разработки стало доходить на 37% меньше обращений
Это та часть вопросов, где для ответа клиенту нужно было посмотреть в код, релизы и логи. Раньше это могли сделать только инженеры, а сейчас даже первая линия может сделать такой анализ с помощью Orpheus.
2. Медиана решения вопроса разработчиком снизилась на 27%
Те сложные вопросы, что доходят до разработчиков, разбирать и инженерам стало проще, подключая Орфея.
2. Среднее время решения вопроса разработчиком снизилось на 40%
А вот тут интересно. На показатель среднего времени, в отличие от медианы, больше всего влияют «тяжелые» вопросы, которые не просто про «ответить», а там, где находится баг. Для бага готовят фикс, который проходит этапы задача-код-тесты-CI-деплой. Вопрос отмечаем решенным, когда фикс на проде.
А как теперь выглядит разбор такого вопроса: инженер вместе с Орфеем разбирает корень проблемы. Как причина найдена, Орфея же просим оформить задачу и подготовить MR с багфиксом. Дальше ревью, мерж и на бой. Процесс ускорился в разы. В комментариях дам пример типичного треда.
Еще деталь. Если посмотрите на график, показатель падает все три месяца, поэтому за август снижение не 40%, а в 2 раза минимум.
—
Надо сказать (не ожидал), что у всех коллег положительный фидбек от работы Orpheus. Почему? Он подключен ко всем нашим системам: может залезть изучить код, может копнуть логи, может поднять историю коммитов, изучить детали задач, глянуть последние релизы.
Полнота и глубина данных, что доступны агенту, очень сильно определяет качество и правильность ответа. Про это нечасто говорят, но в AI-переходе это становится определяющим фактором. И если вы не оцифровывали работу компании в до-ai-йную эпоху, то у меня для вас плохие новости. Начать придется именно с этого.
А если нужно помочь с внедрением AI в вашу компанию, пишите нам в Интаро, поможем.
🔗 Инженерия и AI | Ilyas Salikhov
Орфей с июня помогает как самой техподдержке, так и дежурным разработчикам. Решил глянуть, что стало с дежурствами (да, отчет мне тоже помог собрать Орфей
1. До разработки стало доходить на 37% меньше обращений
Это та часть вопросов, где для ответа клиенту нужно было посмотреть в код, релизы и логи. Раньше это могли сделать только инженеры, а сейчас даже первая линия может сделать такой анализ с помощью Orpheus.
2. Медиана решения вопроса разработчиком снизилась на 27%
Те сложные вопросы, что доходят до разработчиков, разбирать и инженерам стало проще, подключая Орфея.
2. Среднее время решения вопроса разработчиком снизилось на 40%
А вот тут интересно. На показатель среднего времени, в отличие от медианы, больше всего влияют «тяжелые» вопросы, которые не просто про «ответить», а там, где находится баг. Для бага готовят фикс, который проходит этапы задача-код-тесты-CI-деплой. Вопрос отмечаем решенным, когда фикс на проде.
А как теперь выглядит разбор такого вопроса: инженер вместе с Орфеем разбирает корень проблемы. Как причина найдена, Орфея же просим оформить задачу и подготовить MR с багфиксом. Дальше ревью, мерж и на бой. Процесс ускорился в разы. В комментариях дам пример типичного треда.
Еще деталь. Если посмотрите на график, показатель падает все три месяца, поэтому за август снижение не 40%, а в 2 раза минимум.
—
Надо сказать (не ожидал), что у всех коллег положительный фидбек от работы Orpheus. Почему? Он подключен ко всем нашим системам: может залезть изучить код, может копнуть логи, может поднять историю коммитов, изучить детали задач, глянуть последние релизы.
Полнота и глубина данных, что доступны агенту, очень сильно определяет качество и правильность ответа. Про это нечасто говорят, но в AI-переходе это становится определяющим фактором. И если вы не оцифровывали работу компании в до-ai-йную эпоху, то у меня для вас плохие новости. Начать придется именно с этого.
А если нужно помочь с внедрением AI в вашу компанию, пишите нам в Интаро, поможем.
🔗 Инженерия и AI | Ilyas Salikhov
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥30👍9👾6🐳2
Пора перестать писать свой harness для AI-агентов
Представьте, что вам поставили (или вы себе придумали) задачу разработки AI-агента. Может, агента внутри компании или агента, встроенного в ваш продукт. Ещё год назад для этого брали фреймворки типа langchain, mastra, openai agents, строили сложную архитектуру, работали с точным управлением контекста, разбивкой на подагентов и логикой передачи управления между ними. Все это долго разрабатывали, отлаживали во всех мелочах.
Что говорить, и мой Экзоскелет с BitGN ECOM1 челенджа был построен именно так.
Но если посмотреть вокруг, то явно прослеживается два встречных тренда:
1. Модели становятся всё умнее
2. Сформировалась целая гроздь зрелых харнесов: codex, claude, pi, opencode, hermes и тд
В связи с этим все меньше аргументов делать самописных агентов на упомянутых фреймворках (об этом говорят, например, [1], [2]), и все больше, чтобы взять, назовем это, фронтир харнес. Причем агент выйдет с более широкими возможностями и способностями.
Во фронтир харнесы вкладывается куча человеко-агенто-часов экспертизы и разработки крупных вендоров и/или крупных сообществ. Они отточены и засасывают в себя с огромной скоростью все новые фичи. Которые остается только обогатить ручками к системам компании и базой знаний про ваши процессы и правила.
Наш опыт это полностью подтверждает, агент Orpheus сделан именно так, и это отлично работает.
Немаловажно, что обслуживание и развитие таких агентов сильно проще. Буквально сегодня потребовалось подключить к Oprheus ещё одну нашу систему. Раньше бы пришлось писать API-клиента (или подключать SDK), описывать новые тулы. Сейчас же это делается в виде вызова:
Через 20 мин я получил лаконичный скилл на полстранички, python-скрипт (микро cli) и openapi.json со спекой API, по которому агент может искать с помощью
А что с AI-фреймворками, спросите вы? Кажется, им остается ниша очень потоковых, но узких задач. Где цена ошибки высокая и скоуп задачи очень четкий. Там где мы хорошо понимаем все варианты развилок движения агента и можем выжать максимум на дешевой модели. Но в обслуживании это сильно дороже, поэтому критерий потоковости здесь ключевой.
🔗 Инженерия и AI | Ilyas Salikhov
Представьте, что вам поставили (или вы себе придумали) задачу разработки AI-агента. Может, агента внутри компании или агента, встроенного в ваш продукт. Ещё год назад для этого брали фреймворки типа langchain, mastra, openai agents, строили сложную архитектуру, работали с точным управлением контекста, разбивкой на подагентов и логикой передачи управления между ними. Все это долго разрабатывали, отлаживали во всех мелочах.
Что говорить, и мой Экзоскелет с BitGN ECOM1 челенджа был построен именно так.
Но если посмотреть вокруг, то явно прослеживается два встречных тренда:
1. Модели становятся всё умнее
2. Сформировалась целая гроздь зрелых харнесов: codex, claude, pi, opencode, hermes и тд
В связи с этим все меньше аргументов делать самописных агентов на упомянутых фреймворках (об этом говорят, например, [1], [2]), и все больше, чтобы взять, назовем это, фронтир харнес. Причем агент выйдет с более широкими возможностями и способностями.
Во фронтир харнесы вкладывается куча человеко-агенто-часов экспертизы и разработки крупных вендоров и/или крупных сообществ. Они отточены и засасывают в себя с огромной скоростью все новые фичи. Которые остается только обогатить ручками к системам компании и базой знаний про ваши процессы и правила.
Наш опыт это полностью подтверждает, агент Orpheus сделан именно так, и это отлично работает.
Немаловажно, что обслуживание и развитие таких агентов сильно проще. Буквально сегодня потребовалось подключить к Oprheus ещё одну нашу систему. Раньше бы пришлось писать API-клиента (или подключать SDK), описывать новые тулы. Сейчас же это делается в виде вызова:
$skill-creator нужен скилл для работы с системой N. Изучи API и опиши, как лучше сделать
Через 20 мин я получил лаконичный скилл на полстранички, python-скрипт (микро cli) и openapi.json со спекой API, по которому агент может искать с помощью
rg+jq. И оно уже в проде.А что с AI-фреймворками, спросите вы? Кажется, им остается ниша очень потоковых, но узких задач. Где цена ошибки высокая и скоуп задачи очень четкий. Там где мы хорошо понимаем все варианты развилок движения агента и можем выжать максимум на дешевой модели. Но в обслуживании это сильно дороже, поэтому критерий потоковости здесь ключевой.
🔗 Инженерия и AI | Ilyas Salikhov
👍22🔥14💯12✍1
RIP CLAUDE.md
С версии 2.1.277 Claude Code стал поддерживать AGENTS.md.
Я с одной стороны понимаю, почему они до этого игнорировали стандарт. А с другой, это было такой занозой в одном месте. Маленький шаг для Anthropic, большой шаг для человечества
🔗 Инженерия и AI | Ilyas Salikhov
С версии 2.1.277 Claude Code стал поддерживать AGENTS.md.
Я с одной стороны понимаю, почему они до этого игнорировали стандарт. А с другой, это было такой занозой в одном месте. Маленький шаг для Anthropic, большой шаг для человечества
🔗 Инженерия и AI | Ilyas Salikhov
Claude Code Docs
Claude Code changelog - Claude Code Docs
Release notes for Claude Code, including new features, improvements, and bug fixes by version.
👍16🔥8😁5💯2❤1🎉1
Мы запустили AgentBox — облачные песочницы для ваших AI-агентов с полноценной Linux-средой. А теперь что это и для чего.
Допустим, мы хотим сделать агента. Стартанули, например, на базе codex cli. И тут нужно решить ряд инфраструктурных задач:
1. Безопасность. Агент может по ошибке испортить файлы в системе. А может и начать вылазить из вашего окружения. Также бывает нужно в зависимости от сессии давать разные доступы.
2. Изоляция сессий. Сессия не должна видеть данные и енвы других сессий.
3. Системные привилегии. Хорошо бы, чтобы агент мог поднимать docker-окружение проекта, если агент для разработчиков, а это требует системных привилегий. Тут кстати потребуется и изоляция, т.к. докеры разных сессий на одной машине могут начать толкаться локтями
4. Настраиваемая/подготовленная среда. Агент для решения задачи может ставить какой софт, пакеты. Или мы ему хотим заранее поставить пакеты. Пресловутые rg, jq. Но, может, и что-то более специфичное. У нас были кейсы, когда был нужен браузер.
5. Масштабируемость. Что делать, когда одной железки становится недостаточно?
6. Тестовое окружение. Для проверки агента у вас появятся evals. А их нужно где-то прогонять. Нужна воспроизводимая среда.
Мы стокнулись с этим и поняли: елки-палки, это в любом агентском проекте требуется. Не буду лукавить, делали с оглядкой на E2B. Песочницы на Firecracker. Есть готовые образы для популярных харнесов. Можно и свои образы собирать. SDK для TS, Python и гошки.
Запустились недавно, поэтому строго не судите. Но нашу обкатку платформа уже прошла: на ней работает Orpheus, а также AI-помощник в RetailCRM.
Новым аккаунтам кредиты 1000 ₽. Так что велкам)
🔗 Инженерия и AI | Ilyas Salikhov
Please open Telegram to view this post
VIEW IN TELEGRAM
AgentBox
AgentBox — AI-песочницы для агентов компании
Настройте агента под компанию один раз — вся команда запускает его в изолированных microVM. Хостинг в России.
👍15🔥13⚡3❤2🎉1
Ilyas Salikhov pinned «🔳 ▶️ ▶️ ▶️ ▶️ ▶️ 📦 ◀️ ◀️ Мы запустили AgentBox — облачные песочницы для ваших AI-агентов с полноценной Linux-средой. А теперь что это и для чего. Допустим, мы хотим сделать агента. Стартанули, например, на базе codex cli. И тут нужно решить ряд инфраструктурных…»