Codex: с улучшением модели часть инструкций становится лишней
Запись с канала The Pragmatic Engineer. Спикер — Тибо Соттьё.
О чём: Как команда Codex решает, какие слабости исправлять в программной среде агента, а какие устранять обучением модели.
Главная мысль: Инструкции и обходные решения стоит пересматривать при смене модели. Если она уже усвоила нужное поведение, дополнительные подсказки можно убрать.
Почему смотреть: Тибо разбирает запуск тестов: сначала агенту требовалось отдельное напоминание, затем это поведение закрепили в модели. Он объясняет, как разработчики согласуют временные решения с исследователями.
Визуальный конспект
Запись с канала The Pragmatic Engineer. Спикер — Тибо Соттьё.
О чём: Как команда Codex решает, какие слабости исправлять в программной среде агента, а какие устранять обучением модели.
Главная мысль: Инструкции и обходные решения стоит пересматривать при смене модели. Если она уже усвоила нужное поведение, дополнительные подсказки можно убрать.
Почему смотреть: Тибо разбирает запуск тестов: сначала агенту требовалось отдельное напоминание, затем это поведение закрепили в модели. Он объясняет, как разработчики согласуют временные решения с исследователями.
Визуальный конспект
❤1
Как Vercel строила D0: агенту нужны файлы и контекст
Запись с канала AI Engineer. Спикер — Эндрю Ку.
О чём: Эндрю Ку рассказывает, как в Vercel переделывали внутреннего агента для работы с данными. После промпта и цепочки агентов команда пришла к одному агенту с общим состоянием и файловой средой.
Главная мысль: Качество прикладного агента зависит от способности изучать материалы и от знаний о компании. В D0 семантический слой перенесли в sandbox, а модель получила файловую среду и bash. По словам Ку, оценка в проверках примерно удвоилась.
Почему смотреть: Доклад показывает, почему сценарии внутренних проверок не совпали с реальными вопросами сотрудников, и как повторяющиеся решения стали сохранять в skills для следующих запусков.
Визуальный конспект
Запись с канала AI Engineer. Спикер — Эндрю Ку.
О чём: Эндрю Ку рассказывает, как в Vercel переделывали внутреннего агента для работы с данными. После промпта и цепочки агентов команда пришла к одному агенту с общим состоянием и файловой средой.
Главная мысль: Качество прикладного агента зависит от способности изучать материалы и от знаний о компании. В D0 семантический слой перенесли в sandbox, а модель получила файловую среду и bash. По словам Ку, оценка в проверках примерно удвоилась.
Почему смотреть: Доклад показывает, почему сценарии внутренних проверок не совпали с реальными вопросами сотрудников, и как повторяющиеся решения стали сохранять в skills для следующих запусков.
Визуальный конспект
BM25 для агентов: почему старый алгоритм бьет эмбеддинги
Запись с канала AI Engineer. Спикер — Ю Кристьян Бергум.
О чём: Ю Кристьян Бергум объясняет, почему классический лексический поиск BM25 переживает ренессанс. В докладе показано, как меняются требования к поисковику, когда запросы делает LLM-агент, а не человек.
Главная мысль: Модель знает точные сущности, даты и артикулы, поэтому ищет запросами по десять слов и перебирает варианты на лету. В связке с виртуальной файловой системой агент отбирает документы и ищет внутри через
Почему смотреть: Спикер сравнивает объем контекстных окон с дискетами на 1,44 МБ и разбирает, почему при наличии улик в контексте точность достигает 93%, а главным барьером остается поиск.
Визуальный конспект
Запись с канала AI Engineer. Спикер — Ю Кристьян Бергум.
О чём: Ю Кристьян Бергум объясняет, почему классический лексический поиск BM25 переживает ренессанс. В докладе показано, как меняются требования к поисковику, когда запросы делает LLM-агент, а не человек.
Главная мысль: Модель знает точные сущности, даты и артикулы, поэтому ищет запросами по десять слов и перебирает варианты на лету. В связке с виртуальной файловой системой агент отбирает документы и ищет внутри через
ripgrep, а подбор параметров BM25 поднимает точность ответов на 18 процентных пунктов.Почему смотреть: Спикер сравнивает объем контекстных окон с дискетами на 1,44 МБ и разбирает, почему при наличии улик в контексте точность достигает 93%, а главным барьером остается поиск.
Визуальный конспект
Harness Engineering: почему окно контекста не спасает агента от деградации
Запись с канала AI Engineer. Спикер — Игнасио Мартинес.
О чём: Игнасио Мартинес из Oracle разбирает архитектуру автономных агентов и объясняет, почему увеличение контекста не делает систему надежнее. В докладе показано, из каких семи слоев состоит обвязка модели и где физически должна жить память.
Главная мысль: Веса модели зафиксированы при обучении, поэтому интеллект арендуют у лабораторий, а надежность собирают через внешнюю обвязку. Рост контекста ведет к квадратичной деградации внимания, поэтому историю сжимают в типизированные карточки контекста до исчерпания лимита, а тяжелые данные выгружают наружу.
Почему смотреть: Спикер разбирает, почему параллельные агенты спотыкаются о файлы без транзакций и как паттерн Toolbox с векторным графом масштабирует систему до тысяч инструментов.
Визуальный конспект
Запись с канала AI Engineer. Спикер — Игнасио Мартинес.
О чём: Игнасио Мартинес из Oracle разбирает архитектуру автономных агентов и объясняет, почему увеличение контекста не делает систему надежнее. В докладе показано, из каких семи слоев состоит обвязка модели и где физически должна жить память.
Главная мысль: Веса модели зафиксированы при обучении, поэтому интеллект арендуют у лабораторий, а надежность собирают через внешнюю обвязку. Рост контекста ведет к квадратичной деградации внимания, поэтому историю сжимают в типизированные карточки контекста до исчерпания лимита, а тяжелые данные выгружают наружу.
Почему смотреть: Спикер разбирает, почему параллельные агенты спотыкаются о файлы без транзакций и как паттерн Toolbox с векторным графом масштабирует систему до тысяч инструментов.
Визуальный конспект
Дайджест на 21 сентября.
Собрал 4 визуальных конспекта по AI/LLM: X, Хабр, HackerNoon и Telegram.
Коротко: что обсуждали, какие идеи можно забрать в работу, где есть полезные инструменты, статьи и практические кейсы.
X / Twitter
Хабр
HackerNoon
Telegram
Собрал 4 визуальных конспекта по AI/LLM: X, Хабр, HackerNoon и Telegram.
Коротко: что обсуждали, какие идеи можно забрать в работу, где есть полезные инструменты, статьи и практические кейсы.
X / Twitter
Хабр
HackerNoon
Telegram
Jev против LLM: какие решения можно отдать модели без рассуждений
Разбор с канала Sean’s AI Stories. Автор видео: Sean Chen.
О чём: TypeSafe AI выпустила Jev, модель, которая не пишет текст: на вход получает JSON с контекстом и вопросами, на выход отдаёт вероятности ответов. Автор проверяет, может ли она заменить LLM там, где агенту нужно быстро решить «да или нет».
Главная мысль: Jev подходит для коротких решений агента: доставать ли память и какой инструмент вызвать. В гонке автора он почти догнал Claude Opus по точности, ответил примерно в 10 раз быстрее и обошёлся в 145 раз дешевле. Всё, где нужно рассуждать, по-прежнему делает LLM.
Почему смотреть: Автор сначала объясняет на доске три типа вопросов к Jev, а потом прогоняет четыре модели на вопросах с человеческой разметкой. Видно и слабое место: почти все промахи Jev пришлись на вопросы со шкалой.
Визуальный конспект
Разбор с канала Sean’s AI Stories. Автор видео: Sean Chen.
О чём: TypeSafe AI выпустила Jev, модель, которая не пишет текст: на вход получает JSON с контекстом и вопросами, на выход отдаёт вероятности ответов. Автор проверяет, может ли она заменить LLM там, где агенту нужно быстро решить «да или нет».
Главная мысль: Jev подходит для коротких решений агента: доставать ли память и какой инструмент вызвать. В гонке автора он почти догнал Claude Opus по точности, ответил примерно в 10 раз быстрее и обошёлся в 145 раз дешевле. Всё, где нужно рассуждать, по-прежнему делает LLM.
Почему смотреть: Автор сначала объясняет на доске три типа вопросов к Jev, а потом прогоняет четыре модели на вопросах с человеческой разметкой. Видно и слабое место: почти все промахи Jev пришлись на вопросы со шкалой.
Визуальный конспект
GPT-6 Astra и Claude Opus 5.5: как скорректировать привычные промпты
Документация OpenAI и Anthropic.
О чём: Обе модели могут остановиться до завершения задачи, но причины различаются. Руководства объясняют, что менять в инструкциях и агентной оболочке.
Главная мысль: Для Astra важны явные полномочия и непротиворечивые правила. Для Opus стоит заново подобрать объём размышления и проверять, означает ли конец хода готовность всей задачи.
Почему читать: В конспекте рекомендации сопоставлены в таблице: где они совместимы, а где требуют разных настроек. Русские примеры промптов показывают, как применить советы к своим задачам.
Визуальный конспект
Документация OpenAI и Anthropic.
О чём: Обе модели могут остановиться до завершения задачи, но причины различаются. Руководства объясняют, что менять в инструкциях и агентной оболочке.
Главная мысль: Для Astra важны явные полномочия и непротиворечивые правила. Для Opus стоит заново подобрать объём размышления и проверять, означает ли конец хода готовность всей задачи.
Почему читать: В конспекте рекомендации сопоставлены в таблице: где они совместимы, а где требуют разных настроек. Русские примеры промптов показывают, как применить советы к своим задачам.
Визуальный конспект
✍1
Дайджест на 28 сентября.
Собрал 4 визуальных конспекта по AI/LLM: X, Хабр, HackerNoon и Telegram.
Коротко: что обсуждали, какие идеи можно забрать в работу, где есть полезные инструменты, статьи и практические кейсы.
X / Twitter
Хабр
HackerNoon
Telegram
Собрал 4 визуальных конспекта по AI/LLM: X, Хабр, HackerNoon и Telegram.
Коротко: что обсуждали, какие идеи можно забрать в работу, где есть полезные инструменты, статьи и практические кейсы.
X / Twitter
Хабр
HackerNoon
Telegram
👀1
Фабрика ПО: инженер настраивает весь цикл разработки
Запись с канала AI Engineer. Спикер — Зак Ллойд, основатель Warp.
О чём: Как связать работу агентов от входящей задачи до выпуска и мониторинга? Основатель Warp разбирает устройство фабрики ПО на опыте своей команды.
Главная мысль: Автоматизировать нужно весь процесс, сохраняя участие человека в ключевых проверках. Исправления инженеров стоит использовать для улучшения инструкций агентов, чтобы следующие запуски учитывали прошлые ошибки.
Почему смотреть: Показано, как агент проверяет интерфейс через работу с приложением и сохраняет видео и скриншоты. Это позволяет оценить поведение продукта вместе с изменениями кода.
Визуальный конспект
Запись с канала AI Engineer. Спикер — Зак Ллойд, основатель Warp.
О чём: Как связать работу агентов от входящей задачи до выпуска и мониторинга? Основатель Warp разбирает устройство фабрики ПО на опыте своей команды.
Главная мысль: Автоматизировать нужно весь процесс, сохраняя участие человека в ключевых проверках. Исправления инженеров стоит использовать для улучшения инструкций агентов, чтобы следующие запуски учитывали прошлые ошибки.
Почему смотреть: Показано, как агент проверяет интерфейс через работу с приложением и сохраняет видео и скриншоты. Это позволяет оценить поведение продукта вместе с изменениями кода.
Визуальный конспект
👍1
Работа с агентами: человек задаёт направление и проверяет важное
Запись с канала AI Engineer. Спикер — Чарли Хольц, сооснователь Conductor.
О чём: Как организовать работу людей и агентов, сохранив контроль над качеством? Доклад опирается на опыт команды Conductor.
Главная мысль: Дайте агентам доступ к знаниям команды и среду для долгих задач. За человеком оставьте выбор направления и обязательное ревью важных изменений: ошибки в инструкциях для агентов могут повторяться во многих следующих задачах.
Почему смотреть: В демо коллега подключается к общей рабочей области и обсуждает изменения. Видно, как люди могут вместе направлять работу агента, пока задача выполняется в облаке.
Визуальный конспект
Запись с канала AI Engineer. Спикер — Чарли Хольц, сооснователь Conductor.
О чём: Как организовать работу людей и агентов, сохранив контроль над качеством? Доклад опирается на опыт команды Conductor.
Главная мысль: Дайте агентам доступ к знаниям команды и среду для долгих задач. За человеком оставьте выбор направления и обязательное ревью важных изменений: ошибки в инструкциях для агентов могут повторяться во многих следующих задачах.
Почему смотреть: В демо коллега подключается к общей рабочей области и обсуждает изменения. Видно, как люди могут вместе направлять работу агента, пока задача выполняется в облаке.
Визуальный конспект
Оценка LLM: как улучшать приложение без подгонки под тесты
Статья в инженерном блоге claude.dev. Автор — Lance Martin.
О чём: Как поручить Claude создание проверок и улучшение приложения, сохранив возможность отличить полезную правку от случайного роста балла.
Главная мысль: Сначала проверьте надёжность оценки. Затем меняйте по одному компоненту и проверяйте результат на скрытых примерах. Выигрыш должен превышать шум измерений.
Почему читать: Автор разбирает автоматический цикл поиска улучшений и показывает, как снизил стоимость обработки обращений примерно впятеро с ростом точности на скрытой выборке. Отдельно объясняет, когда нужно исправлять саму проверку.
Визуальный конспект
Статья в инженерном блоге claude.dev. Автор — Lance Martin.
О чём: Как поручить Claude создание проверок и улучшение приложения, сохранив возможность отличить полезную правку от случайного роста балла.
Главная мысль: Сначала проверьте надёжность оценки. Затем меняйте по одному компоненту и проверяйте результат на скрытых примерах. Выигрыш должен превышать шум измерений.
Почему читать: Автор разбирает автоматический цикл поиска улучшений и показывает, как снизил стоимость обработки обращений примерно впятеро с ростом точности на скрытой выборке. Отдельно объясняет, когда нужно исправлять саму проверку.
Визуальный конспект
Ревью PR: агент должен исправлять код до проверки человеком
Запись с канала AI Engineer. Спикер — Мэтт Покок.
О чём: Как сократить очередь PR, когда агенты создают код быстрее, чем люди успевают его проверять?
Главная мысль: Выделите отдельного агента для ревью по стандартам команды. Пусть он исправляет однозначные проблемы до передачи PR человеку: длинные комментарии лишь добавляют проверяющему работы. Глубину человеческого ревью определяйте по обратимости изменений и масштабу последствий.
Визуальный конспект
Запись с канала AI Engineer. Спикер — Мэтт Покок.
О чём: Как сократить очередь PR, когда агенты создают код быстрее, чем люди успевают его проверять?
Главная мысль: Выделите отдельного агента для ревью по стандартам команды. Пусть он исправляет однозначные проблемы до передачи PR человеку: длинные комментарии лишь добавляют проверяющему работы. Глубину человеческого ревью определяйте по обратимости изменений и масштабу последствий.
Визуальный конспект
Дайджест на 5 октября.
Собрал 4 визуальных конспекта по AI/LLM: X, Хабр, HackerNoon и Telegram.
Коротко: что обсуждали, какие идеи можно забрать в работу, где есть полезные инструменты, статьи и практические кейсы.
X / Twitter
Хабр
HackerNoon
Telegram
Собрал 4 визуальных конспекта по AI/LLM: X, Хабр, HackerNoon и Telegram.
Коротко: что обсуждали, какие идеи можно забрать в работу, где есть полезные инструменты, статьи и практические кейсы.
X / Twitter
Хабр
HackerNoon
Telegram
Наблюдаемость агентов: как понять, куда ушли время и деньги
Разбор с канала Sean’s AI Stories. Автор видео: Шон Чен.
О чём: Как разобраться в работе агента и решить, можно ли выпускать его ответ?
Главная мысль: Сохраняйте трейс — запись всех шагов агента — и задавайте проверяемые условия для результата. Трейс поможет найти медленный шаг и сверить расходы. Отдельные проверки покажут, соблюдён ли бюджет и как агент обработал сбой инструмента.
Почему смотреть: Автор разбирает два запуска и показывает границы проверок: успешный статус обработки ошибки ещё не означает, что поиск сработал и исследование охватило нужные источники.
Визуальный конспект
Разбор с канала Sean’s AI Stories. Автор видео: Шон Чен.
О чём: Как разобраться в работе агента и решить, можно ли выпускать его ответ?
Главная мысль: Сохраняйте трейс — запись всех шагов агента — и задавайте проверяемые условия для результата. Трейс поможет найти медленный шаг и сверить расходы. Отдельные проверки покажут, соблюдён ли бюджет и как агент обработал сбой инструмента.
Почему смотреть: Автор разбирает два запуска и показывает границы проверок: успешный статус обработки ошибки ещё не означает, что поиск сработал и исследование охватило нужные источники.
Визуальный конспект
Пробую новый формат — AI Engineering Digest
К привычным подборкам добавляю дайджест исследований и инженерных материалов об AI: white papers, технические отчёты, разборы внедрений, руководства и инструменты.
Ищу в инженерных блогах, научных публикациях и обсуждениях Hacker News, затем сверяю с первоисточниками. Убираю повторы и анонсы без конкретики. У каждого материала — суть, польза для инженера, ограничения и ссылка на оригинал.
Например, в первом выпуске:
— QA Wolf, команда автоматизации тестирования, рассказывает, как сохранять работу AI-агента при сбое машины и почему обычной фоновой задачи для него недостаточно.
— Мо Халил из LiteLLM, проекта для подключения приложений к разным LLM, показывает, как находить общие причины ошибок в тысячах запусков агентов.
В начале — пять материалов, с которых стоит начать. Дальше можно выбирать по разделам, искать нужную тему и раскрывать подробности карточек.
👉 Посмотреть первый выпуск
Хочу понять, стоит ли делать такую подборку регулярно. Посмотрите пару карточек и напишите: что полезно, а что хочется изменить? Больше практики, меньше исследований, короче описания? Если формат не зашёл — тоже скажите.
К привычным подборкам добавляю дайджест исследований и инженерных материалов об AI: white papers, технические отчёты, разборы внедрений, руководства и инструменты.
Ищу в инженерных блогах, научных публикациях и обсуждениях Hacker News, затем сверяю с первоисточниками. Убираю повторы и анонсы без конкретики. У каждого материала — суть, польза для инженера, ограничения и ссылка на оригинал.
Например, в первом выпуске:
— QA Wolf, команда автоматизации тестирования, рассказывает, как сохранять работу AI-агента при сбое машины и почему обычной фоновой задачи для него недостаточно.
— Мо Халил из LiteLLM, проекта для подключения приложений к разным LLM, показывает, как находить общие причины ошибок в тысячах запусков агентов.
В начале — пять материалов, с которых стоит начать. Дальше можно выбирать по разделам, искать нужную тему и раскрывать подробности карточек.
👉 Посмотреть первый выпуск
Хочу понять, стоит ли делать такую подборку регулярно. Посмотрите пару карточек и напишите: что полезно, а что хочется изменить? Больше практики, меньше исследований, короче описания? Если формат не зашёл — тоже скажите.
Дайджест на 12 октября.
Пять выпусков об AI в инженерной работе: исследования и технические отчёты, опыт внедрения, практические руководства и идеи из X, Хабра, HackerNoon и Telegram.
AI Engineering
X / Twitter
Хабр
HackerNoon
Telegram
Пять выпусков об AI в инженерной работе: исследования и технические отчёты, опыт внедрения, практические руководства и идеи из X, Хабра, HackerNoon и Telegram.
AI Engineering
X / Twitter
Хабр
HackerNoon
Telegram
Cockroach Labs: качество кода через независимое ревью агентов
Статья в инженерном блоге Cockroach Labs.
О чём: Команда построила MOLT Sinai по модели учебной больницы: один агент исследует и исправляет, другой проверяет план и код.
Главная мысль: Разделяйте исполнение и проверку, требуйте ревью плана до написания кода и прерывайте затянувшиеся циклы доработок. Для клиентского продукта команда сохранила человеческое одобрение каждого слияния.
Почему читать: Команда разбирает пять месяцев работы системы: однострочное исправление прошло 11 кругов доработок. Показывает, где строгий процесс помогает, а где создаёт бюрократию и лишние расходы.
Визуальный конспект
Статья в инженерном блоге Cockroach Labs.
О чём: Команда построила MOLT Sinai по модели учебной больницы: один агент исследует и исправляет, другой проверяет план и код.
Главная мысль: Разделяйте исполнение и проверку, требуйте ревью плана до написания кода и прерывайте затянувшиеся циклы доработок. Для клиентского продукта команда сохранила человеческое одобрение каждого слияния.
Почему читать: Команда разбирает пять месяцев работы системы: однострочное исправление прошло 11 кругов доработок. Показывает, где строгий процесс помогает, а где создаёт бюрократию и лишние расходы.
Визуальный конспект
Strands Box: правила для действий агента
Статья в инженерном блоге Strands Agents. Автор — Marc Brooker.
О чём: Как дать агенту доступ к инструментам и проверять условия каждого действия, включая действия из сгенерированного кода.
Главная мысль: ОС направляет все выходы из песочницы через слой политик. Dogwood проверяет смысл и историю действий: например, требует успешных тестов перед отправкой кода.
Почему читать: Автор показывает правила для тестов и квот API, объясняет ограничения проверок на уровне ОС и цену подхода: больше доверенного кода. Для облака с несколькими арендаторами рекомендует отдельную MicroVM на сессию.
Визуальный конспект
Статья в инженерном блоге Strands Agents. Автор — Marc Brooker.
О чём: Как дать агенту доступ к инструментам и проверять условия каждого действия, включая действия из сгенерированного кода.
Главная мысль: ОС направляет все выходы из песочницы через слой политик. Dogwood проверяет смысл и историю действий: например, требует успешных тестов перед отправкой кода.
Почему читать: Автор показывает правила для тестов и квот API, объясняет ограничения проверок на уровне ОС и цену подхода: больше доверенного кода. Для облака с несколькими арендаторами рекомендует отдельную MicroVM на сессию.
Визуальный конспект
Scion: контроль версий для постоянно работающих агентов
Статья в инженерном блоге Anthropic. Авторы — Nick G. и команда source control.
О чём: Поток изменений вырос более чем в десять раз, и Git стал узким местом разработки. Anthropic объясняет, как перенесла монорепозиторий на собственную систему за пять месяцев.
Главная мысль: Постоянно подключённым агентам можно отдавать только нужные объекты, а историю и операции с кодом выполнять на сервере. Общие кэши сокращают повторную передачу данных; многим заданиям рабочая копия вообще не нужна.
Почему читать: Авторы разбирают устройство Scion и изоляцию отказов кэшей. Объясняют и цену решения: переход затрагивает ревью и CI, а для большинства репозиториев Git остаётся подходящим выбором.
Визуальный конспект
Статья в инженерном блоге Anthropic. Авторы — Nick G. и команда source control.
О чём: Поток изменений вырос более чем в десять раз, и Git стал узким местом разработки. Anthropic объясняет, как перенесла монорепозиторий на собственную систему за пять месяцев.
Главная мысль: Постоянно подключённым агентам можно отдавать только нужные объекты, а историю и операции с кодом выполнять на сервере. Общие кэши сокращают повторную передачу данных; многим заданиям рабочая копия вообще не нужна.
Почему читать: Авторы разбирают устройство Scion и изоляцию отказов кэшей. Объясняют и цену решения: переход затрагивает ревью и CI, а для большинства репозиториев Git остаётся подходящим выбором.
Визуальный конспект
🔥2
Дайджест на 19 октября.
Пять выпусков об AI в инженерной работе: исследования и технические отчёты, опыт внедрения, практические руководства и идеи из X, Хабра, HackerNoon и Telegram.
AI Engineering
X / Twitter
Хабр
HackerNoon
Telegram
Пять выпусков об AI в инженерной работе: исследования и технические отчёты, опыт внедрения, практические руководства и идеи из X, Хабра, HackerNoon и Telegram.
AI Engineering
X / Twitter
Хабр
HackerNoon
Telegram