Чем умнее модель, тем вычурней галлюцинации

Каждый релиз новой модели соннет или fable, неважно, встречают как очередную революцию. Но чем больше мы в команде строим обвязки и агентов, тем очевиднее, что сама модель не главный множитель качества.

Свежий кейс. Разбирался с багом в BDUI. Была задержка при открытии ботом шита. Я знал, что баг тривиальный. Фейбл полдня водил меня кругами. то рассказывал про проблемы с диспетчеризацией, предлагал уходить в нативные SDK и создавать пропосал там (хотя доступ к ним у него был), валил все на iOS 26.

В итоге банальный дебаунс в моем же BDUI-коде.

Причем нашел я его, когда перестал скармливать модели описание симптомов и дал минимальный репро с логами. С правильным контекстом модель сошлась на ответе за пару итераций.

Мне понравилось как в аи комьюнити модель это лишь один из шести этапов качества результата. И не решающий.

Качество делится на такие слои:
• Модель это догадки и рассуждения
• Цикл. Дает фреймворк для работы
• Инструменты.
• Контекст
• Память
• Валидация

Когда агент тупит, тупит не он целиком, а конкретный слой. И по симптому почти всегда видно, какой. В моем случае это была модель. Но чинился он на слое контекста.

Ну и главный вывод — умная модель не перестает галлюцинировать. Она просто галлюцинирует убедительнее.

хочу протестить давний миф, что написание скиллов и инструкций на английском экономит дохералион токенов.

По разным источникам скиллы на англ экономней скиллов на русском х1.5. Есть ли у вас замеры или интересные доклады/статьи с пруфами?

пока по https://platform.openai.com/tokenizer разница будто некритичная было 2,912 стало 2,453

короче гипотеза не подтвердилась. gpt-5.6-sol high сказал что языки это вообще не про token efficiency

у меня оркестратор на >15 скиллов

рофл. Я тут заюзал caveman и там есть convert. Эта шутка превращает ваш скилл в .... PNG?

и это экономит почти где-то 5-10%

по еще одному дашборду я почти легенда

держу вкурсе, лучше всех мне сэкономил токенов Progressive disclosure и изоляция стадий.

У меня есть оркестратор из 14 скиллов, который ел ~1.2M токенов за один прогон.

Я решил по оптимизировать. Не загружать все 14 скиллов одновременно, а только при переходе к след стейту. Корневой orchestrator выбирает одну stage-инструкцию, а stage-runner читает только ее. Такая тема на полном пайплайне из девяти стадий устраняет около 8 820 повторно загружаемых слов.

В итоге стало 784 400 токенов, экономия около 415 600, или ~35%.

Когда настроил агентов в свой saas b2b six seven стартап

НУ ВСЕ Я ЛЕГЕНДА

Agentic Design Patterns

Наверное самая практическая книга про системы агентов.

В ней разбирается:
• цепочки промптов, маршрутизация и параллельное выполнение;
• reflection — самопроверка и улучшение ответа;
• использование API, поиска, баз данных и других инструментов;
• планирование сложных задач;
• память и адаптация;
• взаимодействие нескольких агентов;
• RAG, MCP и протокол A2A;
• human-in-the-loop;
• обработка ошибок и восстановление;
• guardrails, безопасность, оценка качества и мониторинг.

Из критики это слишком много вширь, но мало некоторой глубины. Но если дополнять это аишкой, то супер.

еще по интересному.

Мы сделали свою базу знаний. Настроили архитектуру и систему хранения инфы. И вот наши бенчи

подробнее расскажу в докладе.

а еще аишка считает меня Леонидом Бондаревом

берем псевдоним?

за 2 дня 75% квоты. походу надо покупать за 200$ подписку

ну все, теперь и тут легенда

Пресеты для скиллов

Есть массовая истерия по поводу скиллов. Делают скилл на каждый чих и пук. Даже делают какой-то стор для скиллов. Но кмк это не очень эффективно. Гораздо эффективнее сразу делать наборы.

Например вот есть Тони Старк и нам нужны руки для:
• Нужно драться против альтрона возьми такие-то скиллы с клинками
• Против Таноса - перчатки бесконечности
• Против Халка - руки-молоты

Также почти и в разработке.
• Нужны скиллы для бэка? Вот тебе минимальный набор для работы в этом сервисе
• для иос? вот
• для андроида? возьми эти