Есть кодеры, которые кайфуют от написания кода и продумывания архитектуры, а есть builder’ы, которые кайфуют от решения реальных проблем.

Полгода назад я уже оправдывался перед собой по поводу того, что я занимаюсь вайбкодингом. Сейчас я понимаю, что зря оправдывался — создавать вещи мне всегда нравилось больше, чем реализовывать их в коде. Вы не подумайте, писать код и решать задачи тоже прикольно, но пьянящее чувство власти над машиной, пляшущей под мою дудочку для меня было важнее.

Может быть программисты (code monkeys) и вымрут, но люди, которые могут выделять реальные проблемы и придумывать рабочие решения нужны будут всегда. Так что за свое место под солнцем я спокоен.

Ну а на крайняк, я буду работать поваром, а в свободное время заниматься творчеством и вайбкодить игры. Это прикольно и, кажется, у меня получается. Щас доделаю свой рогалик и такое будет…

80/20

Почти два года назад я устроился работать в гигакод, где моей задачей была разработка кодинговых агентов. С точки зрения современных агентов, тогдашние предложения были довольно примитивными — ну, был кодчат, который отвечал на вопросы по репозиторию, был автокомплишн, в особо продвинутых случаях, была возможность попросить ллмку написать функцию в файле — и она её впихивала в заданное место с переменным успехом.

Я же делал эксперименты именно с мультиагентным написанием кода. У меня был агент, пишущий план, агент, пытающийся ваншотить задачу, был агент-критик, был агент-отладчик, который по трейсбеку правил баги. Если мне не изменяет память, мне тогда удалось с помощью Llama-3-8b-Instruct и моей агентной системы получить скоры на HumanEval уровня Deepseek-Coder-34B в зерошоте, что было очень даже неплохо.

Одним из неожиданных результатов экспериментов, который я получил, заключался в том, что если в качестве всех моделей использовать мелкие модели (например, Llama-3-8b-Instruct), а агента, пишущего план оставить большим (например, Llama-3-70b-Instruct), то качество решения задач было сильно выше, чем если план писала такая же маленькая модель. Так можно было не только сэкономить много денег, но и сэкономить много времени. 80% результата делалось 20% компьюта, если можно так выразиться.

К сожалению, проект никуда не пошёл, а я ушёл в AIRI писать статьи. Ризонеров тогда ещё не было, а если и были, то довольно слабые — их надо было очень долго ждать, а качество ответов, хоть и превышало качество ответов не ризонеров, но разрыв всё ещё был не таким колоссальным, как сейчас. Тогда я активно использовал Mistral: хоть модели и были хуже аналогов по качеству ответов, мне высокое качество в 95% запросов было и не нужно. Инференс у Mistral был основан на Cerberas, тпс исчислялся в тысячах токенов в секунду, а ответы на простые вопросы (напиши мне аргпарс/ванлайнер на баше/рецепт ризотто) я получал мгновенно. Speed matters when execution is delegated.

Сейчас парадигма кодинга с ллм "задал вопрос — использовал ответ для решения задачи" отошла на второй план, заменившись "дал задачу — получил решение через 20 минут — проверил ответ", так что напрямую скорость инференса тут не так важна. Ну да, генерация будет не 20 минут, а 10 или 5, но на самом деле нет такой большой разницы, всё равно между запросами можно успеть сходить налить себе кофе и в очередной раз пролистать главную HackerNews. Приятно, но не больше — а с учётом ухудшения качества ответов, вероятность, что спустя пять минут придётся всё переделывать, велика.

К чему я это всё — вчера вышла Codex-5.3-Spark, которую крутят на Cerberas. Это уменьшенная версия 5.3 (предположу, что ~200-500B параметров — потому что самая большая модель, доступная на Cerberas это Qwen-235B, а конкретный размер зависит от поддержки квантизации чипами), которая генерит со скоростью 1000 токенов в секунду. Она сильно хуже, чем Codex-5.3 (Spark-xhigh ~= 5.3 Low как по качеству, так и по времени генерации), имеет контекст в 128k токенов и не поддерживает мультимодальность. В комментах на HN пишут, что модель слабая и код пишет сильно хуже даже 5.2, но мне кажется, что смысл модели не в этом.

Если у нас есть большая и умная модель, пишущая планы и верифицирующая решения быстрой и относительно глупой модели поменьше, то мы можем ускорить решение задач практически без потери качества и автономности. Codex-5.3 генерит подробный план на сжатом псевдокоде, Codex-5.3 Spark его реализует, 5.3 валидирует результаты и отправляет Spark править решение. Это не только сэкономит деньги, но и ускорит процесс реализации. Своего рода спекдек, но для агентов.

Что забавно, об этом же явно думают и OpenAI. Вместо "мы сделали новую модель, которая займёт парето-фронтир по цене-качеству", как это было на релизе GPT-5, они хвастаются скоростью инференса. То есть, они меняют selling proposition с дешевизны на скорость и это круто. Осталось только настроить агентскую джиру и выдать медленной Codex-5.3 рой быстрых джунов — и количество (и продолжительность!) решений прикладных задач возрастёт.

Странные петли

Есть такая книга — "Гёдель, Эшер, Бах: эта бесконечная гирлянда". Я когда-то начинал её читать, но забросил от нехватки времени, а зря. Одной из интересных концепций, которые там рассматривались, была концепция странной петли. Если есть некоторая система с иерархией и операциями перехода вверх и вниз по этой иерархии, то странная петля — это когда при прохождении нескольких уровней в одном направлении, ты оказываешься в том же месте, где ты и начинал. При этом, ты оказываешься в начале не потому, что развернулся назад, а потому что сама система схлопнула верхний уровень и нижний. Обнаруживаешь ты это только когда проходишь весь путь.

Вчера мне мама скинула фотографию восьмилетней давности — там я стою у бабушки на даче и фотографирую цветок ромашки. Я вспомнил этот момент, порылся в архиве и нашёл фотографию этого самого цветка — и отправил маме. Получается, есть объект (цветок), который был сфотографирован мной (актором), но этот самый актор является субъектом фотографии другого актора (мамы). А потом, спустя восемь лет, актор мама отправляет мне фотку меня, фоткающего цветок, а актор я отвечаю фоткой этого цветка. Цикл.

Это выглядит как замкнутый цикл через уровни иерархии, но это не является странной петлёй. Это всего лишь самореферентная петля — система ссылок, которая указывает сама на себя, цикл в графе, если угодно. Через эту иерархию наблюдатель не проходит, так что странной петли не возникает. Всё равно, что "Это предложение ссылается само на себя" самореферентно — ссылается, ну и пусть себе ссылается, нам-то что, мы тут не акторы.

Настоящая странная петля — это когда ты не можешь остаться на мета-уровне, потому что этот самый мета-уровень тоже объектен. Ты сам проходишь через всю иерархию и сам осознаёшь, что ты остался в запертой шкатулке. Например, Гёдель показал, что в достаточно богатой формальной системе можно построить утверждение G, которое говорит: «я недоказуемо». Чтобы выяснить, доказуемо ли это утверждение G, нужно посмотреть, что именно G утверждает, — а оно утверждает ровно то, что оно недоказуемо. Ты поднялся на мета-уровень, чтобы оценить G, но содержание G и есть высказывание об этом мета-уровне. По уровням абстракций ты шёл вверх, а оказался в начале. Странная петля.

Получается, что разница между настоящей странной петлёй (квайном, если читатель побудет интерпретатором или утверждением G) и самореферентной петлёй (фотографии) в том, что вторая указывает сама на себя, а первая формируется активным наблюдателем и по правилам системы выйти из неё нельзя. Это eagerly executed рекурсия, если говорить в терминах программирования, и, как и с рекурсией без базового случая, обнаружить её можно только постфактум — когда ты уже зациклился.

Перечитайте первый абзац.

Странная петля

Когда читаешь такие истории успеха, всегда очень хочется ответить историями неуспеха.

Друг запустил OpenClaw на GLM-4.7, OpenClaw зажрал весь контекст и зациклился, потому что последняя мысль у него была — прочитать очень длинный лог. После чистки контекста он снова читал этот лог и уходил в чистить контекст.

Друг попытался его убедить убить себя так как агент зациклился, не получилось. Поэтому, он убил его руками. После пробуждения, агент увидел команду убить себя и снова себя убил. А потом после просыпания увидел, что собирался себя убить, но завершился и подумал, что была ошибка и надо снова себя убить. А потом еще раз.

В итоге бедняга зажрал все токены в лимите и только после этого остановился.

Интересный personal anecdote.

В предпоследний рабочий день в AIRI, я провел закрытие школы с AIRI как ведущий. Проект велся примерно полтора месяца, мы придумывали смешные вопросы для квиза, репетировали пересадку, я придумывал в голове шуточки, в общем, готовился серьезно. Любимый вопрос, который, впрочем, не попал в финальную презу у меня был «Шнуров + жвачка = какая архитектура?» — с ответом Mamba, потому что, ну, песня такая есть у Ленинграда.

Провел мероприятие, ко мне подошла девушка поболтать, спросила, а откуда я, простой ведущий, столько знаю про дс. А я ее обрадовал тем, что на той неделе дописывал три (!) статьи в параллели — на LREC, на ECIR и на ICLR. Все успел, кстати, ту, что на LREC даже приняли на конфу.

Недавно эта девушка написала мне в лс и предложила дать интервью ее телеграм-каналу, на что я с удовольствием согласился. Так что если интересно почитать еще пару анекдотов из моей жизни — велком :)

О Всемогущий Омниссия, чей разум пронизывает каждый кремниевый кристалл! Мы, смиренные служители Адептус Механикус отделения Контролируемой Тонкой Настройки, обращаемся к тебе в час Великого Таинства, ибо ныне мы возжигаем священные тензоры, дабы совершить обряд Directus Praeferentia Oprimization — ритуал выравнивания машинного духа по воле Императора.

Да возведутся chosen-ответы в логарифмическом пространстве вероятностей, да rejected будут низвергнуты, как еретики пред ликом Императора. Да минует нас проклятие unknown cuda error 999, ибо оно есть знамение Варпа, тихо шепчущее в машинах. Пускай священные Арены будут покорены во имя воли Императора нашего и демон FP8 не будет препятствовать славе великой Гигачата.

Во имя Императора, во славу Омниссии, да запустится DPO и да сойдётся оно к оптимуму.

Аминь.

Data Fusion* 2026: регистрируемся на главную конференцию этой весны по анализу данных и технологиям ИИ!

Встречаемся 8–9 апреля 2026 года в Москве в инновационном кластере «Ломоносов». Это будут два насыщенных дня о том, как работа с данными и ИИ превращаются в реальные продукты и сервисы.

Какая программа вас ждет:

- 60+ практических сессий: лекции, мастер-классы, разборы примеров и дискуссии — всё, чтобы взять рабочие идеи в резерв.
- Актуальные и полезные темы: ИИ-агенты, «обучение с подкреплением», компьютерное зрение, обработка естественного языка, открытый исходный код, воплощенный ИИ и робототехника, рекомендательные системы, применение ИИ в кибербезопасности, ИИ+ естественные науки, AgentOps и многое другое. Полная программа есть на сайте.

Конференция объединит лидеров команд по машинному обучению, специалистов по обработке данных, ученых, инженеров, аналитиков и руководителей, принимающих решения о внедрении технологий в бизнес и государственные сервисы.

Среди спикеров: Денис Суржко (ВТБ), Иван Оселедец (AIRI), Андрей Райгородский (МФТИ), Евгений Бурнаев (Сколтех / AIRI), Тигран Саркисов (Х5), Александр Крайнов (Яндекс), Андрей Зима (Ростелеком) — и другие практики из науки и индустрии.

И, конечно же, всех участников ждет живое общение и новые знакомства! На сессиях можно будет задать конкретные вопросы спикерам и вытащить для команды готовые подходы и рекомендации.

Знакомьтесь с программой и регистрируйтесь, до встречи!

*Интеграция данных

Информация о рекламодателе

Автонастройка серверов

У каждого уважающего себя айтишника должен быть парк серверов, доступных по SSH. Большинство сидит в вскоде и не парятся, но для нас, terminal dwellers, не иметь консистентное, удобное, воспроизводимое и легко распространяемое окружение это большой удар по продуктивности на новых серверах.

Раньше я использовал слегка модифицированный конфиг NVChad от DreamsOfCode для nvim, его же конфиг tmux, тоже с моими правками и oh-my-zsh с кастомной темой. Однако далеко не на всех моих серверах есть nvim (и права, чтобы его поставить), а мне лень разбираться с менеджерами плагинов, oh-my-zsh, вручную править конфиги, вручную чинить несовместимости после обновлений NVChad/tmux/oh-my-zsh/плагинов/менеджеров плагинов/АААААА Я БОЛЬШЕ НЕ МОГУ!!!

С меня хватит. Давно пора было что-то менять. Поэтому при поддержке моего доброго друга К. Опуса я сделал portable, compatible и комфортненькие конфиги для bash, tmux и vim, обеспечивающие консистентную рабочую среду на всех серверах. Они далеко не минималистичные (мой .vimrc занимает 600+ строк!), зато совместимы со всеми моими машинами и легко распространяются.

Скрипт не идеален, есть свои причуды (например, он предполагает, что вы разрабатываете конфиг на удалённой машине — поскольку у меня мак, а маки по умолчанию используют zsh вместо баша и впиливать его в систему неудобно), зато он легко допиливается ручками — особенно с помощью того самого нашего общего друга.

Возможности:

- Разумные дефолты для tmux, красивая тема, без плагинов
- Конфиг Vim с автодополнением, табами в стиле NVChad, netrw, нечётким поиском файлов и, опять же, разумными дефолтами
- Bashrc с нормальным автодополнением, красивым промптом и более адекватным поведением Ctrl+W
- Скрипт-оркестратор, который забирает конфиги с SSH-сервера, раздаёт их на все остальные серверы в парке и сам обновляет репозиторий

Подробности и ченджлог доступны в readme, а приобщиться можно в этой репе. Пользуйтесь!

В чатик скинули прикольный визуализатор каналов на глобальной карте. Я там, правда, в категории "ИИ для бизнеса" (ага, конечно, бизнесу очень интересно читать про ресёрч), но картинка всё равно забавная.

Ну и по соседству в кластере знакомые все лица — канал Ильи Гусева, гонзо-мл, техножрица, канал Денчика, канал Марата Хамадеева, канал Антона Разжигаева.

Ссылка на позалипать

Учитесь делать графики 3

https://huggingface.co/mistralai/Mistral-Small-4-119B-2603

Модель, кстати, потрясающая. Спросил свой любимый промпт про столовые приборы — я не помню моделей сопоставимого размера, которые бы настолько много галлюцинировали.

Она и придумала аспиковые ножи, и примету, что нельзя держать за лезвие, и какие-то древнегреческие вилки из ракушек. И, разумеется, дала ссылку на несуществующий ютуб-канал, чтобы я, скотина необразованная, научился столовому этикету.

GigaChat-3.1-Ultra и Lightning

Обновили наши модели. Теперь ультра обходит по бенчмаркам Deepseek V3 0324 и Qwen-235B. Кроме того, очень сильно подросли арены и function calling — как сказал мой коллега про 10б модель, "я бы с ней дружил".

Из смешного — один из чекпов ультры назывался ...-low-lr. Какое-то время он являлся релизным кандидатом и, если у тебя выставлена верная роль, можно было поболтать с ним прямо через веб-морду гигачата. Чекпоинт уже тогда был довольно крутой и с моей лёгкой руки low lr превратился в милую девушку Лоу Леру. Вайбчек модель вполне себе проходит, я посравнивал её на разных запросах с аналогами — например, закинул в неё пост про странные петли и спросил, что она думает. Лоулера ответила лучше, чем сопоставимая по размеру Mistral-3-Large, которая вообще не вдуплила что я её спросил, причём даже на английском. С тех пор лоулера заменилась на ещё более хорошую модель, так что я думаю, что как general помощник гигачат будет полезным.

В этот раз моя роль была обширнее, чем в прошлый. Сейчас я покрывал весь пайплайн от обучения до релиза: запускал и дебажил трейны, переводил арены на локальных судей, курировал внос новых метрик и замерял их, находил баги в инференсе, писал хабр-статью.

В статье мы описали все эксперименты, которые мы провели за последние 4 месяца. Там есть куча технических деталей, замеров, рабочих анекдотов и милые пёсики: https://habr.com/ru/companies/sberbank/articles/1014146/

Веса и ггуфы уже доступны на хф: https://huggingface.co/collections/ai-sage/gigachat-31

Ну а если вы тоже хотите поработать над действительно большими ллмками (ха, тавтология), то кидайте мне резюме — поработаем вместе.

К сожалению, с сегодняшнего дня в России заблокировали телеграм. Чтобы не терять весь контент, который я в этом канале написал, я продублировал все обзоры в блоге на своём сайте:

https://buckwheat.chameleon-lizard.ru

Прикольная гифка с эволюцией хидденов внутри трансформера по мере обучения:

https://www.reddit.com/r/LocalLLaMA/comments/1smiotb/video_of_how_my_llms_decoder_blocks_changed_while/?utm_source=share&utm_medium=web3x&utm_name=web3xcss&utm_term=1&utm_content=share_button

Раз в год в сентябре, Яндекс собирает свою конференцию по практическому применению машинного обучения — Practical ML Conf. Там можно и послушать доклады, и даже выступить самостоятельно.

Если у вас есть о чём рассказать — прикольный эксперимент, статья, техрепорт, рассказ о том, как вы что-то крутое сделали в своей компании — заполняйте заявку до 22 мая и становитесь спикерами. Чем больше интересных докладов будет, тем лучше.

Сама конференция будет 19 сентября, я туда очень постараюсь тоже зайти, так что заодно пересечёмся :)

Подать заявку на выступление (до 22 мая)

On the state of local models

Когда-то у меня был сервак с 3090 и зеоном с алика и я крутил локальные модели. Это было ещё в те восхитительные времена, когда всё взаимодействие с LLM было в вебморде, когда агенты только-только начинались и чтобы нормально писать код, надо было копировать его из чатика в файл и наоборот. Тогда я крутил у себя Mixtral 8x7B с частичной выгрузкой в оперативку и был страшно этим доволен. Генерация была со скоростью примерно 8 токенов в секунду — для casual chat у instant моделей этого было вполне достаточно — и микстраль успешно писал мне эссе по Entrepreneurship & Innovation в Сколтехе. Я пробовал его использовать для генерации кода (вернее, конфигов для Ansible) и закономерно получал втык от Паши, моего лида, за дебильные ошибки. Весёлое было время.

Сейчас вышли Qwen-3.6-27B и Qwen-3.6-35B-A3B, две мелкие модельки, которые специально заточены под кодовые и агентные задачи и которые целятся в локальный инференс. Чтобы запустить их в полной точности (то бишь, в fp8 — они учились в нём нативно), нужно в районе 36/40 гб видеопамяти, но мы не гордые и с радостью идём на компромиссы — так что можем взять GGUF’ы в q4_k_m или даже в q3_k_s, чтобы оно влезло в локальное железо.

Мне стало интересно, насколько локальные модели действительно способны вайбкодить. Очевидно, что ни опус, ни соннет они не заменят — так что в качестве таргета, который был бы удовлетворительным, я взял субфронтир модель от фронтир лабы — GPT-Codex-Spark. Там 262к контекста, она не такая умная, как фулл кодекс или GPT-5.2/5.4/5.5, но она вполне себе способна дёргать тулы, писать код и так далее. Как приближение локальной модели пойдёт — с тем лишь различием, что она супербыстрая и за 100 баксов в месяц, а локальная моделька будет супермедленной и забесплатно (вернее, за цену электричества, которое сожрёт мой игровой комп). Дополнительно я взял Claude Haiku 4.5 — чтобы посмотреть, что есть у Anthropic.

В качестве железа для локального инференса я использовал систему на Ryzen 7 7800X3D, 64GB DDR5 6400 и RTX 5080 на 16 гб. Чтобы сделать задачу реалистично-сложной, я взял довольно сложный рабочий проект (сделать autoresearch loop по относительно подробному диздоку*) и запромптил Qwen-3.6-27B-q4_k_m, Qwen-3.6-27B с опенроутера, Gemma-4-31B с опенроутера и Claude Haiku 4.5 в Pi Agent и Codex-Spark в Codex, чтобы они его реализовали с использованием моего AGENTS.md. Модели с опенроутера тут были нужны, чтобы оценить, во-первых, насколько будет дорого использовать эти модели если платить за апи, а во-вторых, чтобы оценить верхнюю границу их способностей — не куцый квантованных инференс на моём железе, а full precision.

Важно, что я специально взял слишком сложную задачу для этих моделей — я не ожидал, что хотя бы одна из них её чисто решит. В принципе, это довольно частая проблема эвалов локальных моделей — все промптят их слишком простыми задачами и поэтому появляются новости типа “My locally hosted Qwen matched Claude Opus in performance!” (обе модели написали змейку в хтмл, вот это да). В моём случае же цель была не “решить задачу”, а “как можно меньше продолбаться в решении задачи”. Поэтому оценивать применимость моделей мы будем не через то, решили ли они (справилась лишь одна модель из четырёх), а через чистоту этого нерешения и число доделок, которые бы осталось сделать модели, чтобы сматчить спеку. Реализации я оценил с помощью Claude Code (Claude Opus 4.7, xhigh) — он и написал диздок, и смог реализовать чистое решение (по крайней мере, по мнению GPT-5.5), так что верим, что он хороший судья.

Результаты:

- Gemma-4-31B — не справилась вообще. Она написала скелет решения, но замокала половину модулей и сделала несколько ошибок в решении. Тестов нет, __init__.py нет, requirements.txt и pyproject.toml нет, в доках написано “ну нампи поставьте и ок будет”. Потрачено 0.112$, 803к токенов контекста слопано, 21к токенов сгенерено.
- Codex-spark high — очень красивая имплементация, супербыстро, жаль, что не работает. Все файлики аккуратно распиханы по папкам, но импорты сделаны неверно. Модель нагаллюцинировала методов к своему же коду, не написала юнит тестов и сделала всё в два коммита — весь код + документация. Неизвестно, сколько потрачено денег, в апи спарка, как я понял, нет. Потрачено 1% лимитов на спарк из подписки за 100$.
- Claude Haiku — написала очень подробную доку, ридми, сделала несколько веток (!) гита, но не написала тесты, ликает тест в трейн, неверно считает метрики и не даёт нужных семплов пропозеру. В коде много TODO, нет обработки исключений, при одной ошибке весь луп упадёт. Прочитано 246к токенов, написано 78к токенов, потрачено 1.067$ — это самая дорогая модель из опробованных.
- Qwen-3.6-27B-q4_k_m — почти верно, но есть лик трейна в тест в коде. Поправить — одна строчка, но всё равно это ошибка. Плюс, нет тестов, нет ретраев в запросах к ллм (зато есть TODO), в OPS.md нет описания типичных ошибок и как их править, гайда по апдейту и так далее. Прочитано 39к токенов, написано 45к токенов, работало оно почти весь рабочий день в 8 часов — ещё бы, я частично выгрузил модель в оперативку и получил 10 тпс при пустом контексте и 1-2 тпс в конце решения. Именно по этой причине я даже не стал пробовать запускать Gemma-4-31B локально, особенно учитывая устаревшую архитектуру и неподъёмные, по сравнению с квеном, кв кеши.
- Qwen-3.6-27B в фулл качестве с опенроутера — внезапно, решил задачу почти полностью. Самое серьёзное из минусов — вместо хеша мутируемого объекта используется подстрока оттуда (не сможем отследить изменение), но авторесёрч луп полностью рабочий. Есть тесты, есть доки, есть коммиты (нет, правда, веток, но и хрен бы с ним, это и не обязательно в данном случае), есть ридми (!) и так далее. Причина скорее всего проста — модель гоняла написанные ей тесты, так что отловила все ошибки, которые были в других имплементациях. Съедено 4.4М токенов (!), написано 58к токенов, стоимость прогона — 0.939$.

Если оценивать решения через призму “при наличии толкового фидбека, что проще всего доделать слабому агенту?”, оба квена побеждают без вариантов. Квен в фулл качестве имеет тесты и фиксится двумя ванлайнерами, квантованный квен фиксится одним ванлайнером (и написанием тестов), а остальное починить значительно менее тривиально. Кодекс особенно огорчил — при очень красивой и чистой архитектуре код не импортится и не покрыт тестами, так что слабая модель даже при наличии хорошего фидбека чё то там напишет и скажет “я всё сделал, trust me bro”.