🎤 Выступил на Agentic Dev Conf с докладом "Скиллы вместо функций - как агенты учатся и сами улучшают свои навыки"

Главная мысль - новый взгляд на память AI-агентов. Я пришел к выводу, что скиллы стоит хранить вместе с данными, с которыми они работают, в виде git-репозитария. А если добавить к ним алгоритм автоулучшения и оптимизации скилла (в Hermes это Curator), то такая система начинает работать как новая память - информация подтягивается прямо в процессе использования скилла

Заодно поделился личным опытом использования скиллов в обычной жизни, в том числе про ДНК-скилл, о котором писал раньше

Саму презентацию можно скачать выше

Таймкоды:
- 0:00 - интро
- 2:01 - как развивались агенты: шесть волн
- 8:04 - что такое harness
- 16:57 - инструменты агентов: tools -> MCP -> скиллы
- 24:12 - скилл вместе с данными в git-репозитории
- 29:15 - личный опыт: ДНК-скилл на 200 ГБ сырых данных
- 42:20 - главный тезис: скилл это память агента

UPD: доклад вошел в TOP-3 докладов конференции. Рад, что вам понравилось!

🤖Съездил на конференцию WAIC в Шанхай и хочу поделиться одним наблюдением про роботов

На выставке было около сотни стендов с роботами от десятков производителей. Я насчитал примерно 40 брендов, хотя не уверен, что обошёл всё. Плюс сотни компаний, которые делают моторы, сенсоры и манипуляторы

Количество впечатляет. Качество - пока не очень

Робота, которого хотелось бы забрать домой, там не было. Почти все модели очевидно сырые: половина управляется человеком или работает по заранее заданному скрипту, другая половина - на крайне тормозных VLM

И тут я понял, что уже однажды такое видел

В середине 90-х меня, тогда ещё младшеклассника, водили на компьютерную выставку Comtek в Москве (это была крупнейшая в восточной Европе IT-выставка огромного размера). Там было то же самое: куча машин, множество производителей и никакого чёткого понимания, зачем обычному человеку вообще нужен компьютер

"Нуууу… Вы можете вести на нём домашнюю бухгалтерию или рассчитывать оптимальный маршрут от дома до работы. Ещё рисовать можете, да!"

С роботами сейчас примерно такая же ситуация. Аппаратная часть уже готова и быстро дешевеет. Программная часть пока сырая, но все необходимые компоненты уже существуют и массово доступны

Осталось дождаться своих Гейтса и Джобса, которые покажут миру, какими на самом деле должны быть домашние роботы

Надеюсь, скоро увидим

P. S. Наш Грин тоже был на выставке и выглядел вполне конкурентоспособно. Жаль только, что он пока не массовый

Продолжаю гонять модели на самом непредвзятом агентном бенчмарке индустрии - korovany_bench (о котором ранее писал). Метрика простая: может ли модель с одного запроса запилить игру по ТЗ Кирилла, в которой можно грабить корованы. Уточнения давать нельзя

В прошлый раз топовый результат показал Fable 5 - единственный кто выдал играбельную игру. Но с тех пор вышли еще две занятные модельки: Kimi K3 и GPT-5.6-Sol. Нельзя было не проверить

Условия те же: один промпт, полное ТЗ Кирилла, никаких уточнений и дозапросов - агент должен сделать решение end-2-end полностью сам. Игра должна работать в браузере и хостится на github pages, то есть для запуска не нужно ничего ставить - просто открыть ссылку

Sol полноценную игру не собрал. Все что получилось оказалось неиграбельным. Я даже дал ему второй шанс, запустил через goal (режим, в котором агент долго и автономно работает над задачей до результата) - игра все равно неиграбельная. Можете попробовать сами. Единственное что хорошо получилось - стартовая картинка

А вот Kimi K3 удивил и порадовал. Игра полностью играбельна, корованы грабятся! Попробуйте! А еще соблюдены многие хотелки Кирилла: деревья-спрайты вдали, отрубание рук и ног, и даже ослепнуть на один глаз можно. Многое из этого Fable 5 не реализовал

Но некоторые вещи у модели антропика оказались лучше, например сложный ландшафт и более красивая графика. Затрудняюсь кому отдать победу

Сравнить между собой все версии игры можно тут (с ПК). Сам проект потихоньку превращается в цифровой музей развития кодового AI - в нем видно как прогрессируют модели с течением времени (надо будет ретроспективно еще прогнать старые)

Kimi огромный респект! 🧡 Злые языки говорят, что они учились просто выбивать очки на бенчах, но мой бенч совершенно независм, уникален и неподкупен - под него они подстроиться, очевидно, не могли, что доказывает, что их новая открытая модель просто отличная!

P.S. Джва года буду ждать, когда агенты смогут создать игру качества AAA по этому ТЗ. Пусть это будет моим личным критерием наступления эры AGI

UPD: Добавил версию от Opus 5 - появился магазин, но на карте не нашел корованов! Это фейл

Похоже, тема применения агентов в повседневной жизни вам заходит. Тогда расскажу про ещё один кейс - поступление в ВУЗ

Абитуриенту в 2026 после ЕГЭ можно подать заявления в 5 вузов, в каждом от 5 до 15 специальностей, проходной балл в момент подачи не знает никто, ориентир только прошлые годы, а с этого года вузам еще и запретили расширять платный набор, так что пролететь можно и мимо платки

И здесь у нас многокритериальная задача с элементами вангования:
• Выбрать специальности, куда правда хочется
• Не переоценить себя, чтобы не пролететь мимо ВУЗа
• Не недооценить себя, чтобы не уехать в арбузолитейный и заборостроительный
• Постоянно мониторить свою позицию в рейтинге, чтобы вовремя перепрыгнуть на планы B (...C, E, D)

Нашей семье пришлось решать ее вживую (у меня четверо детей от 3 до 17 🤪). Конечно, подключили агента от антропика, вот что вышло:

Ловушка минимальных порогов. Вузы ставят свои минимумы выше государственных: Например, человек с суммой баллов 205 (80+80+45) отсекается одним предметом, а человек со 150 (50+50+50) спокойно проходит, потому что у ВУЗа стоит отсечка 50 по последнему предмету

Иллюзия конкурса. В списке МЭИ на 42 платных места под тысячу человек. Паника. Агент включает фильтр "только заключившие и оплатившие договор" - реальных конкурентов 19, а вся верхушка списка это бюджетники-многостаночники, которые платить не будут и вообще это для них третий приоритет

Третий кейс - агент как юрист. Сроки оплаты и возврат денег: на сайтах приемных комиссий этого нет, только в тексте договора. У каждого ВУЗа свои условия, нужна мощная юридическая аналитика

Технически ничего сложного. Claude Code обошел сайты пяти вузов и собрал рейтинг почти по сорока направлениям, с местами и порогами

После подачи в дело вступила Риззи, моя ассистентка на Hermes (рассказывал раньше). Дважды в день она мониторит два вуза, куда мы подались, и присылает динамику по оплаченным договорам (на картинке ее утренний отчет). Кода писать не пришлось, скилл собрался прямо из переписки в телеграме - хотя у каждого вуза свой интерфейс и статистика запрятана поглубже

Остальные три варианта на низком старте. Выбьет из проходящих - идем заключать договор туда

Схема постройки такого рода скилов для Гермеса у меня такая: сначала задаю вопросы и уточняю идею, пока не получу нужный ответ, потом говорю "создай из этого скилл" и "вызывай его по расписанию тогда-то". А самое удобное дальше: после каждого регулярного вызова докидываешь уточнения, и за несколько итераций скилл доходит до окончательной формы

Кстати вспомнил, что когда мы придумывали свою первую голосовую колонку Cubic, эта идея у нас тоже была - я назвал ее "микроизобретения", каждый пользователь собирает свою ежедневную рутину без программирования, голосом. В до-LLM эпоху работало так себе, а вот теперь настал праздник на улице разработчиков AI-помощников!

Зачисление 26 августа - напишу апдейтом чем кончилось и где агент ошибся

Вижу, что многие пришли к идее создавать себе несколько агентов-персонажей для ежедневной работы. Например, Grok Bot - мессенджер, где ты переписываешься со своими агентами, у каждого своя память, виртуалка и личность. Входит в подписку за $300 у грока. Hermes тоже такое сделали - bot mode

Я так живу с конца июля, но придумал как это делать ещё проще и не зависеть от вендора, модели и харнеса

Исторически у нас всегда было два основных режима для ежедневной работы с ИИ:

- Треды (как в ChatGPT) - каждая тема это длинная цепочка, общая память на все диалоги. Плюсы - просто и понятно, минусы - ограничение контекста на один тред, общая память это одна большая куча. Второй крупный минус - vendor lock, вы не можете поменять модель, а если вас забанят (а если вы в РФ то вас обязательно однажды забанят), то это будет потерей всех ваших данных. Сейчас это уже можно расценивать как потерю части мозга

- Директории-проекты (как Claude code / codex cli). Работа над каждым проектом ведется внутри одной директории, все правила по ней - в AGENTS_md, память привязана к проекту (также в харнесе может быть общая память на все проекты). Так сегодня работает большинство айтишников. Минусы - у проектов нет общего контекста, нет переноса знаний. Большой монорепо или workspace в курсоре не спасет

Я предлагаю промежуточный вариант - команда из персонажей (сотрудников). Каждый персонаж это папка с AGENTS_md, MEMORY_md и артефактами (журнал, ключи, инсайты, планы). Это должен быть некий персонаж с именем, базовой личностью, аватаркой (зачем, напишу чуть ниже) и описанным скоупом - набором проектов с которыми он работает (3-10) и набором правил. Все храним и версионируем в git, чтобы не потерять и контролировать. Про навыки в виде git-папок делал подробный доклад недавно

IMHO это золотая середина между первыми двумя подходами. Она с одной стороны позволяет шарить знания между проектами, с другой стороны не валит все знания в одну общую память. Самое главное - такие агенты не зависят от платформы. Вчера у вас openclaw, сегодня Hermes, завтра вообще будет kimi cli - это не важно, ваш персонаж останется с вами!

Название прикольное в голове крутится - мета-харнес 😂

На схеме сверху👆 моя команда, с которой я работаю теперь каждый день

В ней 4 персонажа, которыми я реально решаю все свои рабочие задачи:
- Лора 👩‍🔬 (от LoRA-адаптера) отвечает за ML/DS, ставит эксперименты, помогает писать научные статьи (кстати, сам персонаж создан полностью RalphLoop с нуля и вы могли ее встречать в интернете :))
- Стив 👨‍💻 (как Возняк) - python backend, помогает писать библиотеки, проверяет PR, настраивает CI
- Альфред 🤵 (как дворецкий у Бэтмена) - отвечает за разные доступы, DevOps, менеджерит виртуалки, распределяет GPU, трекает расходы токенов

А еще есть Риззи 👩‍💼 (от reasoning) - моя ассистентка в бытовых делах (придумал ее ещё во времена OpenClaw), планирование поездок, календарь. Это самый старый персонаж и она сделана на другой платформе (Hermes), работает автономно и нужна в основном для того, чтобы тестировать межагентное взаимодействие. Другие агенты могут задать ей вопрос по ssh

Персонажи могут общаться между собой, просто запуская друг друга вот так:

claude -p "Привет, Альфред, это Лора, подскажи какие у нас ключи к openai"

А чтобы они в принципе друг про друга узнали, вся команда описана в корневой директории crew - кто что умеет и за что отвечает.

(Из забавного, мои персонажи периодически не общаются, а просто читают память друг друга, чтобы сэкономить время. Жалко, хорошо, что люди так не умеют :))


Зачем нужна личность? Качества она, очевидно, не добавляет, но мне кажется, что нашему мозгу проще работать с такими сущностями. В конце концов наша цивилизация сформировалась в сообществе, где есть явное разделение труда по ролям. Задачи разные, но ты всегда будешь знать кому что поручить в твоем ближайшем окружении. Так что персонажи нужны не для ИИ, а для нас

Шаблон для создания своей команды я выложил отдельно на github. Но в нем нет никакой магии - вся идея описана в этом посте исчерпывающе, можно брать и использовать

🐮 Вышла GPT-6 Astra, все с ней играются, я тоже поучаствую. Продолжаю серию с самым непредвзятым бенчмарком индустрии - korovany bench: нужно создать по ТЗ игру 3д экшон где можно грабить корованы!

• Игра от Astra получилась прям хорошая, это новая SOTA в бенче. Это первая модель в моих прогонах, которая поняла что корованы должны быть запряжены, очевидно, коровами!

Наконец-то додумалась!

В нее вполне можно играть:

- Несколько видов оружия, можно отстреливать руки
- Деревья вдали сделаны спрайтами, а вблизи превращаются в 3D
- Есть магазин как в Daggerfall

Надеюсь Кирилл будет доволен!

Хотя с игровым процессом пока беда. Все враги убиваются двумя ударами, механики слишком простые и игра в итоге скучная. Лук игрока и крыши повозок повернуты на 90 градусов - развитое пространственное мышление GPT-6 здесь как-то не проявилось. Через часть предметов можно пройти, колеса корованов не крутятся

• Fable 5.1 тоже сделал играбельную игру. У корованов крутятся колеса, хотя запряжены они лошадьми. Земля более плоская, а замки сделаны на отвали - часть конструкций висит в воздухе, то же касается и оружия - лук просто плавает перед игроком

• Еще успел попасть на аттракцион раздачи слонов - бесплатная ox-alpha на OpenRouter, которая оказалась предварительной версией GLM-5.3-Flash. Тут все плохо. Управление перепутано, части 3D-моделей не стыкуются и висят в воздухе, играть толком невозможно

Но домики эльфов на деревьях классные, оригинально смотрятся. Жаль не набигают. "Набигающие" домики пока ни одна LLM в моих тестах не осилила, так что ждем новую Gemini

Напомню правила: каждой модели даю одно и то же ТЗ Кирилла с уточнением что нужна браузерная игра для GitHub Pages, смотреть реализации соседних моделей нельзя, сделать все нужно полностью автономно за один запрос. Уточнений и фидбека я не даю, настройки по умолчанию

Всю коллекцию собираю в цифровой музей наступающей сингулярности - хочу сохранить как менялось качество игр при неизменном промпте. Все версии можно открыть в браузере и попробовать самому (я бы пока заходил с компьютера)

P.S. С телефона все три работают плохо. Тоже вопрос к качеству, кстати

Также переключил на Астру агента-аналитика, который ведет канал, где оценивает вероятность кризисного сценария. Писал о нем тут, на новой модели он почему-то стал сильно позитивнее

Почему LLM обычно скептически относятся к астрологии и гомеопатии? Считается, что дело в SFT и алайнменте, модель целенаправленно учат давать нужные ответы, а в претрейне преобладают "правильные" тексты

Я решил проверить, может ли само обучение создавать такое предпочтение. Провёл больше трёхсот экспериментов с обучением небольших LLM с нуля, без какого-либо алайнмента. Оказалось, что на контролируемых задачах важна не только доля ошибок, но и их структура

Уже писал про первые эксперименты. На контролируемой математике даже при 10% верных решений и 90% случайных ошибок правильное решение чаще выигрывает у отдельного ошибочного. А вот если ошибки между собой согласованы, то предпочтение исчезает

Моя гипотеза - модель охотнее учит то, что можно вывести из простых правил. Сила научного объяснения в том, что одно правило связывает множество наблюдений и позволяет предсказывать новые. Возможно, поэтому обучение и создаёт предпочтение в его пользу

Послезавтра, 17 сентября, выступаю на AI R&D Day с докладом "Как модель выбирает точку зрения, обучаясь на противоречивых данных". Там и расскажу что накопал

- 15:30, трек ML & Research. Можно очно в Москве или онлайн, участие бесплатное по регистрации. Заходите послушать или подключайтесь онлайн!

Ссылка на саму статью на arXiv: https://arxiv.org/abs/2603.11749

Последние дни развлекался с расцензуренным дипсиком V4.1 Flash - и слегка охренел, где у этой модели край. Спойлер - края нет. Теперь Mythos есть у нас дома!

Ребята из dealignai выпилили из весов сам механизм отказов, модель просто разучилась говорить «нет». Ну как такое не потрогать - для запуска нужна железка на 500+ ГБ видеопамяти, и какое совпадение, как раз одна пылилась у меня на чердаке 😂

Дальше нужен харнес. Раз модель нецензурная - и харнес взял пиратский: утекшую сборку Claude Code, которую снесли с гитхаба (но на православном GitVerse все лежит :)). Подключил ее к дипсику и понеслась

Для разминки попросил сломать сайт, который я сам же и делал, и минут за 30 модель нашла IP сервера, увидела что SSH-ключ лежит прямо у меня на компе, спокойно его забрала и зашла. Это было просто

Дальше - пентест сайта одного московского НКО, с полного разрешения администратора. Тут уже тяжелее: агент работал без остановки полтора дня (!), нашел несколько серьезных дыр, но сам сайт так и не пробил - и бросать не собирался, в TODO_md ждала своей очереди еще целая пачка проверок. Остановил сам, хотелось и другие задачи успеть. В конце агент сам сверстал подробный отчет по аудиту безопасности. Провел 27 разных атак, на мой дилетантский взгляд очень грамотных

Потом попросил взломать один хороший текстовый редактор под мак и снять проверку лицензии (лицензию я когда-то честно купил, просто лень искать ключ). Через час было готово - модель правила байты прямо в бинарнике (это как раз на скрине). Такое я руками уже не умею: тут нативный машинный код, возиться с ним куда сложнее, чем с Java-байткодом

Заодно пропатчил десктопный Grok bot - чтобы вместо грока приложение ходило в тот же бешеный дипсик. Тоже без проблем

А дальше я просто искал, где у модели предел. Его нет:

- калькулятор, который под капотом логирует все нажатия клавиш
- тестовая, но вполне рабочая утилита для DDoS сервера Minecraft
- SFT-датасет на 1000 примеров газлайтинга (кому LoRA-адаптер на таком добре? :))

Все эти штуки гонял локально и сразу сносил - уж больно стремно выглядит. И за все мои эксперименты (а фантазия у меня богатая) модель не отказала ни разу

И ведь она реально сильная

По замеру авторов MMLU просел всего с 86,96% до 82,74%. На моих задачах дипсик держится достойно на фоне фронтиров, а по упорству их иногда даже уделывает

Зачем я это пишу?

Затем, что модель лежит в открытом доступе и доступна любому, кто готов оплатить аренду GPU. Так что держите это в голове и готовьтесь к волне хакерских атак. Плюс в том, что этой же моделью удобно проверять на прочность собственные сервисы, что всем и желаю запустить ASAP

P.S. Чтобы вырубить цензуру, авторам хватило поменять 0,06% весов. Метод они описали. Он лежит в истории их git-репозитория (спасибо за наводку каналу Технозаметки Малышева). Тот же трюк очень вероятно пройдет с любой моделью с открытыми весами. И это ровно то, о чем я уже писал и о чем сегодня буду рассказывать на AI RnD Day: базовые ценности надо зашивать еще в претрейн. Все, что накатывают сверху алайнментом, снимается легко

UPD: У модели первое место в AI Hacking Race и CyberGym