MemPalace не дворец с мемами, но кое-что интересное есть. 🆒

Многие помнят нашумевшее решение для памяти агентов с продвижением через Милу Йовович.

Инженерия действительно интересная, метрики высокие и, вроде, главный и единственный разработчик Бэн молодец.

Однако, среди моих подписчиков есть знатные задроты датамайнеры, которые раскопали кое-что интересное.

Воот тут в коде для работы с бенчмарком LongMemEval была выявлена хака для апа метрик бенчмарка.

Вот они:

1. Прямой хардкод для работы  с паттернами датасета

r"when i was ((?:in )?high school|...)",
r"(?:happy|fond|good|positive) (?:high school|...) (?:experience|memory|...)"

Обычно подгонка под бенчмарк - это когда модель дообучают на тестовых данных. Здесь другой случай - алгоритм ретривала напрямую содержит хардкод под конкретные примеры из датасета. Это не обобщение, это whitelist'инг.

2. Подгонка под LoCoMo. Алгоритм библиотеки берет top_k=50, а LoCoMo содержит 19–32 сессий на разговор.
При  top_k=50  система возвращает весь корпус. Ретривал не работает - LLM просто читает все сессии и отвечает на вопрос. Это тест на reading comprehension, а не на память.

3. Стоп слова расширены под MemBench.

Эти слова добавлены потому, что в вопросах MemBench они часто встречаются ("what kind of X do I prefer?", "I think Y"). Без них keyword overlap давал бы ложные срабатывания.

    "said", "would", "could", "should", "might", "can", "will", "shall",
    "kind", "type", "like", "prefer", "enjoy", "think", "feel",
} 

В общем, это ещё не скам, но махонькое читерство. Поэтому за идею лайк, за хаки осуждаем. 👍

За инфо спасибо @andrewBezborodov

Не наступай на Fugu - новый координатор LLM api от Sakana.ai🐡

В противовес fusion ребята из Sakana.ai выпустили свой закрытый координатор моделей.

Основная фишка японцев в своей модели, которая представляет из себя Small LM (SLM), я бы даже сказал tiny, тк на 0.6B параметров, специально обученную на задачи выбора:

1. Ответить самой на запрос. В тч рекурсивно вызывая себя.
2. Отдать на ответ другой модели+выдать ей роль (промпт и/или скилл) для ответа. Роли три: мыслитель, работяга и ревизор.
3. Агентная оркестрация и планирование. Получив запрос модель делает план, кого с каким запросом и инструментами дёрнуть, а также как сагрегировать ответ.

В отличие от fusion, тут полностью закрытый инструмент с подпиской.

Ещё из интересного есть тех. репорт. Который чутка разберём ниже, тк размер оч маленький, над понять, а почему такая SLM работает.

У SLM две головы, одна для генерации текста. Вторая для выбора стратегий.

Обучение происходит в три фазы:
- Sft на данных полученных через ответы LLM, по сути, дистилляция больших братьев, как бы они генерировали ответы, планы и тп. 🚬
- Генетика на стратегиях оркестрации. Учат модель выдавать эффективные комбинации: LLM+роль+задача, а также завершить задачу, дать ответ или передать иному агенту.
- RLVR этап как работа в среде, тк это стадия последняя, модель умеет: генерить стратегии, делать выбор и отвечать. Теперь нужно закрепить это в задачах с обратной связью от среды e2e. То самое выравнивание.

Для оркестрации своей диалоговой системы, кстати, писал тут уже, ребята из Amazon использовали MAB (бандитов). Тут бы можно было тоже, но генетика красивое. 😜

В итоге, Fugu имеет мощное обобщение и работает даже на OOV примерах LLM. Те на моделях, которых не было в обучении. 🤙

Для меня остаётся конечно все ещё вопрос реальной  эффективности 0.6B модели. Также стоит отметить, что в случае оркестрации на коленке, лучше взять fusion и локальные модельки.

В остальном, довольно интересное решение, в рамках темы которая тут поднималась не раз - переход к специализации моделей и их метаоркестрации. 💃

Qwen+distillation+Mythos = Qwythos 🪨

Вот жеж умельцы, успели намайнить трейсов мифов и басен и сделать тюн Qwen 3.5

Единственное, конечно, на сколько реальны метрики? 🤔

Самое забавное это:

- Модель требует генерации в первую очередь, а затем финального ответа — закладывайте запас max_new_tokens (рекомендуется 16384).
- При жадном декодировании или низкой температуре (≤0.3) может уходить в повторы.
- В критически важных контекстах рекомендуется перепроверять факты через инструменты.
- Внимание: обучение было только текстовым — мультимодальные возможности унаследованы от базы и не тестировались.

Крч быстро и смело сдистиллили 500М токенов С Mythos и Fable. 😮‍💨 Не жду чего-то вау, так поиграться.
Ну и решили ребятки хайпу взять на закрытии мифов. 🧠

ИИ-пузырь: что происходит на самом деле сегодня. 🚬

Пару дней назад рынки снова дрогнули. Nasdaq упал на 4,6% за три дня – худший результат с апреля. Южная Корея остановила корги торги после падения KOSPI на 8%. Microsoft потерял 18%, Amazon – 10%. А OpenAI рассматривает перенос IPO на следующий год. 🤔

Да че тут блин происходит? Один и тот же вопрос, который мы задаём уже полтора года: "а окупается ли это вообще?"

Цифры, которые не вписываются в нарратив масс.
Вспомним как MIT опубликовали исследование, где проанализировали 300+ публичных кейсов внедрения ИИ, провели 52 глубинных интервью и опросили 153 руководителя на конференциях.
Результат: 95% пилотных программ провалились. Потрачено $30–40 млрд на генеративный ИИ, а окупаемости нет. 🚬

Тут, конечно, стоит понимать простую истину, цена акций зависит не только от реальной стоимости компании, но и от ожиданий от неё инвесторов. 🧠 Не стоит себя обманывать.

"Мы создали монстра"
Financial Times только выпустили материал с красноречивым заголовком: "We created a monster" – компании сворачивают использование ИИ, потому что затраты разрушают бюджеты. 💸

Вот что внутри:

- Средний корпоративный бюджет на ИИ в 2026 году: $7 млн в год – рост почти на 500% с 2024 года

- 85% бюджета уходит на inference – просто на запуск моделей, не на разработку

- Uber сжёг весь годовой бюджет на ИИ за 4 месяца – CTO компании публично признался.
- Microsoft, которая вложила $13 млрд в OpenAI и пишет до 30% кода с помощью ИИ – отменяет лицензии Claude Code для инженеров из-за неподъёмных счетов. Переводит на собственный GitHub Copilot CLI.

Одна компания потратила $500 млн за один месяц, тк забыли установить лимиты использования Claude 😐

Че там по потреблению?

Мы видим Парадокс Джевонса в действии:

чем дешевле и доступнее ИИ, тем больше его используют, и тем выше совокупные затраты.

Goldman Sachs прогнозирует потребление токенов вырастет в 24 раза к 2030 году — до 120 квадриллионов в месяц.

Даже если цена токена упадёт на 90% (а Gartner это прогнозирует), агентный ИИ потребует на порядок больше токенов на задачу. Итоговый счёт растёт. Источник.

Наблюдается возврат к человеку.
Уже есть первые сигналы - компании начинают возвращать сотрудников, уволенных "под ИИ". Не потому что ИИ плох, а потому что границы его применимости оказались уже, чем обещали вендоры. Только, вернуть их по старым "ценам" тоже не выйдет.

Кстати, такой же тренд ожидаю и у нас в финтехе. Сейчас там идут сокращения, но ожидания от ИИ, особенно местного пошива, очень завышены и ТОПы не видят всей реальной картины, тк миддл менеджмент и эксперты приследуют свои интересы удержания у новой хайповой кормушки (ИИ), а наверх транслируют "аналоговнет" и "100% автоматизация с ИИ". Как бы потом не было больно нанимать людей обратно уже по рыночным ценам. 👍

Что делать-то? Совет от 📦 💅

1. Перестаньте гоняться за хайпом, нанимайте настоящих ИИ-экспертов (в тч AI head), работайте с культурой компании. ИИ эффективен в узких, рутинных задачах – обработка документов, кодинг, первичная поддержка, рутинная аналитика.

2. Считайте ROI на каждом пилоте. Двигайтесь через гипотезы и PoC. Если через 3 месяца нет измеримого эффекта – убивайте проект. 🇨🇩

3. Не заменяйте людей – усиливайте их. ИИ как инструмент, а не как замена. На ФОТ вы не сэкономите, те кто уже нырнул в эту тему, понимает, что токеномика сжирает фин эффект от сокращения фот. Экономия не масштабируется - масштабируется эффективность процессов и скорость принятия решений с ИИ, именно тут вы сможете не терять упущенную прибыль.

4. Матчите модель под задачу. Это моё любимое, не зря я писал выше серию постов про Fusion и Fugu - будьте гибче и умнее оркестрируйте локальные и публичные модели под задачи. А ещё мы делаем распределение задач по уровням для сотрудников, с соответствующей схемой доступа до моделей.
Простые задачи – на дешёвые open-source модели. Pro, max и тп крутые и дорогие модели – только для сложной аналитики и кодинга.

На этом все, удачи 😐

Qwen-AgentWorld новая world model для агентов с 🛍

Команда Qwen выпустила не просто очередную LLM, а world models 😎 (точнее Language World Model) - по сути это модель, которая симулирует последствия действий агентов в 7 доменах: терминал, веб, Android, OS, SWE, поиск, MCP😜
Модель уже доступна с контекстом до 262K токенов.

В чём суть?
Обычные агенты решают, что делать в среде, в RL это зовётся политикой (policy), а Qwen-AgentWorld же предсказывает, что произойдёт после действия. Это как симулятор "реальности" в голове ИИ, позволяющий планировать без постоянных обращений к реальной среде. Крч становится доступна "осмысленная" многоходовочка. 🧠

Ключевые факты из статьи:

🤍 Архитектура: уже знакомая 35B параметров, активируется только 3B за счёт MoE - 256 экспертов, 8 активных. Гибрид из Gated DeltaNet 75% слоёв для скорости и Gated Attention 25%, для точности.

📚 Обучение: >10 млн реальных траекторий из 7 доменов + 3-этапный пайплайн:
- CPT – закладка знаний о динамике сред
- SFT – активация рассуждений для next-state prediction.
- RL (GSPO) – оттачивание точности с гибридной наградой рубрики + правила. Помните рубрики обсуждали тут.

🏆 Бенчмаркинг AgentWorldBench: результаты на уровне GPT‑5.4 и Claude Opus 4.8, а 35B-версия превосходит более крупные модели. 🤙

Где применять?
1. Симулятор для RL – ожидаемо, можно обучать агентов в тысячах виртуальных сред без развёртывания инфраструктуры.
2. Горячий старт ака warm‑up для агентных моделей, что улучшает результаты на 7ми downstream‑задачах.

Это не просто LLM – это шаг к ИИ, который понимает мир через причинно-следственные связи. Следующий шаг - это VLA с алиэкспресс 👍

ИИ-директора банкротятся на ровном месте, разбор нового бенчмарка CEO-Bench

Исследователи из Принстона (Z-Lab) выкатили жесткий тест для нейросетей – CEO-Bench. Это не просто ответы на вопросы, а симуляция управления SaaS-стартапом в течение 500 игровых дней.

Условия игры:
На старте дают $1 млн и 0 клиентов. В руках у ИИ 34 инструмента: маркетинг, найм, цены, сервера. Вокруг "злой" рынок с задержкой фидбека, шумом в данных и меняющейся экономикой. Задача – не обанкротиться и выжать максимум прибыли.

Результаты показывают, что со стратегическим мышлением у ИИ пока беда. Из топовых моделей выжили и вышли в плюс только три:

🥇 Claude Fable 5 — $47,15 млн
🥈 Claude Opus 4.8 — $27,8 млн (модель додумалась сама писать скрипты когортного анализа)
🥉 GPT-5.5 — $21,3 млн

Главный позор:
Обычный глупый алгоритм на жестких правилах (rule-based script) без всякого ИИ сделал $15,76 млн и обошел десятки умных нейросетей. 🚬

Пять крупных моделей, включая DeepSeek V4 Pro, Gemini 3 Flash и Grok 4.20, и вовсе полностью обанкротились.

ИИ пока не умеют играть вдолгую: они страдают амнезией на длинной дистанции и слишком пытаются угодить всем советникам вместо принятия жестких решений.

Теоретический максимум в симуляции – $2,2 млрд. Так что кожаным мешкам на позициях CEO пока можно спать спокойно. Но это не точно. 👍

Подробности исследования читайте в оригинальной статье о CEO-Bench, а код для тестов доступен в репозитории на GitHub. Интерактивный график в блоге.

Не является инвестиционной рекомендацией. 🥳

Нейросети превратили найм в лотерею 🎰

И дело не в том, что LLM помогают проходить собесы. 🪨
HackerRank выложили в открытый доступ систему для оценки резюме при помощи ИИ. Инструмент стал невероятно популярным среди рекрутеров. Программа парсит файлы и скармливает данные языковой модели для выставления баллов резюме.
Учитываются навыки, опыт работы и личные проекты на GitHub. Звучит как отличная автоматизация скучной рутины. 👍

Однако, один разработчик решил проверить систему и прогнал своё резюме несколько раз подряд.
Результаты оказались пугающими. Совершенно идентичный файл получал оценки от 74 до 90+ баллов. 🚬 При проходном пороге в 85 баллов кандидат получает отказ просто по воле случая.

Модель стабильно распознаёт базовые навыки, но при попытке оценить сложность проектов начинает выдавать случайные числа и каждый раз генерирует абсолютно разные вердикты.
Самая большая проблема кроется в оценке профессионального стажа. Запрос для этого раздела состоит всего из пары строк без подробных критериев.😮‍💨 В итоге студент с одной стажировкой и опытный архитектор получают одинаковый максимальный балл. 😐

В чем может быть причина?

Поммимо того, что над нормально писать критерии в промптах, есть ряд инженерных факторов о которых вы должны помнить, если делаете такое решение.

Если бы мы говорили о classic ML моделях, я бы сказал - бегите глупцы фиксите seed'цы (random states).  Но тк мы работаем с ядром на LMках, придётся следить за параметрами генерации в лице температуры, тк она влияет на креатив. Также нужно следить за тем, что контекст чётко обнуляется, ведь генерация зависит в тч от накопленгого контекста. Те для каждого прогона, каждого резюме нужно "забывать" прошлые прогоны. Однако даже имея Т=0 и фиксу по контексту.

Придётся следить и принимать:

1. Non-determinism в LLM - даже при temperature=0, многие современные модели (особенно с speculative decoding, batching, и т.д.) могут давать немного разные результаты.
2. Parsing inconsistency. PDF/DOCX парсинг может давать разные результаты при каждом чтении, особенно если используется OCR или layout analysis.
3. Tool calling / Function calling. Если модель использует function calling для выставления оценок, структура вызова может варьироваться.
4. Batch processing, если резюме обрабатывается батчами с другими, контекст соседних документов может влиять.
5. Floating point non-determinism - на GPU операции могут быть недетерминированными из-за parallel reductions...

Да, не легка жизнь AI-dev и AI-engineer, столько нюансов. 📝


P. S. Ещё ссылки на событие.
Трек в реддит тут. Блог от HackerRank тут. Читаем, делаем выводы и stay tuned 🦾

FRIDA все ещё хороша, как эмбеддер для вашего RAG. 📦
Теперь и на rusBEIR 🚬 💪

Всегда говорил, всяким там типа разрабам местных LLM – вот вы тюнинг делаете под бенчи, ругаетесь, что там, где вы не в топе, не вы проиграли, а бенчи плохие. А мудрость в том, что хорошие модели на любом бенче, даже на самом сомнительном (RusBEIR разумеется не такой) стабильно в топе - эт и есть мастерство. 😎

FRIDA, кстати, уже была скачана более 2млн раз. 💅

#ИИзнанка, #ГордостьДня