коллеги из университета Циньхуа выпустили работу под названием Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? (А точно ли обучение с подкреплением расширяет мыслительные возможности моделей?)

в ней они приходят к выводу, что нет, базовая модель остается лучше на длинной дистанции; я высказывал такого рода сомнение еще про Qwen, но тут уже полноценное подтверждение; отдельно хочу выразить восхищение визуальным оформлением результатов, очень доходчиво

первая картинка, конечно, шуточная, но в каждой шутке есть доля шутки; это я к чему? к тому, что проблема доминирования английского в IT объективно существует

само собой, сейчас, с изобретением LLM, написание промтов стало "программированием на естественном языке", немного по-другому, но в ту же сторону - вайб-кодинг; и это снижает остроту обозначенной проблемы

но я считаю, что обычные языки программирования с нами еще надолго; и вот недавно один паренек придумал язык вэнъян (文言), полноценный ЯП, основанный на классических китайских иероглифах; понятно, что это - поделка типа знаменитого языка whitespace, но с другой стороны укладывается в стремление создать замкнутую китайскую экосистему; вторая картинка - это множество Мандельброта, описанное на языке вэнъян

как многие знают, я - физтех, так что новости касающиеся альма-матер привлекают мое внимание; вчера вышло постановление правительства о создании инновационного научно-технологического центра «Долина Физтеха»; само постановление - довольно скучный бюрократический документ, самое интересное - на картинках:

на второй картинке - основные направления работы центра, там все, что мы любим - ИИ и беспилотники

а на третьей картинке - вырезка из того, что передается центру во владение, судя по этому, будем строить кибер стимпанк; осталось только узнать, что такое "строганый погонаж"

ну а за заглавную картинку спасибо Кандинскому; она сгенерирована по запросу "Стимпанк на Физтехе"; что? да!

в новой работе рекуррентная мамба добралась и до рассуждений

результаты, которые сейчас принято сравнивать на математических задачах, получаются сравнимыми с трансформерными моделями аналогичного размера (первая картинка), зато скорость генерации превосходит вдвое меньшую модель, причем, чем больше батч, тем сильнее (вторая картинка)

интересно, как модель М1 создавалась: сначала была сделана дистилляция из предобученного трансформера, потом стандартное дообучение, и в конце дообучение с подкреплением; на первой стадии сначала делается инициализация весов мамбы из трансформера, а потом минимизация KL-дивергенции для генерируемых токенов; не очень понятно, используются для этого другие датасеты, чем на стадии дообучения с учителем (там ожидаемо математические датасеты с рассуждениями); для третьей стадии авторы используют GRPO, но выкидывают из него KL-дивергенцию, т.к. у них это дестабилизирует обучение

некоторое сомнение вызывает то, что дистиллируют они Llama 3.2 3B, но по качеству с ней не сравниваются

@valuableai

идет подъем интереса к рекуррентным моделям, вот и коллеги из Sakana AI подключились (они периодически выдают что-то интересное, в прошлый раз было про искусственного ученого), они представили архитектуру под сбивающим с названия названием Continuous Thought Machines; по названию я бы предположил, что это одна из современных рассуждающих моделей; но нет, суть подхода показана на картинке (хотя все равно там не особо понятно), больше все мне этот подход напомнил Structured State Space models, наиболее известна из них mamba; еще один референс - это капсулы от Хинтона

интересно, что SSM создавались изначально текстов, а вот CTM и капсулы - для картинок (видео); почему CTM, которые рекуррентны по своей природе, не стали тестировать на текстах - загадка; могу порекомендовать также сайт статьи, очень красивые демки, может быть поэтому на текстах и не показывают, что демки не такие залипательные, но и в статье результатов на текстах нет, что странно

@valuableai