RL не развивает потенциал рассуждений LLM (by Tsinghua)

RL с верифицируемыми наградами (RLVR) — один из самых популярных подходов для прокачки reasoning-способностей современных LLM, вроде OpenAI-o1 и DeepSeek-R1. Считается, что RLVR позволяет модели самой находить новые паттерны рассуждений, отсутствующие в базовой версии.

Но авторы новой статьи из Tsinghua и SJTU решили это перепроверить и получили крайне неожиданный результат: RLVR НЕ создаёт новые стратегии рассуждений.

Когда мало сэмплов (pass@1), то да, RL версии обгоняют base модели. Но если взять pass@128 или pass@256 (много попыток), то уже наоборот, базовые версии стабильно оказываются ЛУЧШЕ, причём существенно!

Причина: RL не создаёт новые паттерны, а лишь усиливает вероятность уже известных решений из базовой модели. При этом резко падает энтропия, а значит, сужается пространство возможных решений.

Прямо противоположный эффект у дистилляции (например, Distill-R1-Qwen): дистилляция реально добавляет в модель новые стратегии рассуждений.

Авторы проверили гипотезу на огромном наборе задач (математика, программирование, визуальный reasoning), множестве моделей и RL-алгоритмов (PPO, GRPO, ReMax и др.). Везде одно и то же — базовая модель имеет больший потенциал при достаточном количестве попыток.

Похоже, что для реального роста reasoning-способностей нужно придумывать совершенно другие подходы.

Статья, GitHub

ruCoIR 🚀

Перевели на русский некоторые задания из бенчмарка CoIR. Бенчмарк CoIR оценивает способности моделей эмбеддеров в задачу поиска text to code, code to text и code to code. Взяли задания там где есть текст. Переводили с помощью модели phi-4.

Перевели часть заданий. Этого достаточно чтобы ранжировать модели по способностям поиска кода по русскому тексту. В таблице замеры различных эмбеддеров, которые умеют работать с русским языком.

Модели multilingual-e5-large и multilingual-e5-large-instruct выглядят очень даже не плохо учитывая их размер.

HF dataset
GitHub

🚀🚀🚀 Koda 🚀🚀🚀

Мы запустили Koda! AI сервис для разработчиков с хорошим пониманием русского языка.

Под капотом — лучшие открытые LLM, дообученные на актуальном коде и адаптированные для русского языка, c применением нашего опыта по созданию моделей.

Koda и наши модели бесплатны. Даем 250 запросов на внешние модели после аутентификации через GitHub. В списке моделей есть DeepSeek V3.1, Qwen3 235B и другие. Можете вбить свой токен внешней модели для CodeChat если есть.

Сейчас в beta-тестировании. Выкатили базовые сервисы. Куча фичей ждут своих релизов. Вместе с вами тестируем и улучшаем.

Делитесь вашим опытом использования Koda в нашем сообществе. Ждем ваши вопросы, ошибки, которые встретили, или идеи, как улучшить.

Koda сейчас — это команда энтузиастов, бывших разработчиков и соавторов GigaCode от Сбера, которые хотят сделать программирование более доступным c помощью AI.

Наш лендинг
Плагин для VSCode
Koda сообщество

DeepSeek-R1 доступен в Koda v0.1.6.

Обновили список free trial моделей. Список пополнился обновленной DeepSeek R1 и Devstral от Mistral. DeepSeek R1 демонстрирует метрики на уровне топовых моделей. Используйте ризонинг DeepSeek R1 для ваших самых сложных задач если обычные чат модели не справляются.

Для всех пользователей доступно 250 бесплатных запросов к free trial моделям после аутентификации через GitHub.

Так же в новом релизе мы исправили несколько багов.

Koda сообщество
Плагин для VSCode

🚀 Finam AI Lab!

Друзья, наша команда стала основой Лаборатории искусственного интелекта в финансовой группе «Финам».

Перед нами стоят амбициозные задачи — мы хотим создать модель для области финансов и добиться новых высот в построении ИИ агента, который в каких-то задачах сможет заменить разработчика. Будем заниматься исследованиями и успешные эксперименты максимально быстро катить в жизнь. Также будем делиться с вами нашими результатами.

И да, у нас открыты вакансии. Ищем сильных исследователей, AI дата-инженеров и инференс-инженера. Ссылки на вакансии в комментах.

Пресс-релиз компании

🔥 Добавили KodaAgent в Koda!

Теперь в Koda можно больше вайбкодить. В версии v0.2.0 появилась агентность. Агентность позволяет дать ИИ больше автономности —теперь он не просто отвечает на вопросы, а может сам взаимодействовать с вашим проектом, понимать контекст глубже и доводить задачи до конца.

Сейчас агентность доступна с 2-мя моделями gemini 2.5 flash и DeepSeek v3 после аутентификации через гитхаб. Наша специализированная модель для агентности появится чуть позже.

В KodaAgent также можно добавить другие модели с вашим API ключом.

Так же в v 0.2.0 обновили модели ембеддера и реранкера. Теперь поиск по проекту и документации более точный.

Koda сообщество
Плагин для VSCode

Во дела!

Gradient Accumulation Is Wasteful

Миф: чем больше батчайз, тем стабильнее и лучше учится LLM. На самом деле всё не так. Авторы этой статьи провели мега-аблейшн по гиперпараметрам претрейна LLM и обнаружили: чем МЕНЬШЕ batch size, тем ШИРЕ диапазон гиперпараметров (lr, оптимизатор, decay-рейты), на которых модель нормально учится. Короче, на маленьком batch даже ванильный SGD (без momentum!) не уступает Adam-у и Adafactor. Валидационный лосс при этом не хуже, а иногда даже лучше, чем на больших batch size.

Самое интересное — авторы показывают, что главная проблема с малельниким батчами — это не какая-то “нестабильность”, а просто неправильно настроенные беты. Особенно β₂ у Adam: его надо менять для разных батчсайзов, фиксируя полупериод затухания второго момента в токенах (по их формуле β₂ new = β₂^(bs_new / bs), тогда можно обучать LLM вообще на batch size 1 — и всё будет стабильно.

Итого: минимальный batch size, при котором не теряется пропускная способность железа — обычно лучший выбор. На малых batch всё проще с тюнингом (широкий диапазон lr/decay/optimizer). И не нужно бояться batch size 1! Gradient accumulation — это почти всегда зло.

PS. Работает не только для претрейна, но и файнтюнинга.

Статья, GitHub

Наш новый релиз!🚀