🧠 Google предлагает новый подход к обучению моделей - “Supervised Reinforcement Learning: From Expert Trajectories to Step-wise Reasoning”.

Суть: модель учится не угадывать готовый ответ, а планировать и проверять каждый шаг рассуждений.

- Вместо финальной оценки SRL даёт награду за каждый шаг цепочки
- Модель учится думать поэтапно, а не просто копировать решение
- Маленькие модели получают реальный сигнал обучения и тоже начинают планировать

Результаты впечатляют:
- AIME24: +3.4% (13.3% → 16.7%) на модели 7B
- SRL→RLVR: 57.5% на AMC23 (greedy)
- Код-агенты: 14.8% oracle resolve rate
- В инженерных задачах из 5K траекторий сделали 134K пошаговых примеров, SRL дал 8.6% фиксов кода с greedy - выше, чем SFT-coder

Как это работает
- Экспертное решение режут на маленькие шаги
- Модель делает шаг → получает оценку близости к эксперту
- Используют текст-matcher + небольшой формат-штраф
- Обновления в стиле GRPO с динамическим выбором батчей, чтобы избегать пустых сигналов

Что получает модель
- Раннее планирование
- Коррекция по ходу
- Самопроверка результата
- При этом ответы не становятся длиннее - качество растёт за счёт мышления, а не болтовни

SRL выглядит как естественный мост между supervised обучением и классическим RL: контролируемая стабильность + глубина рассуждений.

📄 arxiv.org/abs/2510.25992

@data_analysis_ml