DevNotes Live

Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces!
Хватит антропоморфизировать промежуточные токены как размышления или мысли!
https://arxiv.org/abs/2504.09762v2

Вообще интересная статья о том, что продуктовые решения в области ИИ подталкивают к антроморфизации, что, конечно, не так... проблема вообще, конечно, глобальная и касается вообще всего ПО, маркетинга в айти и проблемах технологического PR.

Генерация промежуточных токенов (ITG), когда модель выдает вывод перед решением, была предложена как метод улучшения производительности языковых моделей в задачах, требующих рассуждений. Эти промежуточные токены называли «следами рассуждений» или даже «мыслями» — подразумевая антропоморфизацию модели, намекая, что эти токены напоминают шаги, которые человек мог бы предпринять при решении сложной задачи.

Большие языковые модели (LLM), которые были авторегрессивно обучены на цифровом следе человечества, показали способность генерировать связные текстовые ответы на самые разнообразные запросы. Хотя они демонстрируют впечатляющие способности и превосходят в создании завершений, имитирующих стиль, способности, такие как фактологичность, рассуждения и планирование, остаются неуловимыми целями, если не ахиллесовой пятой

В ответ исследователи разработали новый класс моделей — иногда называемых большими моделями рассуждений (LRM), — которые строятся на архитектурах и рецептах обучения стандартных LLM. Наиболее известны из них модели серии o от OpenAI, o3, R1 от DeepSeek [9], Google Gemini-2.5-pro, Anthropic Claude 3.7 Sonnet, которые показали значительные улучшения производительности в задачах рассуждений и планирования, ранее недоступных для старых возможностей LLM.

Эти модели были построены на основе двух широких, но в основном ортогональных классов идей:

(i) методы масштабирования инференса во время тестирования, которые заставляют LLM выполнять больше работы, чем просто предоставление наиболее вероятного прямого ответа;

(ii) методы постобучения, которые дополняют простое авторегрессивное обучение на веб-корпусах дополнительным обучением на данных промежуточных токенов.

Рассмотрение промежуточных токенов как следов рассуждений/мышления привело к стремлению сделать их «интерпретируемыми» для людей в цикле (не говоря уже о том, что интерпретируемость в основном означала, что следы были на псевдо-английском). Например, DeepSeek [9] экспериментировал с обучением модели только с RL (R1-Zero), но выпустил финальную версию (R1), которая обучалась с дополнительными данными и шагами фильтрации, специально чтобы уменьшить склонность модели по умолчанию генерировать промежуточные последовательности токенов, смешивающие английский и китайский языки!

Это привело к неявному предположению, что правильность/интерпретируемость промежуточных токенов имеет сильную корреляцию или даже причинно-следственную связь с производимым решением.

arXiv.org

Position: Stop Anthropomorphizing Intermediate Tokens as...

Intermediate token generation (ITG), where a model produces output before the solution, has become a standard method to improve the performance of language models on reasoning tasks. These...

1 view14:02