Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models
Почему обучение с подкреплением обобщает? Механистическое исследование пост-обучения на уровне признаков в больших языковых моделях
https://www.alphaxiv.org/overview/2604.25011
Механистическое исследование выясняет, почему пост-обучение с подкреплением (RL) улучшает обобщение в больших языковых моделях, в то время как контролируемая донастройка (SFT) часто приводит к забыванию, выявляя, что RL в основном перевзвешивает существующие признаки для обеспечения надежного, не зависящего от задачи обобщения, в отличие от SFT, которое вводит множество специализированных признаков.
———
RL выявляет и усиливает компактный набор внутренних признаков, уже присутствующие в базовой модели после предварительного обучения, но находящиеся в «спящем» или недостаточно активированном состоянии, которые действуют как "универсальный движок рассуждений".
Почему обучение с подкреплением обобщает? Механистическое исследование пост-обучения на уровне признаков в больших языковых моделях
https://www.alphaxiv.org/overview/2604.25011
Механистическое исследование выясняет, почему пост-обучение с подкреплением (RL) улучшает обобщение в больших языковых моделях, в то время как контролируемая донастройка (SFT) часто приводит к забыванию, выявляя, что RL в основном перевзвешивает существующие признаки для обеспечения надежного, не зависящего от задачи обобщения, в отличие от SFT, которое вводит множество специализированных признаков.
———
RL выявляет и усиливает компактный набор внутренних признаков, уже присутствующие в базовой модели после предварительного обучения, но находящиеся в «спящем» или недостаточно активированном состоянии, которые действуют как "универсальный движок рассуждений".
Gyan: An Explainable Neuro-Symbolic Language Model
Гьян: Объяснимая нейро-символьная языковая модель
https://www.alphaxiv.org/overview/2605.04759
Gyan представляет нейросимвольную архитектуру без использования трансформеров, которая обеспечивает полностью объяснимую и композиционную языковую модель, демонстрируя передовые результаты на таких бенчмарках, как MS MARCO, PubMedQA и MMLU-Medicine, при этом используя незначительные вычислительные ресурсы. Модель создает прозрачное представление значения для уменьшения галлюцинаций и улучшения интерпретируемости.
Гьян: Объяснимая нейро-символьная языковая модель
https://www.alphaxiv.org/overview/2605.04759
Gyan представляет нейросимвольную архитектуру без использования трансформеров, которая обеспечивает полностью объяснимую и композиционную языковую модель, демонстрируя передовые результаты на таких бенчмарках, как MS MARCO, PubMedQA и MMLU-Medicine, при этом используя незначительные вычислительные ресурсы. Модель создает прозрачное представление значения для уменьшения галлюцинаций и улучшения интерпретируемости.
NOBLE: Accelerating Transformers with Nonlinear Low-Rank Branches
NOBLE: Ускорение Трансформеров с нелинейными низкоранговыми ветвями
https://www.alphaxiv.org/overview/2603.06492
Итан Смит разработал NOBLE, метод, который дополняет линейные слои Трансформера нелинейными низкоранговыми ветвями, специально предназначенными для предварительного обучения моделей с нуля. Эта архитектурная модификация позволила сократить количество шагов обучения до 1,47 раза и увеличить общую скорость настенных часов в 1,17-1,22 раза для моделей до 1,5 миллиарда параметров, неизменно обеспечивая меньшие потери при оценке в различных задачах.
———
Расширяет линейные слои подобно LoRA с помощью низкоранговой ветви, но с нелинейностью CosNet.
NOBLE: Ускорение Трансформеров с нелинейными низкоранговыми ветвями
https://www.alphaxiv.org/overview/2603.06492
Итан Смит разработал NOBLE, метод, который дополняет линейные слои Трансформера нелинейными низкоранговыми ветвями, специально предназначенными для предварительного обучения моделей с нуля. Эта архитектурная модификация позволила сократить количество шагов обучения до 1,47 раза и увеличить общую скорость настенных часов в 1,17-1,22 раза для моделей до 1,5 миллиарда параметров, неизменно обеспечивая меньшие потери при оценке в различных задачах.
———
Расширяет линейные слои подобно LoRA с помощью низкоранговой ветви, но с нелинейностью CosNet.
Spring-block theory of feature learning in deep neural networks
Пружинно-блочная теория обучения признакам в глубоких нейронных сетях
https://www.alphaxiv.org/overview/2407.19353
Исследователи разработали теорию пружинно-блочной цепи для моделирования извлечения признаков в глубоких нейронных сетях, демонстрируя, что динамика обучения ГНС может быть сопоставлена с фазовой диаграммой шум-нелинейность, где линейное распределение разделения данных по слоям коррелирует с более высокой точностью тестирования.
———
Теория пружинно-маятникового механизма показывает сильную корреляцию между линейностью кривой нагрузки и обобщающей способностью.
Пружинно-блочная теория обучения признакам в глубоких нейронных сетях
https://www.alphaxiv.org/overview/2407.19353
Исследователи разработали теорию пружинно-блочной цепи для моделирования извлечения признаков в глубоких нейронных сетях, демонстрируя, что динамика обучения ГНС может быть сопоставлена с фазовой диаграммой шум-нелинейность, где линейное распределение разделения данных по слоям коррелирует с более высокой точностью тестирования.
———
Теория пружинно-маятникового механизма показывает сильную корреляцию между линейностью кривой нагрузки и обобщающей способностью.
❤1
Заменим людей на роботов, они будут вкалывать 24/7.
Робот, — С меня хватит.
https://d.fixupx.com/SetPixels/status/2054710299702575269
Робот, — С меня хватит.
https://d.fixupx.com/SetPixels/status/2054710299702575269
🔥
Revisiting Transformer Layer Parameterization Through Causal Energy Minimization
Пересмотр параметризации слоя трансформера посредством минимизации причинной энергии
https://www.alphaxiv.org/overview/2605.07588
Исследователи из Microsoft представили Causal Energy Minimization (CEM) – фреймворк, который переосмысливает слои Трансформера как шаги оптимизации на условных энергетических функциях, формально выводя существующие параметризации Multi-Head Attention и Gated MLP и позволяя разрабатывать новые, более параметрически эффективные варианты. Модели, полученные с помощью CEM, с рекурсивными обновлениями достигли тестовой перплексии, сравнимой с базовыми показателями Llama при умеренных масштабах, используя при этом меньше параметров.
———
Слои attention и MLP – это "физическая" реализация шагов оптимизации энергетических функций. Соответственно, дублирование слоёв как и их зацикливание в "рассуждающих" моделях – это просто несколько дополнительных шагов градиентного спуска минимизации энергетической функции.
Revisiting Transformer Layer Parameterization Through Causal Energy Minimization
Пересмотр параметризации слоя трансформера посредством минимизации причинной энергии
https://www.alphaxiv.org/overview/2605.07588
Исследователи из Microsoft представили Causal Energy Minimization (CEM) – фреймворк, который переосмысливает слои Трансформера как шаги оптимизации на условных энергетических функциях, формально выводя существующие параметризации Multi-Head Attention и Gated MLP и позволяя разрабатывать новые, более параметрически эффективные варианты. Модели, полученные с помощью CEM, с рекурсивными обновлениями достигли тестовой перплексии, сравнимой с базовыми показателями Llama при умеренных масштабах, используя при этом меньше параметров.
———
Слои attention и MLP – это "физическая" реализация шагов оптимизации энергетических функций. Соответственно, дублирование слоёв как и их зацикливание в "рассуждающих" моделях – это просто несколько дополнительных шагов градиентного спуска минимизации энергетической функции.
Грогу на красной дорожке на премьере сериала «The Mandalorian and Grogu» в Лос-Анджелесе.
https://d.fixupx.com/Variety/status/2055084203872788537
https://d.fixupx.com/Variety/status/2055084203872788537
A Single-Layer Model Can Do Language Modeling
Однослойная модель может выполнять языковое моделирование
https://www.alphaxiv.org/overview/2605.10643
https://github.com/steve-z-wang/grounded-prediction-network
Предлагается однослойная рекуррентная архитектура, Grounded Prediction Networks (GPNs), для языкового моделирования, черпающая вдохновение из временной глубины биологических систем. Вариант GPN+M достиг перплексии FineWeb в 18.06, и его централизованная матричная память спонтанно разделилась на функционально различные пулы быстрого и медленного сохранения во время обучения.
Однослойная модель может выполнять языковое моделирование
https://www.alphaxiv.org/overview/2605.10643
https://github.com/steve-z-wang/grounded-prediction-network
Предлагается однослойная рекуррентная архитектура, Grounded Prediction Networks (GPNs), для языкового моделирования, черпающая вдохновение из временной глубины биологических систем. Вариант GPN+M достиг перплексии FineWeb в 18.06, и его централизованная матричная память спонтанно разделилась на функционально различные пулы быстрого и медленного сохранения во время обучения.
🔥
Deep Learning as Neural Low-Degree Filtering: A Spectral Theory of Hierarchical Feature Learning
Глубокое обучение как нейронная низкостепенная фильтрация: Спектральная теория иерархического изучения признаков
https://www.alphaxiv.org/overview/2605.13612
https://github.com/IdePHICS/Neural-LoFi-Theory
В этой статье представлена нейронная низкостепенная фильтрация (Neural LoFi), теоретическая основа, объясняющая, как глубокие нейронные сети обучаются иерархическим представлениям с помощью итеративной спектральной процедуры, где каждый слой выбирает признаки на основе низкой сложности и высокой корреляции с меткой по низкостепенным статистикам. Neural LoFi, алгоритм без обратного распространения ошибки, достигает производительности, сравнимой с градиентным спуском, и количественно предсказывает требуемую сложность выборки для появления признаков.
Deep Learning as Neural Low-Degree Filtering: A Spectral Theory of Hierarchical Feature Learning
Глубокое обучение как нейронная низкостепенная фильтрация: Спектральная теория иерархического изучения признаков
https://www.alphaxiv.org/overview/2605.13612
https://github.com/IdePHICS/Neural-LoFi-Theory
В этой статье представлена нейронная низкостепенная фильтрация (Neural LoFi), теоретическая основа, объясняющая, как глубокие нейронные сети обучаются иерархическим представлениям с помощью итеративной спектральной процедуры, где каждый слой выбирает признаки на основе низкой сложности и высокой корреляции с меткой по низкостепенным статистикам. Neural LoFi, алгоритм без обратного распространения ошибки, достигает производительности, сравнимой с градиентным спуском, и количественно предсказывает требуемую сложность выборки для появления признаков.
🔥1
The Truth Lies Somewhere in the Middle (of the Generated Tokens)
Истина лежит где-то посередине (сгенерированных токенов)
https://www.alphaxiv.org/overview/2605.09969
https://github.com/sophicle/tokens
Исследователи из MIT демонстрируют, что усреднение скрытых состояний токенов, генерируемых авторегрессионными языковыми моделями, дает высококачественные семантические представления, превосходящие эмбеддинги, полученные из токенов подсказки. Этот метод, оцененный в областях "зрение-язык", рассуждения и белков, показывает, что семантическая информация распределена по траектории генерации и позволяет идентифицировать интерпретируемые фазы представления.
Истина лежит где-то посередине (сгенерированных токенов)
https://www.alphaxiv.org/overview/2605.09969
https://github.com/sophicle/tokens
Исследователи из MIT демонстрируют, что усреднение скрытых состояний токенов, генерируемых авторегрессионными языковыми моделями, дает высококачественные семантические представления, превосходящие эмбеддинги, полученные из токенов подсказки. Этот метод, оцененный в областях "зрение-язык", рассуждения и белков, показывает, что семантическая информация распределена по траектории генерации и позволяет идентифицировать интерпретируемые фазы представления.
Sparse Hash AI
The Truth Lies Somewhere in the Middle (of the Generated Tokens) Истина лежит где-то посередине (сгенерированных токенов) https://www.alphaxiv.org/overview/2605.09969 https://github.com/sophicle/tokens Исследователи из MIT демонстрируют, что усреднение скрытых…
💡
Последовательность скрытых представлений сгенерированных токенов как шаги оптимизации семантического представления
В работе скрытые представления суммировались в качественное семантическое представление. Если скрытое представление представить как шаг оптимизации семантического описания последовательности, а не сжатие её в это представление, то суммирование представлений – это суммирование шагов оптимизации семантического описания. При этом каждый шаг в отдельности не будет столь информативен, что наблюдается на практике.
Кроме того эта сходимость семантического представления, кмк, может быть связана со сходимостью в неявной оптимизации во время ICL.
Последовательность скрытых представлений сгенерированных токенов как шаги оптимизации семантического представления
В работе скрытые представления суммировались в качественное семантическое представление. Если скрытое представление представить как шаг оптимизации семантического описания последовательности, а не сжатие её в это представление, то суммирование представлений – это суммирование шагов оптимизации семантического описания. При этом каждый шаг в отдельности не будет столь информативен, что наблюдается на практике.
Хотя можно было бы ожидать, что «конечный» токен генерации будет наиболее информативным, действуя как краткое изложение последовательности, эмпирические данные говорят об обратном.
Кроме того эта сходимость семантического представления, кмк, может быть связана со сходимостью в неявной оптимизации во время ICL.
Stories in Space: In-Context Learning Trajectories in Conceptual Belief Space
Истории в Пространстве: Траектории обучения в контексте в Пространстве концептуальных убеждений
https://www.alphaxiv.org/overview/2605.12412
Исследователи изучили, как большие языковые модели обновляют свои убеждения во время обучения в контексте, моделируя этот процесс как траектории через «пространства концептуальных убеждений», которые представляют собой низкоразмерные, геометрически структурированные представления понятий. Они обнаружили, что эта динамика убеждений линейно декодируется из внутренних активаций, а причинно-следственные интервенции по управлению подтвердили функциональную значимость и геометрическую взаимосвязанность этих концептуальных представлений.
———
Работа исследует как LLM представляют и обновляют сложные, абстрактные концепции — такие как "счастье", "напряжение" или "трагедия" — при обработке текста. Можно видеть как внутреннее "убеждение" модели о мире развивается со временем. Это демонстрирует, что даже когда LLM не получает прямого запроса думать о таких понятиях, как "гнев" или "приключение", она внутренне поддерживает представление этих концепций.
Истории в Пространстве: Траектории обучения в контексте в Пространстве концептуальных убеждений
https://www.alphaxiv.org/overview/2605.12412
Исследователи изучили, как большие языковые модели обновляют свои убеждения во время обучения в контексте, моделируя этот процесс как траектории через «пространства концептуальных убеждений», которые представляют собой низкоразмерные, геометрически структурированные представления понятий. Они обнаружили, что эта динамика убеждений линейно декодируется из внутренних активаций, а причинно-следственные интервенции по управлению подтвердили функциональную значимость и геометрическую взаимосвязанность этих концептуальных представлений.
———
Работа исследует как LLM представляют и обновляют сложные, абстрактные концепции — такие как "счастье", "напряжение" или "трагедия" — при обработке текста. Можно видеть как внутреннее "убеждение" модели о мире развивается со временем. Это демонстрирует, что даже когда LLM не получает прямого запроса думать о таких понятиях, как "гнев" или "приключение", она внутренне поддерживает представление этих концепций.
A Mechanistic Investigation of Supervised Fine Tuning
Механистическое исследование контролируемой тонкой настройки
https://www.alphaxiv.org/overview/2605.11426
Это исследование механистически изучает управляемую донастройку (SFT) в больших языковых моделях с использованием разреженных автокодировщиков (SAE), демонстрируя, что SFT вызывает существенные, непрерывные и специфичные для слоев репрезентативные сдвиги на уровне разреженных латентных признаков, даже когда необработанные активации сохраняют высокое косинусное сходство. Исследование количественно определяет эти тонкозернистые семантические изменения, выявляет нарушение признаков, не относящихся к задаче, и характеризует отчетливый профиль обновления, ориентированный на неглубокие слои, для выравнивания безопасности в модели Gemma 3 1B IT.
———
Supervised Fine-Tuning (SFT) гораздо более разрушительна, чем предполагает анализ необработанных активаций.
Внутренние активации модели почти не изменяются после SFT, но когда эти активации пропускаются через SAE для извлечения их разреженных латентных признаков, то сходство этих латентных признаков значительно падает по мере продвижения обучения.
Исследование показывает, что SFT вызывает «сопутствующий ущерб», нарушая функции, которые совершенно не имеют отношения к текущей задаче. Оно согласуется с недавней работой Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models, про которую я писал, где обнаружили, что SFT вводит большое количество специализированных признаков.
Механистическое исследование контролируемой тонкой настройки
https://www.alphaxiv.org/overview/2605.11426
Это исследование механистически изучает управляемую донастройку (SFT) в больших языковых моделях с использованием разреженных автокодировщиков (SAE), демонстрируя, что SFT вызывает существенные, непрерывные и специфичные для слоев репрезентативные сдвиги на уровне разреженных латентных признаков, даже когда необработанные активации сохраняют высокое косинусное сходство. Исследование количественно определяет эти тонкозернистые семантические изменения, выявляет нарушение признаков, не относящихся к задаче, и характеризует отчетливый профиль обновления, ориентированный на неглубокие слои, для выравнивания безопасности в модели Gemma 3 1B IT.
———
Supervised Fine-Tuning (SFT) гораздо более разрушительна, чем предполагает анализ необработанных активаций.
Внутренние активации модели почти не изменяются после SFT, но когда эти активации пропускаются через SAE для извлечения их разреженных латентных признаков, то сходство этих латентных признаков значительно падает по мере продвижения обучения.
Исследование показывает, что SFT вызывает «сопутствующий ущерб», нарушая функции, которые совершенно не имеют отношения к текущей задаче. Оно согласуется с недавней работой Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models, про которую я писал, где обнаружили, что SFT вводит большое количество специализированных признаков.
Bilinear autoencoders find interpretable manifolds
Билинейные автоэнкодеры находят интерпретируемые многообразия
https://www.alphaxiv.org/overview/2605.08891
Представлены билинейные автокодировщики (BAE) для обнаружения и анализа многомерных, квадратично определенных латентных представлений в нейронных сетях, демонстрирующие их способность более эффективно улавливать сложные семантические многообразия, чем линейные методы, при сохранении математической трактуемости. Подход количественно подтверждает наличие более высокоразмерных геометрий концептов в активациях языковых моделей, превосходя линейные базовые показатели по качеству реконструкции.
———
Представлен билинейный автокодировщик (BAE) для обнаружения и анализа нелинейных геометрий. Основное нововведение BAE заключается в переходе от линейных признаков первого порядка (SAE) к полиномиальным признакам второго порядка.
Билинейные автоэнкодеры находят интерпретируемые многообразия
https://www.alphaxiv.org/overview/2605.08891
Представлены билинейные автокодировщики (BAE) для обнаружения и анализа многомерных, квадратично определенных латентных представлений в нейронных сетях, демонстрирующие их способность более эффективно улавливать сложные семантические многообразия, чем линейные методы, при сохранении математической трактуемости. Подход количественно подтверждает наличие более высокоразмерных геометрий концептов в активациях языковых моделей, превосходя линейные базовые показатели по качеству реконструкции.
———
Представлен билинейный автокодировщик (BAE) для обнаружения и анализа нелинейных геометрий. Основное нововведение BAE заключается в переходе от линейных признаков первого порядка (SAE) к полиномиальным признакам второго порядка.