🔥
Revisiting Transformer Layer Parameterization Through Causal Energy Minimization
Пересмотр параметризации слоя трансформера посредством минимизации причинной энергии
https://www.alphaxiv.org/overview/2605.07588
Исследователи из Microsoft представили Causal Energy Minimization (CEM) – фреймворк, который переосмысливает слои Трансформера как шаги оптимизации на условных энергетических функциях, формально выводя существующие параметризации Multi-Head Attention и Gated MLP и позволяя разрабатывать новые, более параметрически эффективные варианты. Модели, полученные с помощью CEM, с рекурсивными обновлениями достигли тестовой перплексии, сравнимой с базовыми показателями Llama при умеренных масштабах, используя при этом меньше параметров.
———
Слои attention и MLP – это "физическая" реализация шагов оптимизации энергетических функций. Соответственно, дублирование слоёв как и их зацикливание в "рассуждающих" моделях – это просто несколько дополнительных шагов градиентного спуска минимизации энергетической функции.
Revisiting Transformer Layer Parameterization Through Causal Energy Minimization
Пересмотр параметризации слоя трансформера посредством минимизации причинной энергии
https://www.alphaxiv.org/overview/2605.07588
Исследователи из Microsoft представили Causal Energy Minimization (CEM) – фреймворк, который переосмысливает слои Трансформера как шаги оптимизации на условных энергетических функциях, формально выводя существующие параметризации Multi-Head Attention и Gated MLP и позволяя разрабатывать новые, более параметрически эффективные варианты. Модели, полученные с помощью CEM, с рекурсивными обновлениями достигли тестовой перплексии, сравнимой с базовыми показателями Llama при умеренных масштабах, используя при этом меньше параметров.
———
Слои attention и MLP – это "физическая" реализация шагов оптимизации энергетических функций. Соответственно, дублирование слоёв как и их зацикливание в "рассуждающих" моделях – это просто несколько дополнительных шагов градиентного спуска минимизации энергетической функции.
Грогу на красной дорожке на премьере сериала «The Mandalorian and Grogu» в Лос-Анджелесе.
https://d.fixupx.com/Variety/status/2055084203872788537
https://d.fixupx.com/Variety/status/2055084203872788537
A Single-Layer Model Can Do Language Modeling
Однослойная модель может выполнять языковое моделирование
https://www.alphaxiv.org/overview/2605.10643
https://github.com/steve-z-wang/grounded-prediction-network
Предлагается однослойная рекуррентная архитектура, Grounded Prediction Networks (GPNs), для языкового моделирования, черпающая вдохновение из временной глубины биологических систем. Вариант GPN+M достиг перплексии FineWeb в 18.06, и его централизованная матричная память спонтанно разделилась на функционально различные пулы быстрого и медленного сохранения во время обучения.
Однослойная модель может выполнять языковое моделирование
https://www.alphaxiv.org/overview/2605.10643
https://github.com/steve-z-wang/grounded-prediction-network
Предлагается однослойная рекуррентная архитектура, Grounded Prediction Networks (GPNs), для языкового моделирования, черпающая вдохновение из временной глубины биологических систем. Вариант GPN+M достиг перплексии FineWeb в 18.06, и его централизованная матричная память спонтанно разделилась на функционально различные пулы быстрого и медленного сохранения во время обучения.
🔥
Deep Learning as Neural Low-Degree Filtering: A Spectral Theory of Hierarchical Feature Learning
Глубокое обучение как нейронная низкостепенная фильтрация: Спектральная теория иерархического изучения признаков
https://www.alphaxiv.org/overview/2605.13612
https://github.com/IdePHICS/Neural-LoFi-Theory
В этой статье представлена нейронная низкостепенная фильтрация (Neural LoFi), теоретическая основа, объясняющая, как глубокие нейронные сети обучаются иерархическим представлениям с помощью итеративной спектральной процедуры, где каждый слой выбирает признаки на основе низкой сложности и высокой корреляции с меткой по низкостепенным статистикам. Neural LoFi, алгоритм без обратного распространения ошибки, достигает производительности, сравнимой с градиентным спуском, и количественно предсказывает требуемую сложность выборки для появления признаков.
Deep Learning as Neural Low-Degree Filtering: A Spectral Theory of Hierarchical Feature Learning
Глубокое обучение как нейронная низкостепенная фильтрация: Спектральная теория иерархического изучения признаков
https://www.alphaxiv.org/overview/2605.13612
https://github.com/IdePHICS/Neural-LoFi-Theory
В этой статье представлена нейронная низкостепенная фильтрация (Neural LoFi), теоретическая основа, объясняющая, как глубокие нейронные сети обучаются иерархическим представлениям с помощью итеративной спектральной процедуры, где каждый слой выбирает признаки на основе низкой сложности и высокой корреляции с меткой по низкостепенным статистикам. Neural LoFi, алгоритм без обратного распространения ошибки, достигает производительности, сравнимой с градиентным спуском, и количественно предсказывает требуемую сложность выборки для появления признаков.
🔥1
The Truth Lies Somewhere in the Middle (of the Generated Tokens)
Истина лежит где-то посередине (сгенерированных токенов)
https://www.alphaxiv.org/overview/2605.09969
https://github.com/sophicle/tokens
Исследователи из MIT демонстрируют, что усреднение скрытых состояний токенов, генерируемых авторегрессионными языковыми моделями, дает высококачественные семантические представления, превосходящие эмбеддинги, полученные из токенов подсказки. Этот метод, оцененный в областях "зрение-язык", рассуждения и белков, показывает, что семантическая информация распределена по траектории генерации и позволяет идентифицировать интерпретируемые фазы представления.
Истина лежит где-то посередине (сгенерированных токенов)
https://www.alphaxiv.org/overview/2605.09969
https://github.com/sophicle/tokens
Исследователи из MIT демонстрируют, что усреднение скрытых состояний токенов, генерируемых авторегрессионными языковыми моделями, дает высококачественные семантические представления, превосходящие эмбеддинги, полученные из токенов подсказки. Этот метод, оцененный в областях "зрение-язык", рассуждения и белков, показывает, что семантическая информация распределена по траектории генерации и позволяет идентифицировать интерпретируемые фазы представления.
Sparse Hash AI
The Truth Lies Somewhere in the Middle (of the Generated Tokens) Истина лежит где-то посередине (сгенерированных токенов) https://www.alphaxiv.org/overview/2605.09969 https://github.com/sophicle/tokens Исследователи из MIT демонстрируют, что усреднение скрытых…
💡
Последовательность скрытых представлений сгенерированных токенов как шаги оптимизации семантического представления
В работе скрытые представления суммировались в качественное семантическое представление. Если скрытое представление представить как шаг оптимизации семантического описания последовательности, а не сжатие её в это представление, то суммирование представлений – это суммирование шагов оптимизации семантического описания. При этом каждый шаг в отдельности не будет столь информативен, что наблюдается на практике.
Кроме того эта сходимость семантического представления, кмк, может быть связана со сходимостью в неявной оптимизации во время ICL.
Последовательность скрытых представлений сгенерированных токенов как шаги оптимизации семантического представления
В работе скрытые представления суммировались в качественное семантическое представление. Если скрытое представление представить как шаг оптимизации семантического описания последовательности, а не сжатие её в это представление, то суммирование представлений – это суммирование шагов оптимизации семантического описания. При этом каждый шаг в отдельности не будет столь информативен, что наблюдается на практике.
Хотя можно было бы ожидать, что «конечный» токен генерации будет наиболее информативным, действуя как краткое изложение последовательности, эмпирические данные говорят об обратном.
Кроме того эта сходимость семантического представления, кмк, может быть связана со сходимостью в неявной оптимизации во время ICL.
Stories in Space: In-Context Learning Trajectories in Conceptual Belief Space
Истории в Пространстве: Траектории обучения в контексте в Пространстве концептуальных убеждений
https://www.alphaxiv.org/overview/2605.12412
Исследователи изучили, как большие языковые модели обновляют свои убеждения во время обучения в контексте, моделируя этот процесс как траектории через «пространства концептуальных убеждений», которые представляют собой низкоразмерные, геометрически структурированные представления понятий. Они обнаружили, что эта динамика убеждений линейно декодируется из внутренних активаций, а причинно-следственные интервенции по управлению подтвердили функциональную значимость и геометрическую взаимосвязанность этих концептуальных представлений.
———
Работа исследует как LLM представляют и обновляют сложные, абстрактные концепции — такие как "счастье", "напряжение" или "трагедия" — при обработке текста. Можно видеть как внутреннее "убеждение" модели о мире развивается со временем. Это демонстрирует, что даже когда LLM не получает прямого запроса думать о таких понятиях, как "гнев" или "приключение", она внутренне поддерживает представление этих концепций.
Истории в Пространстве: Траектории обучения в контексте в Пространстве концептуальных убеждений
https://www.alphaxiv.org/overview/2605.12412
Исследователи изучили, как большие языковые модели обновляют свои убеждения во время обучения в контексте, моделируя этот процесс как траектории через «пространства концептуальных убеждений», которые представляют собой низкоразмерные, геометрически структурированные представления понятий. Они обнаружили, что эта динамика убеждений линейно декодируется из внутренних активаций, а причинно-следственные интервенции по управлению подтвердили функциональную значимость и геометрическую взаимосвязанность этих концептуальных представлений.
———
Работа исследует как LLM представляют и обновляют сложные, абстрактные концепции — такие как "счастье", "напряжение" или "трагедия" — при обработке текста. Можно видеть как внутреннее "убеждение" модели о мире развивается со временем. Это демонстрирует, что даже когда LLM не получает прямого запроса думать о таких понятиях, как "гнев" или "приключение", она внутренне поддерживает представление этих концепций.
A Mechanistic Investigation of Supervised Fine Tuning
Механистическое исследование контролируемой тонкой настройки
https://www.alphaxiv.org/overview/2605.11426
Это исследование механистически изучает управляемую донастройку (SFT) в больших языковых моделях с использованием разреженных автокодировщиков (SAE), демонстрируя, что SFT вызывает существенные, непрерывные и специфичные для слоев репрезентативные сдвиги на уровне разреженных латентных признаков, даже когда необработанные активации сохраняют высокое косинусное сходство. Исследование количественно определяет эти тонкозернистые семантические изменения, выявляет нарушение признаков, не относящихся к задаче, и характеризует отчетливый профиль обновления, ориентированный на неглубокие слои, для выравнивания безопасности в модели Gemma 3 1B IT.
———
Supervised Fine-Tuning (SFT) гораздо более разрушительна, чем предполагает анализ необработанных активаций.
Внутренние активации модели почти не изменяются после SFT, но когда эти активации пропускаются через SAE для извлечения их разреженных латентных признаков, то сходство этих латентных признаков значительно падает по мере продвижения обучения.
Исследование показывает, что SFT вызывает «сопутствующий ущерб», нарушая функции, которые совершенно не имеют отношения к текущей задаче. Оно согласуется с недавней работой Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models, про которую я писал, где обнаружили, что SFT вводит большое количество специализированных признаков.
Механистическое исследование контролируемой тонкой настройки
https://www.alphaxiv.org/overview/2605.11426
Это исследование механистически изучает управляемую донастройку (SFT) в больших языковых моделях с использованием разреженных автокодировщиков (SAE), демонстрируя, что SFT вызывает существенные, непрерывные и специфичные для слоев репрезентативные сдвиги на уровне разреженных латентных признаков, даже когда необработанные активации сохраняют высокое косинусное сходство. Исследование количественно определяет эти тонкозернистые семантические изменения, выявляет нарушение признаков, не относящихся к задаче, и характеризует отчетливый профиль обновления, ориентированный на неглубокие слои, для выравнивания безопасности в модели Gemma 3 1B IT.
———
Supervised Fine-Tuning (SFT) гораздо более разрушительна, чем предполагает анализ необработанных активаций.
Внутренние активации модели почти не изменяются после SFT, но когда эти активации пропускаются через SAE для извлечения их разреженных латентных признаков, то сходство этих латентных признаков значительно падает по мере продвижения обучения.
Исследование показывает, что SFT вызывает «сопутствующий ущерб», нарушая функции, которые совершенно не имеют отношения к текущей задаче. Оно согласуется с недавней работой Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models, про которую я писал, где обнаружили, что SFT вводит большое количество специализированных признаков.
Bilinear autoencoders find interpretable manifolds
Билинейные автоэнкодеры находят интерпретируемые многообразия
https://www.alphaxiv.org/overview/2605.08891
Представлены билинейные автокодировщики (BAE) для обнаружения и анализа многомерных, квадратично определенных латентных представлений в нейронных сетях, демонстрирующие их способность более эффективно улавливать сложные семантические многообразия, чем линейные методы, при сохранении математической трактуемости. Подход количественно подтверждает наличие более высокоразмерных геометрий концептов в активациях языковых моделей, превосходя линейные базовые показатели по качеству реконструкции.
———
Представлен билинейный автокодировщик (BAE) для обнаружения и анализа нелинейных геометрий. Основное нововведение BAE заключается в переходе от линейных признаков первого порядка (SAE) к полиномиальным признакам второго порядка.
Билинейные автоэнкодеры находят интерпретируемые многообразия
https://www.alphaxiv.org/overview/2605.08891
Представлены билинейные автокодировщики (BAE) для обнаружения и анализа многомерных, квадратично определенных латентных представлений в нейронных сетях, демонстрирующие их способность более эффективно улавливать сложные семантические многообразия, чем линейные методы, при сохранении математической трактуемости. Подход количественно подтверждает наличие более высокоразмерных геометрий концептов в активациях языковых моделей, превосходя линейные базовые показатели по качеству реконструкции.
———
Представлен билинейный автокодировщик (BAE) для обнаружения и анализа нелинейных геометрий. Основное нововведение BAE заключается в переходе от линейных признаков первого порядка (SAE) к полиномиальным признакам второго порядка.
All Circuits Lead to Rome: Rethinking Functional Anisotropy in Circuit and Sheaf Discovery for LLMs
Все схемы ведут в Рим: Переосмысление функциональной анизотропии в обнаружении схем и пучков для БЯМ
https://www.alphaxiv.org/overview/2605.12671
Эмпирически и теоретически, одна задача в больших языковых моделях может поддерживаться несколькими структурно различными вычислительными механизмами, что оспаривает предположение о том, что каждая функция соответствует уникальной внутренней схеме. Исследование представляет метод для обнаружения этих разнообразных механизмов, обнаруживая, что два функционально идентичных пучка для идентификации косвенного дополнения могут иметь структурное перекрытие всего в 4,1%.
———
LLM обладают "функциональным изобилием" механизмов: множеством структурно различных цепей, которые могут сосуществовать и независимо выполнять одну и ту же задачу во время нормальной работы модели.
Авторы предлагают "Гипотезу Распределённой Плотной Схемы" (Distributive Dense Circuit Hypothesis). Они утверждают, что в высокоразмерных моделях, таких как большие языковые модели (LLM), один и тот же математический результат может быть достигнут многими различными комбинациями компонентов.
Все схемы ведут в Рим: Переосмысление функциональной анизотропии в обнаружении схем и пучков для БЯМ
https://www.alphaxiv.org/overview/2605.12671
Эмпирически и теоретически, одна задача в больших языковых моделях может поддерживаться несколькими структурно различными вычислительными механизмами, что оспаривает предположение о том, что каждая функция соответствует уникальной внутренней схеме. Исследование представляет метод для обнаружения этих разнообразных механизмов, обнаруживая, что два функционально идентичных пучка для идентификации косвенного дополнения могут иметь структурное перекрытие всего в 4,1%.
———
LLM обладают "функциональным изобилием" механизмов: множеством структурно различных цепей, которые могут сосуществовать и независимо выполнять одну и ту же задачу во время нормальной работы модели.
Авторы предлагают "Гипотезу Распределённой Плотной Схемы" (Distributive Dense Circuit Hypothesis). Они утверждают, что в высокоразмерных моделях, таких как большие языковые модели (LLM), один и тот же математический результат может быть достигнут многими различными комбинациями компонентов.
Variational Linear Attention: Stable Associative Memory for Long-Context Transformers
Вариационное линейное внимание: Устойчивая ассоциативная память для трансформеров с длинным контекстом
https://www.alphaxiv.org/overview/2605.11196
Вариационное линейное внимание (VLA) решает проблему нестабильности памяти механизмов линейного внимания в трансформерах с длинным контекстом, переформулируя обновления памяти как задачу онлайн-регуляризованных наименьших квадратов. Этот подход приводит к самоограничивающемуся состоянию памяти (норма Фробениуса ниже 15 при T=1000, что более чем в 100 раз меньше) и стабильному потоку градиентов, достигая почти идеального ассоциативного вызова там, где другие модели терпят неудачу.
———
DeltaNet: Использует обученный скалярный гейт для равномерного затухания всего состояния памяти. Хотя это предотвращает неограниченный рост, это "тупой" подход — он забывает все одинаково, даже если лишь малая часть памяти нуждается в обновлении.
VLA: Использует матрично-значное адаптивное штрафование. Она может выборочно защищать определенные "направления" в памяти, перезаписывая другие. Эта геометрическая гибкость позволяет ей сохранять старые, стабильные ассоциации даже по мере интеграции новой информации.
Вариационное линейное внимание: Устойчивая ассоциативная память для трансформеров с длинным контекстом
https://www.alphaxiv.org/overview/2605.11196
Вариационное линейное внимание (VLA) решает проблему нестабильности памяти механизмов линейного внимания в трансформерах с длинным контекстом, переформулируя обновления памяти как задачу онлайн-регуляризованных наименьших квадратов. Этот подход приводит к самоограничивающемуся состоянию памяти (норма Фробениуса ниже 15 при T=1000, что более чем в 100 раз меньше) и стабильному потоку градиентов, достигая почти идеального ассоциативного вызова там, где другие модели терпят неудачу.
———
DeltaNet: Использует обученный скалярный гейт для равномерного затухания всего состояния памяти. Хотя это предотвращает неограниченный рост, это "тупой" подход — он забывает все одинаково, даже если лишь малая часть памяти нуждается в обновлении.
VLA: Использует матрично-значное адаптивное штрафование. Она может выборочно защищать определенные "направления" в памяти, перезаписывая другие. Эта геометрическая гибкость позволяет ей сохранять старые, стабильные ассоциации даже по мере интеграции новой информации.
👍1
Towards Effective Theory of LLMs: A Representation Learning Approach
На пути к эффективной теории больших языковых моделей: подход, основанный на обучении представлений
https://www.alphaxiv.org/overview/2605.09294
Это исследование представляет Репрезентативную Эффективную Теорию (РЭТ), фреймворк для понимания вычислений Больших Языковых Моделей (LLM) путем изучения абстрактных макросостояний из траекторий скрытых состояний. Метод предоставляет интерпретируемые пути рассуждений, позволяет раннее предсказание поведения, такого как подхалимство, и предлагает причинные механизмы для управления генерацией LLM, превосходя базовые показатели по точности самопрогнозирования и метрикам интерпретируемости.
———
Основная идея РЭТ заключается в отображении высокоразмерных, зашумленных скрытых состояний LLM (микросостояний) в низкоразмерное пространство (макросостояния), которое сохраняет только ту информацию, которая необходима для предсказания будущего внутреннего состояния модели (аналогичной JEPA).
На пути к эффективной теории больших языковых моделей: подход, основанный на обучении представлений
https://www.alphaxiv.org/overview/2605.09294
Это исследование представляет Репрезентативную Эффективную Теорию (РЭТ), фреймворк для понимания вычислений Больших Языковых Моделей (LLM) путем изучения абстрактных макросостояний из траекторий скрытых состояний. Метод предоставляет интерпретируемые пути рассуждений, позволяет раннее предсказание поведения, такого как подхалимство, и предлагает причинные механизмы для управления генерацией LLM, превосходя базовые показатели по точности самопрогнозирования и метрикам интерпретируемости.
———
Основная идея РЭТ заключается в отображении высокоразмерных, зашумленных скрытых состояний LLM (микросостояний) в низкоразмерное пространство (макросостояния), которое сохраняет только ту информацию, которая необходима для предсказания будущего внутреннего состояния модели (аналогичной JEPA).
Freeze Deep, Train Shallow: Interpretable Layer Allocation for Continued Pre-Training
Замораживай глубокие, тренируй поверхностные: Интерпретируемое распределение слоев для продолженного предобучения
https://www.alphaxiv.org/overview/2605.11416
LayerTracer — это диагностическая платформа, которая количественно определяет функциональную дифференциацию между слоями больших языковых моделей для целенаправленного продолженного предварительного обучения. Она показала, что неглубокие слои чувствительны к обновлениям, в то время как глубокие слои консолидируют выполнение задач, что позволило применить интерпретируемую стратегию «обучай неглубокие, замораживай глубокие» (train-shallow, freeze-deep), которая улучшила производительность на бенчмарках, сократив при этом количество обучаемых параметров примерно на 50%.
———
Основной принцип данной работы: Замораживай глубокие, тренируй поверхностные. Тренируя поверхностные, чувствительные слои, модель может усваивать новые предметно-специфичные паттерны. Замораживая глубокие, стабильные зоны выполнения, модель сохраняет сложные способности к рассуждению, которые она приобрела во время своего первоначального, крупномасштабного предварительного обучения.
Замораживай глубокие, тренируй поверхностные: Интерпретируемое распределение слоев для продолженного предобучения
https://www.alphaxiv.org/overview/2605.11416
LayerTracer — это диагностическая платформа, которая количественно определяет функциональную дифференциацию между слоями больших языковых моделей для целенаправленного продолженного предварительного обучения. Она показала, что неглубокие слои чувствительны к обновлениям, в то время как глубокие слои консолидируют выполнение задач, что позволило применить интерпретируемую стратегию «обучай неглубокие, замораживай глубокие» (train-shallow, freeze-deep), которая улучшила производительность на бенчмарках, сократив при этом количество обучаемых параметров примерно на 50%.
———
Основной принцип данной работы: Замораживай глубокие, тренируй поверхностные. Тренируя поверхностные, чувствительные слои, модель может усваивать новые предметно-специфичные паттерны. Замораживая глубокие, стабильные зоны выполнения, модель сохраняет сложные способности к рассуждению, которые она приобрела во время своего первоначального, крупномасштабного предварительного обучения.
SymbolicLight V1: Spike-Gated Dual-Path Language Modeling with High Activation Sparsity and Sub-Billion-Scale Pre-Training Evidence
SymbolicLight V1: Спайк-управляемое двухпутевое языковое моделирование с высокой разреженностью активаций и свидетельства предобучения в субмиллиардном масштабе
https://www.alphaxiv.org/overview/2605.21333
https://github.com/SymbolicLight-AGI/SymbolicLight-V1
https://huggingface.co/SymbolicLight-AGI/SymbolicLight-V1
Исследователи представили SymbolicLight V1, языковую модель с двойным путем, управляемую спайками, которая объединяет бинарные спайки с непрерывными представлениями. Эта архитектура достигла средней перплексии валидации 8.905 на двуязычном корпусе, поддерживая при этом разреженность активации более 89%, демонстрируя конкурентоспособную производительность по сравнению с плотными трансформерами и предлагая путь для энергоэффективного ИИ на нейроморфном оборудовании.
SymbolicLight V1: Спайк-управляемое двухпутевое языковое моделирование с высокой разреженностью активаций и свидетельства предобучения в субмиллиардном масштабе
https://www.alphaxiv.org/overview/2605.21333
https://github.com/SymbolicLight-AGI/SymbolicLight-V1
https://huggingface.co/SymbolicLight-AGI/SymbolicLight-V1
Исследователи представили SymbolicLight V1, языковую модель с двойным путем, управляемую спайками, которая объединяет бинарные спайки с непрерывными представлениями. Эта архитектура достигла средней перплексии валидации 8.905 на двуязычном корпусе, поддерживая при этом разреженность активации более 89%, демонстрируя конкурентоспособную производительность по сравнению с плотными трансформерами и предлагая путь для энергоэффективного ИИ на нейроморфном оборудовании.
LT2: Linear-Time Looped Transformers
ЛТ2: Линейновременные Зацикленные Трансформеры
https://www.alphaxiv.org/overview/2605.20670
https://github.com/chili-lab/LT2
LT2 представляет рекуррентные трансформеры с линейным временем (Linear-Time Looped Transformers) путем интеграции субквадратичных механизмов внимания в рекуррентные архитектуры, значительно преодолевая квадратичные вычислительные узкие места и ограничения по памяти предыдущих Looped Transformers. Новые гибридные варианты сравнялись или превзошли Looped Transformers с полным вниманием по производительности языкового моделирования и точности в режиме zero-shot, сохраняя при этом постоянную скорость декодирования и расширяя предел нехватки памяти при длинных последовательностях.
———
Циклический трансформер с субквадратичным вниманием.
ЛТ2: Линейновременные Зацикленные Трансформеры
https://www.alphaxiv.org/overview/2605.20670
https://github.com/chili-lab/LT2
LT2 представляет рекуррентные трансформеры с линейным временем (Linear-Time Looped Transformers) путем интеграции субквадратичных механизмов внимания в рекуррентные архитектуры, значительно преодолевая квадратичные вычислительные узкие места и ограничения по памяти предыдущих Looped Transformers. Новые гибридные варианты сравнялись или превзошли Looped Transformers с полным вниманием по производительности языкового моделирования и точности в режиме zero-shot, сохраняя при этом постоянную скорость декодирования и расширяя предел нехватки памяти при длинных последовательностях.
———
Циклический трансформер с субквадратичным вниманием.
Bug or Feature²: Weight Drift, Activation Sparsity, and Spikes
Баг или фича²: Дрейф весов, разреженность активаций и спайки
https://www.alphaxiv.org/overview/2605.17659
https://github.com/On-Point-RND/BugOrFeature
Исследование изучает новые свойства в нейронных сетях, такие как отрицательный дрейф весов и разреженность активаций, раскрывая их механистическое происхождение из взаимодействий между функциями потерь и активации. Оно представляет такие методы, как Процентное Центрирование для контролируемой разреженности и Остановку Накопления для повышения пропускной способности обучения, демонстрируя устойчивость к разреженности до 91% в GPT-nano с минимальной потерей производительности и полным восстановлением пропускной способности.
Баг или фича²: Дрейф весов, разреженность активаций и спайки
https://www.alphaxiv.org/overview/2605.17659
https://github.com/On-Point-RND/BugOrFeature
Исследование изучает новые свойства в нейронных сетях, такие как отрицательный дрейф весов и разреженность активаций, раскрывая их механистическое происхождение из взаимодействий между функциями потерь и активации. Оно представляет такие методы, как Процентное Центрирование для контролируемой разреженности и Остановку Накопления для повышения пропускной способности обучения, демонстрируя устойчивость к разреженности до 91% в GPT-nano с минимальной потерей производительности и полным восстановлением пропускной способности.
👍1