Intrinsically Interpretable Attention via Sparse Post-Training
Внутренняя интерпретируемость внимания с помощью разреживания после обучения
https://www.alphaxiv.org/abs/2512.05865
———
Простой метод постобучения, который делает внимание трансформера разреженным без потери качества. Внимание трансформера можно сделать на порядки более разреженным.
Внутренняя интерпретируемость внимания с помощью разреживания после обучения
https://www.alphaxiv.org/abs/2512.05865
———
Простой метод постобучения, который делает внимание трансформера разреженным без потери качества. Внимание трансформера можно сделать на порядки более разреженным.
Subquadratic Attention with a Hierarchical Tree-Structured Indexer
Субквадратичное внимание с иерархическим индексатором древовидной структуры
https://www.alphaxiv.org/abs/2610.42112
———
Zero-Hop Attention (ZHA), метод, представленный в статье, суммирует группы ключей в дерево и позволяет каждому запросу искать по нему от общего к частному, вместо того чтобы оценивать каждый ключ.
Субквадратичное внимание с иерархическим индексатором древовидной структуры
https://www.alphaxiv.org/abs/2610.42112
———
Zero-Hop Attention (ZHA), метод, представленный в статье, суммирует группы ключей в дерево и позволяет каждому запросу искать по нему от общего к частному, вместо того чтобы оценивать каждый ключ.
Recursive Sparse Attention: Million-Token Length Extrapolation at Logarithmic Cost
Рекурсивное разреженное внимание: экстраполяция на длину в миллион токенов с логарифмическими затратами
https://www.alphaxiv.org/abs/2611.07232
———
* конкурирующая с Zero-Hop Attention (ZHA) работа, вышедшая всего спустя месяц.
Рекурсивное разреженное внимание: экстраполяция на длину в миллион токенов с логарифмическими затратами
https://www.alphaxiv.org/abs/2611.07232
———
Мы предлагаем RecSA (Recursive Sparse Attention), который строит дерево над KV-кешем: каждый узел суммирует свое поддерево одним ключом и одним значением, полученным усреднением.
* конкурирующая с Zero-Hop Attention (ZHA) работа, вышедшая всего спустя месяц.
Токенный Трансформер
Дожал свой эксперимент по отображению классического трансформера из запутанного признакового пространства в пространство межтокенных связей (граф). Конвертация работает в обе стороны.
В новой форме весь Трансформер (включая эмбеддинги, внимание, OV-контуры, MLP и нормализации) работает в едином пространстве смесей токенов. Скрытая размерность d (ширина трансформера) полностью исчезает из вычислительного графа прямого прохода.
Это дает невероятно прозрачную интерпретацию работы всей LLM.
Спойлер: итоговые логиты трансформера получаются простым взвешиванием прямых (нулевых) логитов на веса предыдущих токенов.
«Парам-парам пам-пам пам! 😗 ВСЁ!»
Дожал свой эксперимент по отображению классического трансформера из запутанного признакового пространства в пространство межтокенных связей (граф). Конвертация работает в обе стороны.
В новой форме весь Трансформер (включая эмбеддинги, внимание, OV-контуры, MLP и нормализации) работает в едином пространстве смесей токенов. Скрытая размерность d (ширина трансформера) полностью исчезает из вычислительного графа прямого прохода.
Это дает невероятно прозрачную интерпретацию работы всей LLM.
Спойлер: итоговые логиты трансформера получаются простым взвешиванием прямых (нулевых) логитов на веса предыдущих токенов.
Таким образом, вся архитектура языковой модели (от токенизатора до предсказания следующего слова) укладывается в строгую систему линейных операторов в пространстве токенов, где слои сети лишь перераспределяют веса влияния входных слов на итоговый выбор из словаря.
«Парам-парам пам-пам пам! 😗 ВСЁ!»
GatedV: Self-Gated Values for Transformer Language Models
GatedV: значения с самозатвором для языковых моделей на основе Transformer
https://www.alphaxiv.org/abs/2611.02145
———
В механизме внимания к проекциям значений перед взвешенным суммированием применяют SiLU – поэлементную функцию xσ(x), где значение определяет и собственное содержимое, и собственный затвор.
GatedV: значения с самозатвором для языковых моделей на основе Transformer
https://www.alphaxiv.org/abs/2611.02145
———
В механизме внимания к проекциям значений перед взвешенным суммированием применяют SiLU – поэлементную функцию xσ(x), где значение определяет и собственное содержимое, и собственный затвор.
Everything in its right place: attention is a radio head
Все на своих местах: внимание — это радиоголовка
https://www.alphaxiv.org/abs/2611.13146
https://github.com/MarkipTheMudkip/in-class-project-2
Все на своих местах: внимание — это радиоголовка
https://www.alphaxiv.org/abs/2611.13146
https://github.com/MarkipTheMudkip/in-class-project-2
Гипотезу Римана ИИ доказал, пора задавать ему главный вопрос жизни, вселенной и всего такого. Ответ, правда, уже известен. 🙂