Слева на картинке – из чего собран вектор-запрос, справа – из чего собран вектор-ключ.
Линии – те самые попарные связи между токенами q·k (см выше), проросшими через сеть внутрь запроса и ключа.
Сила связи (q·k) равна скалярному произведению пары исходных токенов, умноженному на коэффициенты степени их «просачивания» в исследуемую пару QK.
На картинке видно, что к этому (3-му) слою токен T2 как запрос сохранил свою суть (W=0.90), так же как и токен T1 (W=0.87) – как ключ. Компонента от T0 практически отсутствует и в запросе и в ключе.
В итоге вес внимания между запросом T2 к ключу T1 складывается из связи токена T2 к T1 и прямой связи T1.
В примере выше это соответствует:
То есть скор в этом примере складывается всего из двух взаимодействий двух токенов.
Линии – те самые попарные связи между токенами q·k (см выше), проросшими через сеть внутрь запроса и ключа.
Сила связи (q·k) равна скалярному произведению пары исходных токенов, умноженному на коэффициенты степени их «просачивания» в исследуемую пару QK.
На картинке видно, что к этому (3-му) слою токен T2 как запрос сохранил свою суть (W=0.90), так же как и токен T1 (W=0.87) – как ключ. Компонента от T0 практически отсутствует и в запросе и в ключе.
В итоге вес внимания между запросом T2 к ключу T1 складывается из связи токена T2 к T1 и прямой связи T1.
В примере выше это соответствует:
S(Q2, K1) = Q2·K1 = (q0 + q1 + q2) · (k0 + k1 + k2) ~= q1·k1 + q2·k1То есть скор в этом примере складывается всего из двух взаимодействий двух токенов.
Они хотели как лучше, выпустили патч для суперкритической дыры в PHP вместе с её обнародованием. Понеслось... Интернет накрыла волна взломов.
———
Роланд: Я что-то пропустил, коммандер? Мы только что спасли шлюз.
Лок: В этом ваша проблема. Вы не заглядываете и на пять минут вперед. Выстрелом из пушки вы уничтожили все наши оборонительные системы и АПУ. На месте машин я бы сейчас послал сюда всех имеющихся охотников. Вы спасли шлюз, капитан? Вы отдали его машинам на блюдечке.
———
Роланд: Я что-то пропустил, коммандер? Мы только что спасли шлюз.
Лок: В этом ваша проблема. Вы не заглядываете и на пять минут вперед. Выстрелом из пушки вы уничтожили все наши оборонительные системы и АПУ. На месте машин я бы сейчас послал сюда всех имеющихся охотников. Вы спасли шлюз, капитан? Вы отдали его машинам на блюдечке.
Kronecker Product Attention: Memory-Efficient KV Compression via Structured Factorization
Внимание с произведением Кронекера: эффективное с точки зрения памяти сжатие KV с помощью структурированной факторизации
https://www.alphaxiv.org/abs/2610.12657
———
В статье представлено внимание с произведением Кронекера (KPA), которое представляет активации ключей и значений в виде сумм произведений Кронекера компактных матричных множителей, зависящих от токена.
Внимание с произведением Кронекера: эффективное с точки зрения памяти сжатие KV с помощью структурированной факторизации
https://www.alphaxiv.org/abs/2610.12657
———
В статье представлено внимание с произведением Кронекера (KPA), которое представляет активации ключей и значений в виде сумм произведений Кронекера компактных матричных множителей, зависящих от токена.
A Fix for Softmax and Cross-Entropy
Исправление softmax и кросс-энтропии
https://www.alphaxiv.org/abs/2610.31642
Исправление softmax и кросс-энтропии
https://www.alphaxiv.org/abs/2610.31642
В стандартных реализациях softmax, log-softmax и кросс-энтропии есть две численные ошибки. Первая ошибка, схлопывание softmax, округляет градиент логита целевого класса до нуля, если этот логит намного больше остальных, из-за чего сумма градиентов перестает быть равной нулю. Вторая ошибка, компенсация softmax, возникает, когда логиты ученика близки к логитам учителя, и приводит к ненулевым градиентам даже при равенстве логитов ученика и учителя.
Intrinsically Interpretable Attention via Sparse Post-Training
Внутренняя интерпретируемость внимания с помощью разреживания после обучения
https://www.alphaxiv.org/abs/2512.05865
———
Простой метод постобучения, который делает внимание трансформера разреженным без потери качества. Внимание трансформера можно сделать на порядки более разреженным.
Внутренняя интерпретируемость внимания с помощью разреживания после обучения
https://www.alphaxiv.org/abs/2512.05865
———
Простой метод постобучения, который делает внимание трансформера разреженным без потери качества. Внимание трансформера можно сделать на порядки более разреженным.
Subquadratic Attention with a Hierarchical Tree-Structured Indexer
Субквадратичное внимание с иерархическим индексатором древовидной структуры
https://www.alphaxiv.org/abs/2610.42112
———
Zero-Hop Attention (ZHA), метод, представленный в статье, суммирует группы ключей в дерево и позволяет каждому запросу искать по нему от общего к частному, вместо того чтобы оценивать каждый ключ.
Субквадратичное внимание с иерархическим индексатором древовидной структуры
https://www.alphaxiv.org/abs/2610.42112
———
Zero-Hop Attention (ZHA), метод, представленный в статье, суммирует группы ключей в дерево и позволяет каждому запросу искать по нему от общего к частному, вместо того чтобы оценивать каждый ключ.
Recursive Sparse Attention: Million-Token Length Extrapolation at Logarithmic Cost
Рекурсивное разреженное внимание: экстраполяция на длину в миллион токенов с логарифмическими затратами
https://www.alphaxiv.org/abs/2611.07232
———
* конкурирующая с Zero-Hop Attention (ZHA) работа, вышедшая всего спустя месяц.
Рекурсивное разреженное внимание: экстраполяция на длину в миллион токенов с логарифмическими затратами
https://www.alphaxiv.org/abs/2611.07232
———
Мы предлагаем RecSA (Recursive Sparse Attention), который строит дерево над KV-кешем: каждый узел суммирует свое поддерево одним ключом и одним значением, полученным усреднением.
* конкурирующая с Zero-Hop Attention (ZHA) работа, вышедшая всего спустя месяц.
Токенный Трансформер
Дожал свой эксперимент по отображению классического трансформера из запутанного признакового пространства в пространство межтокенных связей (граф). Конвертация работает в обе стороны.
В новой форме весь Трансформер (включая эмбеддинги, внимание, OV-контуры, MLP и нормализации) работает в едином пространстве смесей токенов. Скрытая размерность d (ширина трансформера) полностью исчезает из вычислительного графа прямого прохода.
Это дает невероятно прозрачную интерпретацию работы всей LLM.
Спойлер: итоговые логиты трансформера получаются простым взвешиванием прямых (нулевых) логитов на веса предыдущих токенов.
«Парам-парам пам-пам пам! 😗 ВСЁ!»
Дожал свой эксперимент по отображению классического трансформера из запутанного признакового пространства в пространство межтокенных связей (граф). Конвертация работает в обе стороны.
В новой форме весь Трансформер (включая эмбеддинги, внимание, OV-контуры, MLP и нормализации) работает в едином пространстве смесей токенов. Скрытая размерность d (ширина трансформера) полностью исчезает из вычислительного графа прямого прохода.
Это дает невероятно прозрачную интерпретацию работы всей LLM.
Спойлер: итоговые логиты трансформера получаются простым взвешиванием прямых (нулевых) логитов на веса предыдущих токенов.
Таким образом, вся архитектура языковой модели (от токенизатора до предсказания следующего слова) укладывается в строгую систему линейных операторов в пространстве токенов, где слои сети лишь перераспределяют веса влияния входных слов на итоговый выбор из словаря.
«Парам-парам пам-пам пам! 😗 ВСЁ!»
GatedV: Self-Gated Values for Transformer Language Models
GatedV: значения с самозатвором для языковых моделей на основе Transformer
https://www.alphaxiv.org/abs/2611.02145
———
В механизме внимания к проекциям значений перед взвешенным суммированием применяют SiLU – поэлементную функцию xσ(x), где значение определяет и собственное содержимое, и собственный затвор.
GatedV: значения с самозатвором для языковых моделей на основе Transformer
https://www.alphaxiv.org/abs/2611.02145
———
В механизме внимания к проекциям значений перед взвешенным суммированием применяют SiLU – поэлементную функцию xσ(x), где значение определяет и собственное содержимое, и собственный затвор.
Everything in its right place: attention is a radio head
Все на своих местах: внимание — это радиоголовка
https://www.alphaxiv.org/abs/2611.13146
https://github.com/MarkipTheMudkip/in-class-project-2
Все на своих местах: внимание — это радиоголовка
https://www.alphaxiv.org/abs/2611.13146
https://github.com/MarkipTheMudkip/in-class-project-2
Гипотезу Римана ИИ доказал, пора задавать ему главный вопрос жизни, вселенной и всего такого. Ответ, правда, уже известен. 🙂