Sparse Hash AI
184 subscribers
191 photos
280 videos
4 files
645 links
AI обогатительная разработка ML месторождений. Осторожно, в канале ведутся подрывные работы!
Download Telegram
Subquadratic Attention with a Hierarchical Tree-Structured Indexer
Субквадратичное внимание с иерархическим индексатором древовидной структуры
https://www.alphaxiv.org/abs/2610.42112

———

Zero-Hop Attention (ZHA), метод, представленный в статье, суммирует группы ключей в дерево и позволяет каждому запросу искать по нему от общего к частному, вместо того чтобы оценивать каждый ключ.
Recursive Sparse Attention: Million-Token Length Extrapolation at Logarithmic Cost
Рекурсивное разреженное внимание: экстраполяция на длину в миллион токенов с логарифмическими затратами
https://www.alphaxiv.org/abs/2611.07232

———

Мы предлагаем RecSA (Recursive Sparse Attention), который строит дерево над KV-кешем: каждый узел суммирует свое поддерево одним ключом и одним значением, полученным усреднением.

* конкурирующая с Zero-Hop Attention (ZHA) работа, вышедшая всего спустя месяц.
Тактика вытеснения боком

https://d.fixupx.com/junior_rojas_d/status/2113062371161981405
Токенный Трансформер

Дожал свой эксперимент по отображению классического трансформера из запутанного признакового пространства в пространство межтокенных связей (граф). Конвертация работает в обе стороны.

В новой форме весь Трансформер (включая эмбеддинги, внимание, OV-контуры, MLP и нормализации) работает в едином пространстве смесей токенов. Скрытая размерность d (ширина трансформера) полностью исчезает из вычислительного графа прямого прохода.

Это дает невероятно прозрачную интерпретацию работы всей LLM.

Спойлер: итоговые логиты трансформера получаются простым взвешиванием прямых (нулевых) логитов на веса предыдущих токенов.

Таким образом, вся архитектура языковой модели (от токенизатора до предсказания следующего слова) укладывается в строгую систему линейных операторов в пространстве токенов, где слои сети лишь перераспределяют веса влияния входных слов на итоговый выбор из словаря.

«Парам-парам пам-пам пам! 😗 ВСЁ!»
GatedV: Self-Gated Values for Transformer Language Models
GatedV: значения с самозатвором для языковых моделей на основе Transformer
https://www.alphaxiv.org/abs/2611.02145

———

В механизме внимания к проекциям значений перед взвешенным суммированием применяют SiLU – поэлементную функцию xσ(x), где значение определяет и собственное содержимое, и собственный затвор.
Everything in its right place: attention is a radio head
Все на своих местах: внимание — это радиоголовка
https://www.alphaxiv.org/abs/2611.13146
https://github.com/MarkipTheMudkip/in-class-project-2
Гипотезу Римана ИИ доказал, пора задавать ему главный вопрос жизни, вселенной и всего такого. Ответ, правда, уже известен. 🙂