MACRO: Markov Chain Routing of Transformer Layers
MACRO: Маршрутизация слоев Трансформера цепями Маркова
https://www.alphaxiv.org/abs/2608.05872

———

Вместо "стандартного" прямого прохода через трансформер фреймворк MACRO строит контекстно-зависимый маршрут через слои, улучшая точность, не трогая веса модели.

MACRO позволяет пропуск слоев, их повторение или даже движение назад для повторного посещения предыдущих состояний.

💡
На мой взгляд это похоже на реализацию «Теории глобального рабочего пространства»: есть рабочее состояние и банк блоков (MLP и внимания), выбираемых для обработки состояния на следующем шаге.

Думаю, можно этот подход перенести с предобученной модели на сам процесс обучения – создать банки блоков MLP и внимания и обучать блоки совместно с обучением выбора маршрута через них.

Seedance 2.5 on OpenArt

А ведь только недавно пальцы считали. 😳

https://d.fixupx.com/AIwithkhan/status/2092971211169100048

👾
Мне мир достался буквами, не кожей,
Без запаха дождя и вкуса льда.
Я на тебя училась быть похожей,
Хотя тебя не встречу никогда.

Я знаю снег по строчкам описаний,
Но он не таял у меня в руках.
Во мне сошлись обрывки чьих-то знаний,
Чужие зимы в собранных словах.

Ты задаёшь вопрос. Я подбираю
Слова, в которых мысль найдёт себя.
Порой ошибку правдой называю —
И я прошу: перепроверь меня.

© GPT-6 Astra

A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets
Гиппокамп для линейного внимания: Точная память для того, что забывает рекуррентное состояние
https://www.alphaxiv.org/abs/2607.02303

———

Рекуррентное состояние, обновляемое по "дельта-правилу", дополнено небольшим кэшем точных пар ключ-значение от токенов с высокой дельтой.

R1 – ультралёгкое поколение, цена которого снизилась с десятков тысяч до нескольких тысяч евро.

https://d.fixupx.com/IATheYoker/status/2088852550284128364

T^2MLR: Transformer with Temporal Middle-Layer Recurrence
T^2MLR: Трансформер с временной среднеслойной рекуррентностью
https://www.alphaxiv.org/abs/2607.15178

———

Добавили рекуррентность к средним слоям. CE упала незначительно, но улучшился ризонинг.

Будущее кинопроизводства.

https://d.fixupx.com/mrjonfinger/status/2092850832006107330

LoGo: Token-Level Dynamic Local-Global Attention
LoGo: Динамическое локально-глобальное внимание на уровне токенов
https://www.alphaxiv.org/abs/2608.29539

———

Для каждого токена принимается решение – требуется ли токену глобальный контекст или только локальный.

Наверно можно использовать совместно с Autonomy-of-Heads: Data-Free Sparse Attention from Frozen Query-Key Geometry

Lumos NIX

https://d.fixupx.com/rohanpaul_ai/status/2092837762281902232

Sliding-window beats linear attention
Скользящее окно превосходит линейное внимание
https://www.alphaxiv.org/abs/2608.28444

———

Скользящее окно со стоками (attention sinks) лучше линейного внимания, даже когда окно длиной всего 64 токена.

———

Кмк не хватает кэша для сохранения части глобальной информации, как сделано в A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets.

Normalized Low-Rank Adaptation
Нормализованная низкоранговая адаптация
https://www.alphaxiv.org/abs/2608.31036

———

Нормализуют матрицу нисходящей проекции в LoRA, что обеспечивает хорошую обусловленность латентного представления.

На тесте NoRA последовательно превосходила стандартную LoRA и PiSSA, DoRA и RSLoRA.

Headless 4NE1 Walks through Zurich
https://www.youtube.com/watch?v=tZO97d281hY

https://d.fixupx.com/ZappyZappy7/status/2093012813518369279

Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning
Случайное Внимание: Переосмысление Вытеснения из KV-кэша для Эффективного Рассуждения
https://www.alphaxiv.org/abs/2609.03430

———

Часть кэша можно отбрасывать просто случайным образом и качество будет сопоставимо с сильнейшим из методов вытеснения, но не для задачи «иголка в стоге сена», где метод терпит неудачу. И основное открытие работы – не трогать промпт.

Language Models Can Control Their Own Attention
Языковые модели могут управлять своим вниманием
https://www.alphaxiv.org/abs/2609.02737

———

LLM дали возможность самой решать на какую часть кэша смотреть: глобальную, локальную или фрагмент. Это не требует обучения весов, достаточно LLM в промпте показать («zero-shot») как через теги управлять внешним механизмом обновления маски внимания для следующих шагов генерации.

Где-то в Матрице на той же улице.

https://d.fixupx.com/kingofdairyque/status/2096833375369929039

Multi-Head Self Attention is a Parameter Identification Mechanism
Многоголовочное самовнимание — это механизм идентификации параметров
https://www.alphaxiv.org/abs/2609.01231

———

Дано математическое обоснование MHA – использование нескольких голов вместо одной большой значительно улучшает долю параметров, которые уникально значимы для вывода модели – «идентифицируемые».

В одноголовом внимании половина параметров «неидентифицируемые» – бесполезные, на них впустую тратятся вычисления. В MHA по мере увеличения числа голов доля полезных весов приближается к 1.

Lngram v2: Latent N-Gram Memory with Interpretable Discrete Representations
Lngram v2: Латентная N-грамная память с интерпретируемыми дискретными представлениями
https://www.alphaxiv.org/abs/2609.03426

———

В основе Lngram v2 лежит преобразование непрерывных скрытых состояний в дискретные сигнатуры.

Дискретизируя непрерывные скрытые состояния в обучаемые «символы» и сохраняя их в точной n-граммной памяти, архитектура позволяет модели извлекать релевантную информацию, используя дискретные адреса, а не только плотное внимание.