Ты на собеседовании на ML Engineer в MistralAI.

Интервьюер спрашивает:

«Нам нужна языковая модель, которая хорошо работает в коде, математике и креативном письме. Как добиться мультидоменной производительности?»

Ты: «Я увеличу количество голов внимания».

Собеседование окончено.

Вот что ты упустил:

Головы внимания захватывают паттерны, а не доменную экспертизу.

Больше голов = более богатые представления за один проход.
Больше экспертов = выделенные подсети под разные типы знаний.

Правильный ответ: Mixture of Experts (MoE).

Разберёмся, чем MoE отличается от стандартных трансформеров:

Трансформер и MoE различаются в блоке декодера:

- В трансформере используется полносвязная сеть прямого распространения.
- В MoE используются эксперты — это тоже полносвязные сети прямого распространения, но меньшего размера по сравнению с теми, что в трансформере.

Во время инференса выбирается подмножество экспертов. Это ускоряет инференс в MoE.

Так как сеть содержит несколько слоёв декодера:

- текст проходит через разных экспертов на разных слоях
- выбранные эксперты также различаются для разных токенов

Но как модель решает, какие эксперты подходят лучше?

Это делает маршрутизатор. Разберём его далее.

Задача 1) Обрати внимание на этот паттерн в начале обучения:

- модель выбирает «Эксперт 2»
- эксперт немного улучшается
- его могут выбрать снова
- эксперт обучается дальше
- его снова выбирают
- он продолжает обучаться
- и так далее

Многие эксперты остаются недообученными.

Решаем это в два шага:

- Добавляем шум к выходу полносвязного слоя маршрутизатора, чтобы другие эксперты могли получать более высокие логиты.
- Устанавливаем все логиты, кроме top-K, в −бесконечность. После softmax их значения становятся нулевыми.

Так другие эксперты тоже получают возможность обучаться.

Задача 2) Некоторые эксперты могут получать больше токенов, чем другие — это приводит к тому, что часть экспертов остаётся недообученной.

Это предотвращается ограничением количества токенов, которые может обработать один эксперт.

Если эксперт достигает лимита, входной токен перенаправляется к следующему наиболее подходящему эксперту.

MoE содержит больше параметров для загрузки. Однако активируется только их часть, так как выбирается ограниченное количество экспертов.

Это приводит к более быстрому инференсу. Mixtral 8x7B от MistralAI — известная языковая модель, построенная на MoE.

Вот визуал, который снова сравнивает трансформеры и MoE (ласт гифка)

👉 @DataSciencegx

Десять лет мы увеличивали ширину и глубину моделей — но почти не меняли то, как слои *взаимодействуют* между собой.

Со времён ResNet с x + F(x) в 2015 году глубинная остаточная связь остаётся единственным каналом межслойной коммуникации.

На бумаге модели выглядят глубокими. Но многие слои «учатся молчать»: по мере накопления информации сигнал размывается и теряется.

Узкое место — не вычисления *внутри* слоёв, а коммуникация *между* ними.

Все предыдущие подходы — DenseNet, DenseFormer, Hyper-Connections, MUDDFormer — отвечают на один и тот же вопрос: «как лучше *смешивать* выходы слоёв?»

Лучшие коэффициенты. Больше каналов. Адаптивные веса.

Но всё это — накопление. И это категориальная ошибка.

Межслойная коммуникация должна быть извлечением, а не накоплением.

Запрос = «что мне нужно».
Ключ = «что у меня есть».
Обе стороны участвуют.

Слой 152 не должен «напрягаться», чтобы услышать слой 3 в общем хоре. Он должен просто обратиться к нему: «что ты сказал?»

Проблема: наивная реализация внимания по глубине занимала 44 924 мс на прямой и обратный проход. Слишком медленно.

Представлен Flash Depth Attention (FDA) — аппаратно-эффективное ядро, ускоряющее внимание по глубине более чем в 40 000 раз, делая полноценное извлечение по глубине пригодным для масштабного обучения.

Классический пайплайн трансформера: остаточные связи → последовательное внимание → остаточные связи → полносвязный слой.

Пайплайн с Flash Depth Attention (FDA): внимание по глубине → последовательное внимание → внимание по глубине → полносвязный слой.

Дальше — Mixture-of-Depths Attention (MoDA): объединение извлечения по глубине и по последовательности в один softmax.

Каждая голова одновременно обращается к KV текущего слоя (по последовательности) и к KV всех предыдущих слоёв (по глубине).

Одна операция, два измерения извлечения.

Результаты: модель активно использует межслойное извлечение, эффект «attention sink» исчезает, MoDA улучшает базовую модель OLMo2 по всем метрикам.

Первая половина развития архитектур была про масштабирование компонентов.
Вторая — про масштабирование *коммуникации*.

Добро пожаловать во вторую половину 👋

Статья: https://arxiv.org/abs/2603.15619
Блог (рекомендуется): https://lh-zhu.github.io/The-Second-Half-of-Model-Architecture/
Код: https://github.com/hustvl/MoDA

👉 @DataSciencegx