🖥 NVIDIA показала TwoTower - способ заметно ускорить LLM без сильной потери качества.

Обычные autoregressive-модели генерируют токены по одному - качественно, но медленно. Diffusion-подходы могут генерировать целые блоки параллельно, но обычно теряют в качестве.

TwoTower разделяет эти две задачи.

Первая башня - замороженная context-модель, которая читает уже существующий текст и сохраняет возможности исходной autoregressive-модели.

Вторая - trainable denoiser, который параллельно восстанавливает следующий блок токенов и на каждом слое обращается к соответствующему слою context tower через cross-attention.

По данным авторов:

- до 2,42× выше throughput генерации
- сохраняется 98,7% качества исходной модели
- основа - 30B hybrid Mamba-Transformer MoE
- адаптация обучалась примерно на 2,1T токенов против 25T токенов исходного pretraining

При этом модель не обучали с нуля - TwoTower строится поверх уже существующей autoregressive-модели.

То есть можно сохранить сильную базовую модель, но заменить медленную генерацию по одному токену на параллельную генерацию блоками.

Код и веса открыты.

https://arxiv.org/pdf/2606.26493

✔️ IFM представил K2 Horizon - шесть открытых моделей от 0,9B до 375B

Линейка Institute of Foundation Models охватывает задачи от работы на устройствах до рассуждений, программирования и AI-агентов.

По заявлению IFM, для каждой модели публикуются веса, код обучения, конфигурации, данные или подробные рецепты их подготовки, промежуточные чекпоинты, логи и оценки качества. Материалы охватывают путь от предобучения до обучения рассуждениям и агентным задачам.

Основные детали:

* Около 20 трлн токенов на модель. В обучающей смеси - веб, код, математика, научные, многоязычные и синтетические данные.
* Около 17% корпуса содержат явные цепочки рассуждений. По данным IFM, при предобучении использовали примерно 10 трлн синтетических токенов.
* Более 100 млн уникальных задач подготовлены для постобучения. Открывается пайплайн SFT, объединения моделей, RL и специализированного обучения агентов.
* 36B-A4B активирует около 4 млрд параметров на токен. Архитектура Mixture-of-Value Attention переносит маршрутизацию экспертов в механизм внимания. По оценкам авторов, модель приближается к плотной 32B, обученной в сопоставимых условиях.

Для версий 0,9B, 3,7B и 7B IFM заявляет лучшие результаты в своих размерных категориях.

Также команда выпускает инфраструктуру обучения xLLM. Один из датасетов предобучения, TxT360-v2 объёмом 5,3 ТБ, опубликован на Hugging Face.

https://huggingface.co/datasets/IFM/TxT360-v2