Хотите, чтобы путешествие в горы с друзьями стало частью вашего лета?
Попробуйте себя в реальных продуктовых задачах на Чемпионате Альфа-Будущее и отправляйтесь на защиту финального решения в Архыз!

А еще вас ждут:
— Пять дней среди гор и финал в летнем лагере с оплатой поездки и проживания от организатора.
— Возможность попасть на стажировку в Альфа-Банк.
— Лекции, спорт, нетворкинг и насыщенная программа.
— Приглашение в закрытое сообщество Альфа-Будущее Клуб.

Собирайте команду или регистрируйтесь самостоятельно и мы подберем вам тиммейтов — успевайте до 12 июля включительно: https://u.to/hNOgIg

NVIDIA, возможно, решила главный компромисс современных LLM

При работе с любой LLM приходится выбирать между скоростью и качеством. Авторегрессионные модели вроде GPT обеспечивают высокое качество, но работают медленно, потому что генерируют по одному токену за раз.

Диффузионные модели действуют наоборот. Они генерируют целые блоки параллельно и поэтому работают быстрее, но до сих пор за эту скорость приходилось расплачиваться качеством.

Именно эту проблему попытались решить исследователи NVIDIA.

Они взяли 30B-модель и разделили её на две части, чтобы генерировать токены параллельно, а не по одному.
Так появилась Nemotron-Labs-TwoTower — диффузионная языковая модель от NVIDIA Research, адаптированная на базе Nemotron-3-Nano-30B-A3B.

Но прежде чем разобраться, как работает TwoTower, стоит понять, почему диффузионные LLM вообще уступают авторегрессионным.

Диффузионная LLM начинает с блока замаскированных токенов и раскрывает их за несколько проходов. На каждом проходе она считывает весь уже сгенерированный текст и одновременно предсказывает замаскированные токены в текущем блоке.
Получается, что одна и та же сеть одновременно выполняет две совершенно разные задачи. Она должна понимать уже существующий контекст и при этом предсказывать токены, которых ещё нет.

Один набор весов оказывается направлен сразу на две разные задачи, поэтому сеть не может полноценно специализироваться ни на одной из них.

TwoTower решает эту проблему, не заставляя одну сеть выполнять обе задачи. Вместо этого предварительно обученную авторегрессионную модель разделяют на две башни.

1. Context Tower — замороженная часть модели, которая считывает весь уже сгенерированный текст точно так же, как это делала исходная модель. Её больше не обучают, поэтому интеллектуальные способности модели полностью сохраняются.
2. Denoiser Tower — обучаемая часть модели, которая параллельно генерирует каждый новый блок токенов. Чтобы не терять контекст, она постоянно использует cross-attention к Context Tower.

Самое интересное — как взаимодействуют эти две башни. Они соединены послойно: пятый слой Denoiser Tower взаимодействует с пятым слоем Context Tower, шестой — с шестым и так далее.
Благодаря этому Denoiser получает доступ ко всему многоуровневому представлению контекста базовой модели, а не только к её финальному скрытому представлению.

Результаты:
> В 2,42 раза выше пропускная способность генерации
> Сохраняется 98,7% качества исходной модели
> Архитектура построена на базе гибридной 30B-модели Mamba–Transformer MoE
> Для обучения использовано всего около 2,1 трлн токенов — лишь часть от 25 трлн токенов, использованных при предобучении исходной модели

Последний показатель здесь особенно важен. Ни один из компонентов не обучался с нуля.
Это адаптация, которую можно добавить к уже существующей авторегрессионной модели. Она относительно дёшево превращает медленное декодирование по одному токену в быструю параллельную генерацию блоками.

Поэтому для любых систем, чувствительных к задержкам, это подход, который определённо стоит изучить. Больше не обязательно выбирать между моделью, которой вы доверяете, и необходимой скоростью.

Веса, код и методика обучения опубликованы в открытом доступе.

Статья: https://arxiv.org/pdf/2606.26493

Когда слышишь «биоинформатика», кажется, что это что-то только для биологов. Но на самом деле это одно из самых перспективных направлений для программистов.

Генетика, медицина, разработка лекарств, агропромышленность — во всех этих сферах сейчас нужны специалисты, которые умеют работать с данными, писать код и применять ИИ. Именно поэтому спрос на биоинформатиков продолжает расти.

Если давно хотелось попробовать себя в этой сфере, посмотрите магистратуру «Биоинформатика и инженерия биоданных» в ИТ-университете НЕЙМАРК.

Здесь не готовят биологов. Здесь учат применять программирование, машинное обучение и анализ данных для решения задач в биотехе.

Из интересного:
🧬 современные технологии на базе AI и реальные проекты — от анализа биоданных до собственных технологических решений;
🧬 обучение вместе с индустриальными партнёрами из биотеха и фармы;
🧬 возможность конкурсной поддержки покрывающий 100% стоимости обучения или проживания;
🧬 два диплома благодаря совместной программе с ННГУ им. Н.И. Лобачевского.

Создавай ИИ системы для биотеха.
Приёмная кампания уже открыта. Посмотреть программу и подать заявку можно по ссылке.

Целый час по-настоящему ценного материала: на этот раз Шен Шон Чен рассказывает о том, как с нуля создавать самоулучшающихся AI-агентов.

Таймкоды:
00:00 — Как рождается агент, способный развивать себя самостоятельно.
03:01 — soul.md: файл, который управляет всем.
30:16 — Умный RAG: извлекаются только 20 релевантных сообщений вместо 2 000.
31:48 — Цикл, который сам понимает, когда нужно остановиться.
35:14 — Обнаружение ошибки и исправление промпта прямо в процессе работы.
50:22 — Как Claude автоматически сжимает и оптимизирует память.