Спекулятивный декодинг

Многие слышали, но немногие знают его секреты. Давайте разбираться!
В почти оригинальной статье авторы предлагают следующую идею:
Использовать огромные модели в каждом случае и тратить тонны ресурсов — это расточительно. Лучше оптимизировать процесс и дать большой (target) модели помощника маленькую черновую (draft) модель.

Как это работает под капотом?

1️⃣ Маленькая модель авторегрессионно генерирует сразу K токенов на основе префикса (в общем, как принято в обществе GPT)

2️⃣ Большая модель за один forward pass проверяет эти токены. Если она находит ошибку, то корректирует её, добавляя правильный («бонусный») токен.

3️⃣ Исправленный батч токенов снова отправляется в маленькую модель, и процесс повторяется.
Очень понятно описали у себя этот процесс ребята из vLLM в блоге.

Но есть важный нюанс!

Спекулятивный декодинг наиболее эффективен только на малых размерах батчей. На больших батчах (или при большом K) производительность упирается уже не в Memory Bound (как при маленьких батчах), а в Compute Bound.

В таком режиме преимущество спекулятивного декодинга практически исчезает. Подробнее об этом в обзорной статье, где разбирают проблемы инференса и их решения.

Но заканчивать посты на грустной ноте — плохая примета! Поэтому, продолжим:

На помощь приходит метод EAGLE
Серия статей: EAGLE-1 → EAGLE-2 → EAGLE-3.

Ключевая идея EAGLE — внедрение в основную модель адаптера, позволяющего генерировать сразу несколько токенов за раз:

👉 Основная модель качественно генерирует начальные токены без адаптера.

👉 Информативные эмбеддинги передаются адаптеру, который строит «дерево возможных токенов», аналогично beam-search.

👉 Полученное дерево затем проверяется одним forward pass основной модели.

Разница между EAGLE-1 и EAGLE-3, как вы, наверное, догадались, это больше, выше, сильнее. Например, в EAGLE-1 адаптер тренировали на почти 70к диалогах, а в EAGLE-3 уже 500к.

Но и тут, видимо, начинает близиться конец, ведь в последней статье авторы отмечают, что добавление новых данных и расширение адаптера уже не сильно растят метрики.

A growing trend in the LLM community is scaling up training data to improve model intelligence without increasing inference costs. However, we observe that scaling up data provides limited improvements for EAGLE.

Similarly, we aim to improve the acceptance rate and acceleration ratio of EAGLE by increasing its training data. Unfortunately, we observe that the gains from additional training data for EAGLE are limited.

Запасаемся попкорном и следим за развитием событий!

Привет! На связи Виталий Минаев, DS Team Lead в Коммерческом департаменте Авито. Я отвечаю за организацию Data Fest со стороны DS-функции.

✍️ Поделюсь эмоциями с прошлого Data Fest. Это первое мероприятие, которое мы организовывали вместе с командой и в принципе мой первый опыт организации мероприятий такого плана.

📅 У нас были насыщенные 2 месяца подготовки. Мы тогда нацелились сразу на 12 докладов от Авито, которые надо было хорошо подготовить. А ещё на офлайн-день, который надо было грамотно организовать, чтобы всем было максимально комфортно.

Во время подготовки мы несколько раз прогнали каждый доклад, в том числе на DS-митапах, где коллеги из разных DS-направлений задавали вопросы, челленджили докладчиков и помогали советами, как сделать презентации лучше.

А в организации нам помогла очень крутая команда наших devrel'ов, которые сделали всё просто на отлично.

🎯 Результаты Data Fest очень порадовали: на офлайн-день пришли примерно 250 человек и по результатам опроса оценили его на 9+ из 10.

Все остались довольны докладами, общением и атмосферой, которую наша команда смогла создать (да и погода не подкачала, был очень кайфовый теплый летний вечер — приятно вспомнить, смотря на фотки).

💪 Надеемся в этом году выступить ещё сильнее (в этот раз в планах почти 20 докладов от Авито) и воссоздать ту самую классную атмосферу офлайн-дня.

👋 Ждём наших гостей в субботу в московском офисе Авито! Трансляцию можно будет смотреть онлайн — поделимся ссылкой в этом канале.