KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache
[Статья] [Код]

Для того, чтобы работать с большим контекстом в условии ограниченных ресурсов необходимо как-нибудь да сжимать KV-кэши, и квантизация одно их первых, что приходит в голову.

Группа исследователей (с забавным примечанием The order of authors is determined by flipping a coin 🪙) из разных мест на послендем ICML представила статью со звучным названием KIVI (терминал оплаты, фрукт и птица пишутся по-другому).

Метод

Предыдущие методы квантизации кэшей обычно квантизовали кэши и ключи и потокенно, так как статистики (scale и zero) при таком подходе можно пересчитывать на лету. Для 4-битной квантизации такой подход работает хорошо, но при 2-х битных кэшах модель становится полностью негодной.

Дабы эффективно квантизовать кэши, авторы анализируют распределение активаций в KV-кэшах и обнаруживают, что в активациях k-проекций имеют место ярко выраженные выбросы, в то время как в v паттерн хаотический. Перебирая варианты с потокенной и поканальной квантизацией, исследователи приходят к выводу, что ключи лучше всего квантизовать поканально, а values - потокенно.

При поканальной квантизации придется пересчитывать значения всех прошлых кэшей при пересчете диапазона. Потому предлагается хранить неквантизуемый буфер из самых свежим токенов (размера 128) и, как только буфер наполнится, квантизовать данную группу, и начать следующий. Для длинных контекстов накладные расходы от такого буфера небольшие.

Эксперименты

Метод валидируют на бенчах из LM-Eval, LongBench (наборе задач на длинный контекст) и Needle-in-a-Haystack (где нужно достать вытащить нужный факт из длинного промпта) на моделях Llama-2, Mistral.

Наивная квантизация в 2 бита сильно страдает по качеству, а предложенный подход работает с совсем небольшой просадкой. Есть, правда, маленький нюанс, что 2-битная квантизация использует размер группы 32 с fp zero-point, что означает на практике 3 бита 😅. Needle-in-a-Haystack решается почти идеально.

Поддержание неквантизованного буфера свежим токенов важно для лучше качества (свежие токены влияют сильнее, чем далекие, в большинстве задач).

При работе с большими контекстами доминирующим фактором, определяющим скорость работы, при авторегрессивной генерации становится подгрузка кэшей (уже не весов модели). За счет их сжатия удается ускорить генерацию до 3.5 раз.

Вывод

Сжатие кэшей - богоугодное дело. А дабы эффективно квантизовать кэши полезно смотреть на распределение того - что сжимаешь.

#llm #code

Mistral обновили Codestral

Новая версия 25.01 значительно умнее и в два раза быстрее, из-за обновлённого токенизатора и улучшенной архитектуры. Окно контекста расширили до 256к токенов. Заявляют первое место на Copilot Arena, но результаты пока что не опубликовали.

С бенчами опять шалят - Qwen 2.5 Coder в сравнении отсутствует, семейство Llama тут представляет не Llama 3.3, а Codellama 70B полуторагодичной давности.

С моделями DeepSeek, на этот раз, всё же сравнивают, но только с моделями меньше 100B параметров, из-за чего сильные MoE модели из сравнения выпадают. А ведь Codestral стоит на уровне скидочных цен DeepSeek V3 - $0.09/$0.30 за вход/выход, не на уровне моделек поменьше. Но у Mistral нету context caching, что сильно повышает цену при реальном использовании модели в кодинге (в Copilot сценариях часто входных токенов 95%+). Ждём независимых бенчей чтобы понять реально соотношение цены и качества.

Весов в открытый доступ не дают, даже по кастрированной лицензии. Попробовать бесплатно можно через плагин continue.dev, он доступен для VS Code и JetBrains.

@ai_newz

#llm #cv

#ml #competition

Закончилось соревнование Jane Street Real-Time Market Data Forecasting где надо было предсказывать не пойми что на не пойми каких фичах 🤷 Однако, какой-то гений из MIT отреверсинжинирил, что это не совсем не пойми чо, а простое скользящее среднее 20 подряд не пойми чего. Техника, которой он это сделал, интересная, мне понравилось. Никак мне не помогло, хотя я пару дней очень пытался из этого что-то выжать.

В соревновании был специфический для временных рядов способ принимать ответы - признаки, соответствующие последовательным моментам времени давались друг за другом и тебе не давали следующую порцию, пока не дал ответ к предыдущей. Временное ограничение - 1 минута. Но суммарный лимит 9ч, что приводит к тому, что надо давать ответы в среднем за 0.2сек. Раз в 968 шагов, что соответствует одному торговому дню, давали ответы за весь предыдущий день. Что давало интересные возможности, о которых ниже.

В последний день злодеи выкинули меня из золота паблика, хотя я тоже сделал свой лучший сабмит, исправив ошибки, как водится. Ну ничего, прайват будет настигать нас инкрементальными обновлениями аж до июля.

Я не придумал ни одной работающей идеи, но вот что мне помогло финишировать в топ-20:
1) Online learning. Нейронки отлично учатся на новых данных, самый лучший сетап - просто скормить им день как батч с низким lr. Деревья неожиданно тоже учатся и в итоговый ансамбль вошел lightgbm, для которого использовал метод refit для обновления. В среднем онлайн обучение давало маленький, но довольно надежный бонус к скору. Учится быстро (около 3 секунд суммарно на все мои модели раз за день)
2) Online ансамбль. Ну а почему бы и нет, раз уж мы модели можем дообучать, то и однослойный mlp с весами моделей в ансамбле тоже можем. Не смотря на метрику соревнования (weighted R2 ~ MSE) лучшим лоссом для ансамбля у меня был MAE.
3) TabM! Открытие ушедшего года, супер-модель, которая без всяких хитрых эмбеддингов, хотя она умеет и это, бьет на всех моих около-табличных бенчмарках все остальное, а кое-где и бусты. Без всяких наворотов, соло-модель на дефолтных фичах с онлайн обучением (и даже без) обгоняло лучший публичный ансамбль. Удивительно! Единственное что я сделал - странный лосс и отказ от использования категориальных фичей (с низкой кардинальностью). Использовал их как числа, отнормализовав в [0,1].
4) SWA спасение от стохастики в выборе гиперпараметра - сколько эпох учить. Вытягивает максимум за заданное число эпох
5) Валидация. Последние 120 дней, размером как паблик. Ну такое. Чем ближе к паблику, тем лучше бьются числа, но корреляция слабая. Однако! Лучшие гиперпараметры на валидации как-будто воспроизводят и лучший паблик. Использовал количество эпох для обучения как гиперпараметр и учил на полном датасете (включая бывшую валидацию)
6) Трансформер. Послабее чем TabM, но забустил скор в ансамбле. Нам дан не один ряд, а много рядов, соответствующих каким-то торговым тикерам. Крипта, фьючерсы или стоки - не так важно. Используем кросс-аттеншн чтобы спроецировать фичи с учетом других тикеров и на получившихся фичах гоняем RNN по времени. Трансформер по времени очень жруч по ресурсам, я даже не смог его довести до сабмита, а RNN позволяет сохранять стейт и применяться только к текущей порции данных. Возможно, тут я и проиграл и трансформер по времени был ключем для победы.
7) Хитрый лосс. MSE почему-то не коррелировал особо с R2. а вот MSE / var(y) коррелировал. Почти все модели обучены с ним.
8 ) Чего-то по мелочи, одна из моделей предсказывает вместо таргета целый ряд, на который сообразно реверс-инжинирингу накладываем лоссы из известных SMA. Не зашло, но чуть-чуть забустило ансамбль.

Смотрю на возможный шейкап позитивно, модель 6 обладает некоей сезонностью и паблик для нее плохое время, а потом (приват) должно быть хорошим 😂 Надеюсь, онлайн ансамбль вытянет. Паблик был намного стабильнее моей валидации, так что большого шейкапа не жду, буду удивлен, если он случится.

#ml #dl

📈 Привет, друзья!

Сейчас работаю над обзором по explainable AI для мультимодальных моделей (задачка со звездочкой, не скажу, что закончу скоро, но стараюсь!)

Наткнулась на любопытную статью: Mapping the Mind of an Instruction-based Image Editing using SMILE.

Суть: товарищи представляют интерпретируемость на основе локальной модели — метод LIME на максималках — для построения тепловой карты влияния текстовых элементов на созданное изображение.

Что делают:
* Разбивают текстовую команду на ключевые слова.
* Генерируют изображения, изменяя команды, чтобы выявить влияние каждого слова.
* Создают визуальные тепловые карты (heatmaps), отображающие вес каждого слова в процессе редактирования изображения.

Фишка SMILE: вместо простого расстояния (например, косинусного, как у классического LIME) используют расстояние Васерштейна (и дотягивают к нему модель, обученную на извлечение признаков).

Что примечательно: LIME, в контексте XAI — пионер, он был предложен 2016 году, в статье ""Why Should I Trust You?" Explaining the Predictions of Any Classifier". Уникальность LIME — в качестве результата не коэффициенты влияния или графики, а суррогатная модель, объясняющая, как работает чёрный ящик.

С того времени LIME активно адаптировали: есть версии для временных рядов, графов, звука — карточки из статьи прикрепляю к посту. И вот мы дошли до генерации. Ну, красота.

На что хочу обратить внимание? Классические методы вроде LIME всё ещё мощный инструмент. Их потенциал огромный, особенно если адаптировать под задачи! Прямо рекомендую добавить их в свой XAI-инструментарий.

Меня это прям восхищает.

Не запланировано овладела большим количеством свободного времени и сейчас делаю ещё два материала. Первый — открытый (бесплатный) курс на степике по интерпретируемым моделям. Большой курс у меня уже есть (и он тоже растет), решила сделать поменьше)

Второй — обзорный курс на механистическую интерпретируемость. Тоже будет открытым.

Как только доделаю, будут ссылки! 😌

До встречи!
Ваш, Дата-автор!

RStaR - с лучших решений по нитке Small-LM на колпак рассуждения соберем.

Всех с началом нового рабочего года.

Daily top papers на huggingface за 8.01.2025 статья про то как бустануть рассуждения моделек на уровне бОльших конкурентов.

На самом деле, собрали все самое лучшее, что сработало воедино и нормально затюнили:

1. STaR концепт для просеивания/фильтрации лучших рассуждений. Упоминается Дядей тут.

2. Используется augmented-ToT. Похожий концепт мне рассказывал один kaggle GM в сореве по решению математических олимпиад. Суть в том,чтобы делать генерации рассуждений/решений задач в путон коде. Далее запускать такое и нерабочие имплементации забанить, попросив дебагнуть LMку. Топ-1 решение соревы тут.

3. Process preference model (PPM) в пику dpo и прочим rlhf работает на оценке предпочтения веток полученных с Q-values поиска по дереву из другой топовой статьи по ToT для решения мат.задач с MCTS. Пример расчета и формулы в этой статье.
На этих знаниях лучше или хуже развилка рассуждений учим pair ranking model. Забавно,что кому-то в 2023 году Дядя предлагал в nli формате делать контрастив поиск веток рассуждений.

4. Это self-evolution подходы для обучения. О похожих концептах Дядя писал тут и тут. Подобно spin или rest подходам хорошие стратегии возвращаются для самоулучшения в сет обучения, как хорошие примеры.

В итоге, авторы получили суп из рабочих хаков в той или иной задаче вокруг рассуждений и решений math problem. Получили жОский ап и влетели в топ по бенчам, догнав топовых конкурентов с большим размером моделей.

А теперь взгляните. У нас есть StAR, есть Q-values с MCTS на основе self-rewarding в состоянии ветки S, есть самоэволюция и все это не тот ли самый магический и легендарный Q-star? 🤔🤔🤔

#cv #gan #code