Методы квантования LLM, которые я бы изучил, если бы мне нужно было запустить модель 70B на одной GPU:

Модель 70B в FP16 требует около 140 ГБ только под веса. В 4-битном формате этот объём уменьшается до 35 ГБ, что уже помещается на одну видеокарту.

Но простое округление значений не работает для больших моделей. Примерно 0,1% скрытых размерностей содержат значения, которые могут быть до 20 раз больше, чем остальные значения в тензоре, и они ломают квантовочную сетку для всех остальных параметров.

Каждый из этих 5 методов решает проблему выбросов на разном этапе:

1. RTN (Round-To-Nearest)
Игнорирует проблему.
Каждый вес просто округляется до ближайшего уровня квантования без использования калибровочных данных.
Самый дешёвый вариант, но самый слабый при низкой разрядности.

2. GPTQ
Исправляет последствия округления.
Квантует слой за слоем, столбец за столбцом, и после каждого шага корректирует оставшиеся веса, чтобы компенсировать возникшую ошибку, прежде чем перейти дальше.

3. AWQ (Activation-aware Weight Quantization)
Защищает важные веса до округления.
Находит примерно 1% каналов весов, которые оказывают наибольшее влияние, и масштабирует их так, чтобы они лучше переживали квантование.
При этом итоговая модель всё равно полностью работает в обычном INT4.

4. LLM.int8()
Изолирует выбросы во время инференса.
Размерности с выбросами выполняются в FP16, а остальные 99,9% параметров работают в INT8. Затем результаты объединяются.

5. QAT (Quantization-Aware Training)
Решает проблему ещё во время обучения.
Модель дообучается с учётом квантования: округление встроено в каждый forward pass, поэтому модель заранее адаптируется к возникающим потерям до фактического применения квантования.

Все пять методов создают один и тот же результат — модель, работающую с меньшей точностью представления по сравнению с исходной обученной версией.

Разница только в том, на каком этапе решается проблема выбросов.
Визуализация ниже хорошо суммирует эти подходы.

Есть отличная статья с подробным исследованием методов квантования LLM:

https://arxiv.org/abs/2411.02530

Эндрю Ын: «Возможно, я единственный человек в мире, у которого и Сэм, и Дарио работали под моим руководством».

«Есть одна вещь, которую я точно не смог бы предсказать несколько лет назад: в итоге Китай стал гораздо более открытым, чем США, если говорить о способах развития и внедрения инноваций в ИИ.

Я очень хорошо знаю американскую AI-экосистему, потому что основал Google Brain и участвовал в её развитии. Возможно, я единственный человек в мире, у которого и Сэм, и Дарио работали в подчинении. Поэтому я хорошо знаком с людьми, которые стоят за этими командами.

Когда ChatGPT вышел в конце 2022 года, США сильно опережали Китай. Но с тех пор Китай грамотно использовал свои возможности, сделав ставку на open source и экосистему открытых весов моделей. Китайские команды проводят исследования и бесплатно публикуют научные работы в интернете, где их может прочитать любой желающий.

Кстати, многие ведущие американские команды внимательно изучают большое количество китайских исследований, перенимая идеи и получая от этого значительную пользу. Честно говоря, многие технологии, которые сегодня используют ведущие AI-команды в США, появились благодаря исследовательским инновациям, которые они узнали из китайских работ.

Поэтому я считаю, что обмен знаниями идёт в обе стороны».

источник

Этот скилл автоматически улучшает GitHub README.

Он сначала анализирует проект, а уже потом перерабатывает README, чтобы не придумывать несуществующие функции и возможности.

Репозиторий: https://github.com/oil-oil/beautify-github-readme

Локальный ИИ стал намного проще.

ODS сам определяет характеристики компьютера, подбирает подходящую модель, скачивает её и запускает локальный инференс вместе с Open WebUI.

Через одну панель можно подключать голос, агентов вроде Hermes, RAG, поиск, генерацию изображений, рабочие процессы и другие инструменты.

Не нужен облачный сервис и подписка. Ваши запросы и данные остаются на вашем устройстве, если только вы сами не решите иначе.

https://github.com/Osmantic/ODS