🌸Большой пост про Llama 3🌸
#nlp #про_nlp #ai_alignment

На прошлой неделе вышла Llama 3 — опенсорсная языковая модель от Meta.

С постоянными обновлениями (GPT-4-turbo update, Command-R+, Mistral...) почти каждую неделю за релизами можно и не угнаться, но эта новость — совершенно особенная.

TLDR: Быстро выпустили две версии модели — 8B и 70B — а 400B еще не доучили. Уже сейчас это лучшее в опенсорсе и лучше некоторых закрытых моделей.

Качество
🟣Так как это ранний релиз, можно увидеть опубликованные бенчмарки — это самая качественная модель среди открытых.
Хотя разница в SOTA не очень большая: MMLU 5-shot — 82%, а тот же Gemini Pro — 81.9%. Но Gemini Pro закрытая!
Бенчмарков пока не много, и явно напрашиваются еще хотя бы TruthfulQA, MT-bench, та же самая GAIA от ЛеКуна.

🟣Интересно, что бенчмарки разнесли на 2 группы — на одних тестят претрейн (MMLU, Big-bench, ARC, AGI-Eval), а на других — instruct-файнтюн версию (MATH, GPQA, GSM-8k...). Хочется увидеть результат на тех же бенчмарках после файнтюна! Из общих пока только MMLU (на нем метрики от дообучения выросли на 2%).
Детали тестов на Github

Лицензия
🟣Лицензия, как и в случае с Llama 2, не совсем открытая, разрешает коммерческое и некоммерческое использование с условиями — никаких незаконных применений и т.д.

LLM-новизна
🟣Модель — декодерная, не MoE. Окно контекста в претрейне 8192 токенов, дополнительный вид аттеншена — grouped query attention (GQA).

🟣Как заметили, огромный бюджет и человекочасы вложены в разметку — 10 миллионов примеров с аннотациями. Возможно, разметка полуавтоматическая, тем не менее, это очень впечатляющий корпус для дообучения. В статье InstructGPT в PPO части примеров было 50 тысяч.

🟣В описание релиза добавили пару строк про обучающие данные — это 15 триллионов токенов, 95% из которых — английский. Всего добавили 30 языков, высококачественные данные из которых добавляют оставшиеся 5%. Можно предположить, что это наследие XGLM, но это исключительно мое предположение. (Датасет XGLM был больше, но не такой качественный, хотя его можно пофильтровать, особенно с новой библиотекой и датасетом FineWeb от HuggingFace, которую приурочили к выходу LLama 3)

Продуктовая новизна
🟣Объективно, релиз очень продуктовый, в хорошем смысле. Сразу пообещали, что модель будет доступная на основных клауд-провайдерах — AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM, и Snowflake. Приятно видеть, как правильно реализуется возможность корпорации эффективно внедрять R&D — инфраструктурно-платформенной интеграции такого масштаба, наверное, нет ни у одной LLM.
🟣В интервью Марк также заявил, что модель будет активно внедряться во все продукты компании. Это сразу сделает Llama 3 одной из моделей с самым широким дистрибьюшеном.

🟣AI Assistant на основе Llama 3 обосновывает ответы сразу на двух поисковых гигантах — это и Bing, и Google. Это мощь!

Что обещают дальше?
— больше поддерживаемых языков
— Llama 4 и 5 не за горами!

Открытые вопросы
Лично мне интересно больше всего
— Будут ли заявлены какие-то фундаментально новые особенности модели, emergent properties, новые применения, которые раньше представить было нельзя?
— А что с длинным окном контекста? Оно будет? Как женить Llama 3 с RAG, какой в целом процент галлюцинаций?
— AI Safety и Open Source. Обойти Сциллу и Хорибду с рисками очень сложно.

Статью еще не выложили, и не все бенчмарки тоже. Можно предположить, что роадмапы всех LLM-стартапов, как и в прошлом году, очень сильно завязаны на релизы друг друга и желание так или иначе занять хоть на неделю верхнюю строчку в лидербордах. Даже если они не очень показательны.
Llama в топе будет надолго, по крайней мере в топе открытых LLM.