Большая подборка интересных статей, посвященных LLM.

-The GPT-4 barrier was comprehensively broken
- Some of those GPT-4 models run on my laptop
- LLM prices crashed, thanks to competition and increased efficiency
- Multimodal vision is common, audio and video are starting to emerge
- Voice and live camera mode are science fiction come to life
-Prompt driven app generation is a commodity already
- Universal access to the best models lasted for just a few short months
- Agents” still haven’t really happened yet
- Evals really matter
- Apple Intelligence is bad, Apple’s MLX library is excellent
- The rise of inference-scaling “reasoning” models
- Was the best currently available LLM trained in China for less than $6m?
- The environmental impact got better
- The environmental impact got much, much worse
- The year of slop
- Synthetic training data works great
- LLMs somehow got even harder to use
- Knowledge is incredibly unevenly distributed
- LLMs need better criticism

⚡️ Полный обзор

@data_analysis_ml

💡Академия Alibaba DAMO выпустили мультимодельный Vision-language датасет

 6.5M изображений + 0.8B текста из 22k часов обучающих видео
 Охватывает такие предметы, как математика, физика и химия.
 Apache 2.0

- Датасет: https://huggingface.co/datasets/DAMO-NLP-SG/multimodal_textbook
-  Статья: https://huggingface.co/papers/2501.00958

@data_analysis_ml

🎉OLMo2 установили новый стандарт для релизов с открытым исходным кодом. 🫡

Пристегните ремни -
выпущен подробный репорт о OLMo 2 . В нем 50 с лишним страниц о 4 важнейших компонентах конвейера развития LLM.

Они выпустил: Модели, датасеты, код обучения и все возможные данные. А вишенкой на торте стали журналы wandb.

Итак, если вы хотите создать современный LLM? Создатели OLMo 2 делятся полным рецептом.

-----

🔧 Ключевые методы в этой статье:

→ В OLMo 2 реализован двухэтапный подход к обучению: предварительное обучение на 4-5T токенах и обучение на специализированном Dolmino Mix 1124.

→ Архитектура отличается повышенной стабильностью благодаря RMSNorm, переупорядоченной нормализации и QK-норме для вычисления внимания.

→ Трехфазный конвейер тюнинга сочетает в себе контролируемую тонкую настройку, прямую оптимизацию предпочтений и обучение с подкреплением и проверяемым вознаграждением.

→ Инфраструктура обучения включает два кластера (Jupiter и Augusta) с оптимизированным управлением рабочей нагрузкой с помощью системы Beaker.

-----

💡 Основные выводы:

→ Стабильность обучения значительно повышается за счет фильтрации повторяющихся n-грамм и использования инициализации нормальным распределением

→ Обучение в середине обучения на высококачественных данных эффективно расширяет возможности модели

→ Усреднение веса модели неизменно повышает производительность

→ Оптимизация инфраструктуры имеет решающее значение для успешного обучения LLM

-----

📊 Результаты:

→ Модели 7B и 13B соответствуют или превосходят Llama 3.1 и Qwen 2.5, используя меньшее количество FLOPs

→ Оценки GSM8K: 67,5 для 7B, 75,1 для 13B

→ Показатели MMLU: 63,7 для 7B, 67,5 для 13B

💡Подробнее про модель
💡Paper
💡Blog
💡Demo

Только что был опубликован анализ выбросов CO₂ от 3000+ LLM на Open LLM Leaderboard! 🌱

В статье описана оценка энергопотребления, показаны тенденции и интригующие выводы 🙌

👉 Читать здесь: https://huggingface.co/blog/leaderboard-emissions-analysis

⚡️ LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token

LLaVA-Mini достигает производительности LLaVA-v1.5 с 1 токеном (vs 576), сокращая количество FLOP на 77%, задержку со 100 мс до 40 мс и VRAM с 360 МБ до 0,6 МБ, обеспечивая 3-часовую обработку видео и 10 000 кадров на 24 ГБ GPU 🔥.

Установка:

conda create -n llavamini python=3.10 -y
conda activate llavamini
pip install -e .
pip install -e ".[train]"
pip install flash-attn --no-build-isolation

HF: https://huggingface.co/ICTNLP/llava-mini-llama-3.1-8b

Github: https://github.com/ictnlp/LLaVA-Mini

@data_analysis_ml

🔥 LeanUniverse - это пакет, предназначенный для создания датасетов из репозиториев Lean4 на Github.

Его цель - упростить и стандартизировать процесс создания обучающих наборов данных для моделей ИИ.

Ключевые особенности:

- Последовательность: LeanUniverse гарантирует, что все собранные репозитории согласованы и могут быть связаны с одной и той же версией зависимостей (mathlib). Это гарантирует надежность и совместимость датасетов, созданных с помощью этой библиотеки.
- Фильтрация лицензий: Пользователи имеют возможность определять фильтры допустимых лицензий,
- Кэширование: В библиотеку встроен механизм кэширования, повышающий эффективность за счет сокращения избыточных вычислений. Эта функция позволяет периодически обновлять и увеличивать датасеты.

git clone https://github.com/your-repo/LeanUniverse.git
cd LeanUniverse

▪ Github