⚡️ Введение в тензорные сети

📌 Урок5
📌 Урок 1 / Урок2 / Урок3 / Урок4
📌 Colab

Хронология самых интересных ИИ релизов в 2024 году🔥

От Gemma до Llama 3.1 405B, от Sonnet 3.5 до o3 !

https://huggingface.co/spaces/reach-vb/2024-ai-timeline

@data_analysis_ml

⚡️ 50 статей/моделей/блогов по 10 направлениям в AI: LLMs, Benchmarks, Prompting, RAG, Agents, CodeGen, Vision, Voice, Diffusion, Finetuning.

Если вы начинаете изучать мл с нуля, это хороший список.

Секция 1:топовые LLMs

- GPT1, GPT2, GPT3, Codex, InstructGPT, GPT4 статьи. GPT3.5, 4o, o1, и o3.
- Claude 3 и Gemini 1, Claude 3.5 Sonnet и Gemini 2.0 Flash/Flash Thinking. Gemma 2.
LLaMA 1, Llama 2, Llama 3 статьи для понимания внутреннего устройства моделей.
- Mistral 7B, Mixtral и Pixtral
- DeepSeek V1, Coder, MoE, V2, V3.
- Apple Intelligence

Секция 2: бенчмарки

- MMLU paper - the main knowledgebenchmark, next to GPQA and BIG-Bench. In 2025 frontier labs use MMLU Pro, GPQA Diamond, and BIG-Bench Hard.
- MuSR paper - evaluating long context, next to LongBench, BABILong, and RULER. Solving Lost in The Middle and other issues with Needle in a Haystack.
- MATH paper.

🔥 Полный список

Большая подборка интересных статей, посвященных LLM.

-The GPT-4 barrier was comprehensively broken
- Some of those GPT-4 models run on my laptop
- LLM prices crashed, thanks to competition and increased efficiency
- Multimodal vision is common, audio and video are starting to emerge
- Voice and live camera mode are science fiction come to life
-Prompt driven app generation is a commodity already
- Universal access to the best models lasted for just a few short months
- Agents” still haven’t really happened yet
- Evals really matter
- Apple Intelligence is bad, Apple’s MLX library is excellent
- The rise of inference-scaling “reasoning” models
- Was the best currently available LLM trained in China for less than $6m?
- The environmental impact got better
- The environmental impact got much, much worse
- The year of slop
- Synthetic training data works great
- LLMs somehow got even harder to use
- Knowledge is incredibly unevenly distributed
- LLMs need better criticism

⚡️ Полный обзор

@data_analysis_ml

🎉OLMo2 установили новый стандарт для релизов с открытым исходным кодом. 🫡

Пристегните ремни -
выпущен подробный репорт о OLMo 2 . В нем 50 с лишним страниц о 4 важнейших компонентах конвейера развития LLM.

Они выпустил: Модели, датасеты, код обучения и все возможные данные. А вишенкой на торте стали журналы wandb.

Итак, если вы хотите создать современный LLM? Создатели OLMo 2 делятся полным рецептом.

-----

🔧 Ключевые методы в этой статье:

→ В OLMo 2 реализован двухэтапный подход к обучению: предварительное обучение на 4-5T токенах и обучение на специализированном Dolmino Mix 1124.

→ Архитектура отличается повышенной стабильностью благодаря RMSNorm, переупорядоченной нормализации и QK-норме для вычисления внимания.

→ Трехфазный конвейер тюнинга сочетает в себе контролируемую тонкую настройку, прямую оптимизацию предпочтений и обучение с подкреплением и проверяемым вознаграждением.

→ Инфраструктура обучения включает два кластера (Jupiter и Augusta) с оптимизированным управлением рабочей нагрузкой с помощью системы Beaker.

-----

💡 Основные выводы:

→ Стабильность обучения значительно повышается за счет фильтрации повторяющихся n-грамм и использования инициализации нормальным распределением

→ Обучение в середине обучения на высококачественных данных эффективно расширяет возможности модели

→ Усреднение веса модели неизменно повышает производительность

→ Оптимизация инфраструктуры имеет решающее значение для успешного обучения LLM

-----

📊 Результаты:

→ Модели 7B и 13B соответствуют или превосходят Llama 3.1 и Qwen 2.5, используя меньшее количество FLOPs

→ Оценки GSM8K: 67,5 для 7B, 75,1 для 13B

→ Показатели MMLU: 63,7 для 7B, 67,5 для 13B

💡Подробнее про модель
💡Paper
💡Blog
💡Demo