⚡️Вся база для работы с ИИ в 2026 году

За 10 минут автор на реальных кейсах объяснит что такое:

🔘ИИ-агенты;
🔘LLM (Large Language Models);
🔘RAG (Retrieval-Augmented Generation);
🔘токены.

📎 Сохраняйте, в грядущем году это точно пригодится

#теория

Сергей Долгов перевёл «The Smol Training Playbook» — самую популярную публикацию на HuggingFace о том, как создают, тренируют и дообучают языковые модели.

➡️ Что внутри

🔘Архитектура: MHA → GQA → MLA, позиционные кодировки (RoPE, NoPE), почему DeepSeek выбрал именно такие решения

🔘Претрейн: как собирать данные, выбирать learning rate, batch size, schedulers (WSD vs Cosine vs Multi-Step)

🔘Scaling laws: сколько данных нужно для модели N параметров, как считать FLOPs

🔘Post-training: SFT, DPO, GRPO, RLVR — когда что использовать и почему on-policy лучше off-policy

🔘Практика: как команда SmolLM3 обучала модель на 384×H100 за 11 триллионов токенов

➡️ Для кого
Для тех, кто хочет понять, как реально устроен процесс обучения LLM — не на уровне «скачал модель с HuggingFace», а на уровне «почему GQA ratio 4, а не 8» и «когда WSD лучше cosine decay».

Сергею — огромное спасибо за качественную вёрстку и время на перевод. Настольная книга для всех, кто копает в сторону ML.

📎 Оригинал на HF, версия на русском в прикреплённой PDF.

@neuro_channel

С Новым годом, друзья! 🎄

Спасибо, что вы с нами. Пусть в 2026-м не будет багов и зависших дедлайнов. Желаем вам рабочего кода и бесконечного кофе!