«Scaling Laws, Carefully» — отличная статья Лилиан Венг, посвящённая математическим основам законов масштабирования в глубоком обучении. В ней объясняется, как качество моделей зависит от количества параметров, объёма обучающих данных и вычислительных ресурсов.
Статья охватывает степенные зависимости, законы масштабирования Каплана и Chinchilla, оптимальное использование вычислительных ресурсов при обучении, ограничения обучающих данных и сложности прогнозирования качества более крупных моделей.
В материале представлены формулы, результаты экспериментов и ссылки на оригинальные научные работы. Это очень полезный ресурс для понимания математики, лежащей в основе масштабирования больших языковых моделей.
https://lilianweng.github.io/posts/2026-06-24-scaling-laws/
Статья охватывает степенные зависимости, законы масштабирования Каплана и Chinchilla, оптимальное использование вычислительных ресурсов при обучении, ограничения обучающих данных и сложности прогнозирования качества более крупных моделей.
В материале представлены формулы, результаты экспериментов и ссылки на оригинальные научные работы. Это очень полезный ресурс для понимания математики, лежащей в основе масштабирования больших языковых моделей.
https://lilianweng.github.io/posts/2026-06-24-scaling-laws/
Сейчас в сфере ИИ есть два карьерных пути:
Первый — разработчик, который умеет создавать приложения с помощью API языковых моделей.
Второй — архитектор, который понимает, как устроены сами языковые модели и системы на их основе.
Если хотите двигаться в сторону второго, у Стэнфорда есть один из лучших бесплатных курсов по разработке LLM — CS336: Language Modeling from Scratch.
Курс 2026 года состоит из 18 лекций и охватывает практически весь технологический стек языковых моделей:
— Архитектура моделей: токенизация, трансформеры, различные архитектуры и MoE.
— Аппаратное обеспечение: FLOPs, память, GPU и TPU.
— Оптимизация производительности: Triton, GPU-ядра, параллелизм и распределённое обучение.
— Обучение моделей: законы масштабирования, сбор, фильтрация и дедупликация данных.
— Запуск моделей: инференс и оценка качества.
— Дообучение: SFT, RLHF и RLVR.
Отдельно рассматривается мультимодальность.
Причём обучение не ограничивается просмотром лекций. Студенты самостоятельно реализуют токенизатор, трансформер и оптимизатор, пишут FlashAttention2 на Triton, создают систему распределённого обучения с эффективным использованием памяти и превращают сырые данные Common Crawl в датасет для предобучения.
Также они экспериментально определяют закон масштабирования и используют SFT вместе с обучением с подкреплением, чтобы научить языковую модель решать математические задачи.
По словам Стэнфорда, на этом курсе студенты пишут как минимум на порядок больше кода, чем на большинстве других курсов по ИИ.
Stanford CS336, весна 2026 года. 18 лекций, бесплатно на YouTube.
https://www.youtube.com/playlist?list=PLoROMvodv4rMqXOcazWaTUHhq-yembLCV
Выбирайте свой путь.
Первый — разработчик, который умеет создавать приложения с помощью API языковых моделей.
Второй — архитектор, который понимает, как устроены сами языковые модели и системы на их основе.
Если хотите двигаться в сторону второго, у Стэнфорда есть один из лучших бесплатных курсов по разработке LLM — CS336: Language Modeling from Scratch.
Курс 2026 года состоит из 18 лекций и охватывает практически весь технологический стек языковых моделей:
— Архитектура моделей: токенизация, трансформеры, различные архитектуры и MoE.
— Аппаратное обеспечение: FLOPs, память, GPU и TPU.
— Оптимизация производительности: Triton, GPU-ядра, параллелизм и распределённое обучение.
— Обучение моделей: законы масштабирования, сбор, фильтрация и дедупликация данных.
— Запуск моделей: инференс и оценка качества.
— Дообучение: SFT, RLHF и RLVR.
Отдельно рассматривается мультимодальность.
Причём обучение не ограничивается просмотром лекций. Студенты самостоятельно реализуют токенизатор, трансформер и оптимизатор, пишут FlashAttention2 на Triton, создают систему распределённого обучения с эффективным использованием памяти и превращают сырые данные Common Crawl в датасет для предобучения.
Также они экспериментально определяют закон масштабирования и используют SFT вместе с обучением с подкреплением, чтобы научить языковую модель решать математические задачи.
По словам Стэнфорда, на этом курсе студенты пишут как минимум на порядок больше кода, чем на большинстве других курсов по ИИ.
Stanford CS336, весна 2026 года. 18 лекций, бесплатно на YouTube.
https://www.youtube.com/playlist?list=PLoROMvodv4rMqXOcazWaTUHhq-yembLCV
Выбирайте свой путь.
Reasoning From Scratch: обучение с подкреплением с проверяемыми наградами (RLVR), часть 2. Разбираем ограничение отношений вероятностей политик, KL-слагаемое в функции потерь, награды за формат ответа и другие приёмы работы с GRPO.
00:00 Введение и повторение пройденного
01:52 Интерпретация основных метрик обучения GRPO
06:34 Планируемые улучшения GRPO
08:58 Запуск длительного обучения с помощью Python-скриптов
13:39 Запуск базового скрипта обучения GRPO
17:29 Загрузка журналов обучения и построение графиков
19:29 Диагностика нестабильного обучения
23:55 Оценка контрольных точек модели на MATH-500
26:26 Скачивание готовых контрольных точек модели
30:09 Отслеживание статистики преимущества
34:53 Что такое энтропия
40:32 Вычисление энтропии в PyTorch
44:17 Интерпретация значений энтропии
48:58 Добавление отслеживания энтропии в GRPO
53:36 Анализ метрик преимущества и энтропии
56:18 Стабилизация GRPO с помощью ограничения отношений вероятностей политик
1:03:27 Реализация функции потерь политики с ограничением
1:09:39 Анализ результатов обучения с ограничением отношений вероятностей политик
1:11:25 KL-дивергенция и обход системы наград
1:15:12 Добавление KL-слагаемого в функцию потерь
1:20:34 Ограничения упрощённой функции потерь с KL
1:23:04 Награды за формат ответа и теги think
1:25:47 Добавление специальных токенов в токенизатор
1:30:29 Реализация награды за формат ответа
1:35:56 Анализ обучения с наградой за формат ответа
1:38:25 Награда за формат только при правильном ответе
1:40:48 Дальнейшие улучшения GRPO из исследований
1:45:43 Следующие шаги и дистилляция
https://youtu.be/VxfUrUrrczs?si=2suHmPhPic6JC_xU
00:00 Введение и повторение пройденного
01:52 Интерпретация основных метрик обучения GRPO
06:34 Планируемые улучшения GRPO
08:58 Запуск длительного обучения с помощью Python-скриптов
13:39 Запуск базового скрипта обучения GRPO
17:29 Загрузка журналов обучения и построение графиков
19:29 Диагностика нестабильного обучения
23:55 Оценка контрольных точек модели на MATH-500
26:26 Скачивание готовых контрольных точек модели
30:09 Отслеживание статистики преимущества
34:53 Что такое энтропия
40:32 Вычисление энтропии в PyTorch
44:17 Интерпретация значений энтропии
48:58 Добавление отслеживания энтропии в GRPO
53:36 Анализ метрик преимущества и энтропии
56:18 Стабилизация GRPO с помощью ограничения отношений вероятностей политик
1:03:27 Реализация функции потерь политики с ограничением
1:09:39 Анализ результатов обучения с ограничением отношений вероятностей политик
1:11:25 KL-дивергенция и обход системы наград
1:15:12 Добавление KL-слагаемого в функцию потерь
1:20:34 Ограничения упрощённой функции потерь с KL
1:23:04 Награды за формат ответа и теги think
1:25:47 Добавление специальных токенов в токенизатор
1:30:29 Реализация награды за формат ответа
1:35:56 Анализ обучения с наградой за формат ответа
1:38:25 Награда за формат только при правильном ответе
1:40:48 Дальнейшие улучшения GRPO из исследований
1:45:43 Следующие шаги и дистилляция
https://youtu.be/VxfUrUrrczs?si=2suHmPhPic6JC_xU
X (formerly Twitter)
Sebastian Raschka (@rasbt) on X
Reasoning From Scratch: Reinforcement Learning with Verifiable Rewards (RLVR) round 2.
Covering clipped policy ratios, KL loss term, format rewards, and other GRPO tips & tricks.
00:00 Introducti…
Covering clipped policy ratios, KL loss term, format rewards, and other GRPO tips & tricks.
00:00 Introducti…
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA действительно устранила одно из главных ограничений голосового ИИ.
Компания открыла исходный код PersonaPlex-7B — разговорной модели с полнодуплексным режимом, которая умеет одновременно слушать и говорить.
Вместо того чтобы ждать, пока пользователь закончит говорить, модель использует двухпоточную архитектуру для обработки речи и ответа в реальном времени.
Полностью открытый исходный код и бесплатное использование.
https://github.com/NVIDIA/personaplex
Компания открыла исходный код PersonaPlex-7B — разговорной модели с полнодуплексным режимом, которая умеет одновременно слушать и говорить.
Вместо того чтобы ждать, пока пользователь закончит говорить, модель использует двухпоточную архитектуру для обработки речи и ответа в реальном времени.
Полностью открытый исходный код и бесплатное использование.
https://github.com/NVIDIA/personaplex
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA выпустила мультимодальную аудиомодель на 2 млрд параметров, которая не просто распознаёт речь, но и понимает окружающие звуки.
Одна модель объединяет транскрибацию, перевод речи, распознавание звуков, ответы на вопросы по аудио, синтез речи и полноценное преобразование речи в речь.
Веса модели открыты.
https://huggingface.co/spaces/nvidia/Nemotron-Labs-Audex
Одна модель объединяет транскрибацию, перевод речи, распознавание звуков, ответы на вопросы по аудио, синтез речи и полноценное преобразование речи в речь.
Веса модели открыты.
https://huggingface.co/spaces/nvidia/Nemotron-Labs-Audex
«Матричное дифференциальное исчисление для машинного обучения и не только» — бесплатный курс лекционных материалов MIT, посвящённый математике производных векторов и матриц.
Материалы охватывают градиенты, якобианы, производные матричных функций, дифференциалы, производные произведений матриц, обратных матриц и определителей, произведения Кронекера, оптимизацию и автоматическое дифференцирование. Также рассматривается применение этих методов в машинном обучении.
На мой взгляд, это полезный ресурс для тех, кто уже знаком с основами линейной алгебры и математического анализа и хочет разобраться, как дифференцирование обобщается на векторы и матрицы и применяется в современных задачах оптимизации.
https://ocw.mit.edu/courses/18-s096-matrix-calculus-for-machine-learning-and-beyond-january-iap-2023/mit18_s096iap23_lec_full.pdf
Материалы охватывают градиенты, якобианы, производные матричных функций, дифференциалы, производные произведений матриц, обратных матриц и определителей, произведения Кронекера, оптимизацию и автоматическое дифференцирование. Также рассматривается применение этих методов в машинном обучении.
На мой взгляд, это полезный ресурс для тех, кто уже знаком с основами линейной алгебры и математического анализа и хочет разобраться, как дифференцирование обобщается на векторы и матрицы и применяется в современных задачах оптимизации.
https://ocw.mit.edu/courses/18-s096-matrix-calculus-for-machine-learning-and-beyond-january-iap-2023/mit18_s096iap23_lec_full.pdf
This media is not supported in your browser
VIEW IN TELEGRAM
Motion2MixamoRig — инструмент с открытым исходным кодом, который использует машинное обучение для восстановления движений человека по обычному видео и переноса их на 3D-персонажа.
Проект также умеет восстанавливать 3D-позы по фотографиям. Для оценки движений используется модель GVHMR.
Результат можно экспортировать в формате GLB и использовать в Blender или Unity. Для Blender 4.2+ уже доступно отдельное расширение.
https://github.com/MaxLiu22/Motion2MixamoRig
Проект также умеет восстанавливать 3D-позы по фотографиям. Для оценки движений используется модель GVHMR.
Результат можно экспортировать в формате GLB и использовать в Blender или Unity. Для Blender 4.2+ уже доступно отдельное расширение.
https://github.com/MaxLiu22/Motion2MixamoRig
Сегодня прочитал отличный материал по Harness Engineering — проектированию инфраструктуры для ИИ-агентов.
В нём подробно объясняется, как устроены и создаются ИИ-агенты. Рассматриваются такие темы, как:
- Управление контекстом и памятью.
- Инструменты и MCP.
- Оркестрация агентов.
- Безопасность и управление разрешениями.
- Валидация, наблюдаемость и обработка ошибок.
Отличный ресурс для понимания того, что стоит за работой таких агентов, как Claude Code и Codex.
Документ: https://drive.google.com/file/d/1PT-P2PVoiZpfYoe5eWks1_DGt2aSvbDh/view
В нём подробно объясняется, как устроены и создаются ИИ-агенты. Рассматриваются такие темы, как:
- Управление контекстом и памятью.
- Инструменты и MCP.
- Оркестрация агентов.
- Безопасность и управление разрешениями.
- Валидация, наблюдаемость и обработка ошибок.
Отличный ресурс для понимания того, что стоит за работой таких агентов, как Claude Code и Codex.
Документ: https://drive.google.com/file/d/1PT-P2PVoiZpfYoe5eWks1_DGt2aSvbDh/view
Media is too big
VIEW IN TELEGRAM
Основатели ElevenLabs сейчас, должно быть, дрожат от страха…
Эти ребята только что выпустили голосовую ИИ-модель, которой можно управлять как настоящим актёром.
Больше не нужно вставлять странные специальные коды в текст. Просто пишете «произнеси это так, будто ты окончательно разочаровался в жизни», и модель делает именно это.
Почему это настолько круто:
- Одно слово прозвучало неправильно? Можно изменить только его, оставив всю остальную озвучку без изменений.
- Модель умеет переключаться между голосами прямо посреди предложения.
- Может озвучить целую сцену с несколькими персонажами по одному сценарию.
- Клонирует ваш голос и сохраняет его характер и манеру речи на других языках.
Модель поддерживает 83 языка, а её веса доступны для скачивания по лицензии Fish Audio Community License.
А чтобы продемонстрировать возможности модели, разработчики клонировали голос Uncle Roger и заставили его на протяжении всего ролика разносить собственный жареный рис.
Ахах, это просто прекрасно.
Эти ребята только что выпустили голосовую ИИ-модель, которой можно управлять как настоящим актёром.
Больше не нужно вставлять странные специальные коды в текст. Просто пишете «произнеси это так, будто ты окончательно разочаровался в жизни», и модель делает именно это.
Почему это настолько круто:
- Одно слово прозвучало неправильно? Можно изменить только его, оставив всю остальную озвучку без изменений.
- Модель умеет переключаться между голосами прямо посреди предложения.
- Может озвучить целую сцену с несколькими персонажами по одному сценарию.
- Клонирует ваш голос и сохраняет его характер и манеру речи на других языках.
Модель поддерживает 83 языка, а её веса доступны для скачивания по лицензии Fish Audio Community License.
А чтобы продемонстрировать возможности модели, разработчики клонировали голос Uncle Roger и заставили его на протяжении всего ролика разносить собственный жареный рис.
Ахах, это просто прекрасно.
Руководство по подготовке к техническим собеседованиям от разработчика, который получил несколько предложений о работе от Meta, Google, Amazon и Apple.
Традиционный подход к техническим собеседованиям официально устарел.
Если в этом году вы готовитесь к собеседованиям на позиции Senior-разработчика, AI Engineer или Applied Scientist, одного заучивания задач с LeetCode уже недостаточно.
Теперь вас будут спрашивать об агентных циклах, сжатии KV-кеша, деградации RAG-систем и распределённом инференсе больших языковых моделей.
Для этого появилось обновлённое руководство на 2026 год:
https://github.com/alirezadir/AIMLInterviews
Чем интересен этот репозиторий:
- Актуальная программа на 2026 год. Углублённые модули по генеративному ИИ, ИИ-агентам, мультимодальным системам и физическому ИИ.
- ИИ-репетитор через MCP без спойлеров. Можно подключить прямо к терминалу, Claude или Cursor и проходить интерактивные пробные технические собеседования в реальном времени.
- Полный охват тем. От классического машинного обучения и программирования до проектирования сложных производственных систем.
Традиционный подход к техническим собеседованиям официально устарел.
Если в этом году вы готовитесь к собеседованиям на позиции Senior-разработчика, AI Engineer или Applied Scientist, одного заучивания задач с LeetCode уже недостаточно.
Теперь вас будут спрашивать об агентных циклах, сжатии KV-кеша, деградации RAG-систем и распределённом инференсе больших языковых моделей.
Для этого появилось обновлённое руководство на 2026 год:
https://github.com/alirezadir/AIMLInterviews
Чем интересен этот репозиторий:
- Актуальная программа на 2026 год. Углублённые модули по генеративному ИИ, ИИ-агентам, мультимодальным системам и физическому ИИ.
- ИИ-репетитор через MCP без спойлеров. Можно подключить прямо к терминалу, Claude или Cursor и проходить интерактивные пробные технические собеседования в реальном времени.
- Полный охват тем. От классического машинного обучения и программирования до проектирования сложных производственных систем.
Media is too big
VIEW IN TELEGRAM
У Nvidia есть открытая модель мира на 2,6 млрд параметров.
Она позволяет превратить изображение, текстовый промпт и траекторию движения камеры в управляемый виртуальный мир.
И всё это на одном GPU.
- Код доступен на GitHub.
- Научная статья опубликована на arXiv.
- Подходит для исследований воплощённого ИИ, робототехники и симуляций.
Модель работает на GPU вроде RTX 5090 или H100, позволяя экспериментировать с моделями мира без необходимости использовать несколько видеокарт.
https://github.com/NVlabs/Sana
Она позволяет превратить изображение, текстовый промпт и траекторию движения камеры в управляемый виртуальный мир.
И всё это на одном GPU.
- Код доступен на GitHub.
- Научная статья опубликована на arXiv.
- Подходит для исследований воплощённого ИИ, робототехники и симуляций.
Модель работает на GPU вроде RTX 5090 или H100, позволяя экспериментировать с моделями мира без необходимости использовать несколько видеокарт.
https://github.com/NVlabs/Sana
17 октября (в эту субботу!) в 15:00 по мск приходи онлайн на открытое собеседование, чтобы посмотреть на настоящее интервью на Middle Дата Инженера.
Как это будет:
Это бесплатно. Эфир проходит в рамках менторской программы от ШОРТКАТ для разработчиков, которые хотят сменить работу, повысить свой грейд, ЗП и прокачать скиллы.
Переходи в нашего бота, чтобы получить ссылку на эфир → @shortcut_de_bot
Реклама.
О рекламодателе.
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Теперь можно просто загрузить изображение и посмотреть, как нейросеть определяет, что на нём изображено.
CNN Explainer позволяет проследить весь процесс обработки:
Пиксели → свёртка → ReLU → пулинг → карты признаков → softmax → предсказание.
Можно переходить между слоями нейросети и изучать фильтры, активации и вычисления, на основе которых формируется результат.
Отличный способ наглядно разобраться в работе свёрточных нейросетей (CNN).
https://poloclub.github.io/cnn-explainer/
CNN Explainer позволяет проследить весь процесс обработки:
Пиксели → свёртка → ReLU → пулинг → карты признаков → softmax → предсказание.
Можно переходить между слоями нейросети и изучать фильтры, активации и вычисления, на основе которых формируется результат.
Отличный способ наглядно разобраться в работе свёрточных нейросетей (CNN).
https://poloclub.github.io/cnn-explainer/
«Book of Proof» Ричарда Хэммака — полностью бесплатный учебник, впервые опубликованный в 2009 году. Он стал своего рода современной классикой для тех, кто хочет научиться читать, понимать и строить математические доказательства.
Книга объёмом почти 400 страниц охватывает теорию множеств, логику, комбинаторику, прямые доказательства, доказательства методом контрапозиции и от противного, математическую индукцию, отношения, функции, доказательства в математическом анализе и мощности множеств. Также в ней много упражнений и решений.
Учебник особенно хорошо подходит студентам первых курсов университетов, которые хотят освоить формальные математические рассуждения и строгие доказательства.
Это одна из тех книг, которые я настоятельно рекомендую иметь в личной библиотеке по математике, особенно учитывая, что она находится в свободном доступе.
https://richardhammack.github.io/BookOfProof/Main.pdf
Книга объёмом почти 400 страниц охватывает теорию множеств, логику, комбинаторику, прямые доказательства, доказательства методом контрапозиции и от противного, математическую индукцию, отношения, функции, доказательства в математическом анализе и мощности множеств. Также в ней много упражнений и решений.
Учебник особенно хорошо подходит студентам первых курсов университетов, которые хотят освоить формальные математические рассуждения и строгие доказательства.
Это одна из тех книг, которые я настоятельно рекомендую иметь в личной библиотеке по математике, особенно учитывая, что она находится в свободном доступе.
https://richardhammack.github.io/BookOfProof/Main.pdf