Reasoning From Scratch: обучение с подкреплением с проверяемыми наградами (RLVR), часть 2. Разбираем ограничение отношений вероятностей политик, KL-слагаемое в функции потерь, награды за формат ответа и другие приёмы работы с GRPO.
00:00 Введение и повторение пройденного
01:52 Интерпретация основных метрик обучения GRPO
06:34 Планируемые улучшения GRPO
08:58 Запуск длительного обучения с помощью Python-скриптов
13:39 Запуск базового скрипта обучения GRPO
17:29 Загрузка журналов обучения и построение графиков
19:29 Диагностика нестабильного обучения
23:55 Оценка контрольных точек модели на MATH-500
26:26 Скачивание готовых контрольных точек модели
30:09 Отслеживание статистики преимущества
34:53 Что такое энтропия
40:32 Вычисление энтропии в PyTorch
44:17 Интерпретация значений энтропии
48:58 Добавление отслеживания энтропии в GRPO
53:36 Анализ метрик преимущества и энтропии
56:18 Стабилизация GRPO с помощью ограничения отношений вероятностей политик
1:03:27 Реализация функции потерь политики с ограничением
1:09:39 Анализ результатов обучения с ограничением отношений вероятностей политик
1:11:25 KL-дивергенция и обход системы наград
1:15:12 Добавление KL-слагаемого в функцию потерь
1:20:34 Ограничения упрощённой функции потерь с KL
1:23:04 Награды за формат ответа и теги think
1:25:47 Добавление специальных токенов в токенизатор
1:30:29 Реализация награды за формат ответа
1:35:56 Анализ обучения с наградой за формат ответа
1:38:25 Награда за формат только при правильном ответе
1:40:48 Дальнейшие улучшения GRPO из исследований
1:45:43 Следующие шаги и дистилляция
https://youtu.be/VxfUrUrrczs?si=2suHmPhPic6JC_xU
00:00 Введение и повторение пройденного
01:52 Интерпретация основных метрик обучения GRPO
06:34 Планируемые улучшения GRPO
08:58 Запуск длительного обучения с помощью Python-скриптов
13:39 Запуск базового скрипта обучения GRPO
17:29 Загрузка журналов обучения и построение графиков
19:29 Диагностика нестабильного обучения
23:55 Оценка контрольных точек модели на MATH-500
26:26 Скачивание готовых контрольных точек модели
30:09 Отслеживание статистики преимущества
34:53 Что такое энтропия
40:32 Вычисление энтропии в PyTorch
44:17 Интерпретация значений энтропии
48:58 Добавление отслеживания энтропии в GRPO
53:36 Анализ метрик преимущества и энтропии
56:18 Стабилизация GRPO с помощью ограничения отношений вероятностей политик
1:03:27 Реализация функции потерь политики с ограничением
1:09:39 Анализ результатов обучения с ограничением отношений вероятностей политик
1:11:25 KL-дивергенция и обход системы наград
1:15:12 Добавление KL-слагаемого в функцию потерь
1:20:34 Ограничения упрощённой функции потерь с KL
1:23:04 Награды за формат ответа и теги think
1:25:47 Добавление специальных токенов в токенизатор
1:30:29 Реализация награды за формат ответа
1:35:56 Анализ обучения с наградой за формат ответа
1:38:25 Награда за формат только при правильном ответе
1:40:48 Дальнейшие улучшения GRPO из исследований
1:45:43 Следующие шаги и дистилляция
https://youtu.be/VxfUrUrrczs?si=2suHmPhPic6JC_xU
X (formerly Twitter)
Sebastian Raschka (@rasbt) on X
Reasoning From Scratch: Reinforcement Learning with Verifiable Rewards (RLVR) round 2.
Covering clipped policy ratios, KL loss term, format rewards, and other GRPO tips & tricks.
00:00 Introducti…
Covering clipped policy ratios, KL loss term, format rewards, and other GRPO tips & tricks.
00:00 Introducti…
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA действительно устранила одно из главных ограничений голосового ИИ.
Компания открыла исходный код PersonaPlex-7B — разговорной модели с полнодуплексным режимом, которая умеет одновременно слушать и говорить.
Вместо того чтобы ждать, пока пользователь закончит говорить, модель использует двухпоточную архитектуру для обработки речи и ответа в реальном времени.
Полностью открытый исходный код и бесплатное использование.
https://github.com/NVIDIA/personaplex
Компания открыла исходный код PersonaPlex-7B — разговорной модели с полнодуплексным режимом, которая умеет одновременно слушать и говорить.
Вместо того чтобы ждать, пока пользователь закончит говорить, модель использует двухпоточную архитектуру для обработки речи и ответа в реальном времени.
Полностью открытый исходный код и бесплатное использование.
https://github.com/NVIDIA/personaplex
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA выпустила мультимодальную аудиомодель на 2 млрд параметров, которая не просто распознаёт речь, но и понимает окружающие звуки.
Одна модель объединяет транскрибацию, перевод речи, распознавание звуков, ответы на вопросы по аудио, синтез речи и полноценное преобразование речи в речь.
Веса модели открыты.
https://huggingface.co/spaces/nvidia/Nemotron-Labs-Audex
Одна модель объединяет транскрибацию, перевод речи, распознавание звуков, ответы на вопросы по аудио, синтез речи и полноценное преобразование речи в речь.
Веса модели открыты.
https://huggingface.co/spaces/nvidia/Nemotron-Labs-Audex
«Матричное дифференциальное исчисление для машинного обучения и не только» — бесплатный курс лекционных материалов MIT, посвящённый математике производных векторов и матриц.
Материалы охватывают градиенты, якобианы, производные матричных функций, дифференциалы, производные произведений матриц, обратных матриц и определителей, произведения Кронекера, оптимизацию и автоматическое дифференцирование. Также рассматривается применение этих методов в машинном обучении.
На мой взгляд, это полезный ресурс для тех, кто уже знаком с основами линейной алгебры и математического анализа и хочет разобраться, как дифференцирование обобщается на векторы и матрицы и применяется в современных задачах оптимизации.
https://ocw.mit.edu/courses/18-s096-matrix-calculus-for-machine-learning-and-beyond-january-iap-2023/mit18_s096iap23_lec_full.pdf
Материалы охватывают градиенты, якобианы, производные матричных функций, дифференциалы, производные произведений матриц, обратных матриц и определителей, произведения Кронекера, оптимизацию и автоматическое дифференцирование. Также рассматривается применение этих методов в машинном обучении.
На мой взгляд, это полезный ресурс для тех, кто уже знаком с основами линейной алгебры и математического анализа и хочет разобраться, как дифференцирование обобщается на векторы и матрицы и применяется в современных задачах оптимизации.
https://ocw.mit.edu/courses/18-s096-matrix-calculus-for-machine-learning-and-beyond-january-iap-2023/mit18_s096iap23_lec_full.pdf
This media is not supported in your browser
VIEW IN TELEGRAM
Motion2MixamoRig — инструмент с открытым исходным кодом, который использует машинное обучение для восстановления движений человека по обычному видео и переноса их на 3D-персонажа.
Проект также умеет восстанавливать 3D-позы по фотографиям. Для оценки движений используется модель GVHMR.
Результат можно экспортировать в формате GLB и использовать в Blender или Unity. Для Blender 4.2+ уже доступно отдельное расширение.
https://github.com/MaxLiu22/Motion2MixamoRig
Проект также умеет восстанавливать 3D-позы по фотографиям. Для оценки движений используется модель GVHMR.
Результат можно экспортировать в формате GLB и использовать в Blender или Unity. Для Blender 4.2+ уже доступно отдельное расширение.
https://github.com/MaxLiu22/Motion2MixamoRig
Сегодня прочитал отличный материал по Harness Engineering — проектированию инфраструктуры для ИИ-агентов.
В нём подробно объясняется, как устроены и создаются ИИ-агенты. Рассматриваются такие темы, как:
- Управление контекстом и памятью.
- Инструменты и MCP.
- Оркестрация агентов.
- Безопасность и управление разрешениями.
- Валидация, наблюдаемость и обработка ошибок.
Отличный ресурс для понимания того, что стоит за работой таких агентов, как Claude Code и Codex.
Документ: https://drive.google.com/file/d/1PT-P2PVoiZpfYoe5eWks1_DGt2aSvbDh/view
В нём подробно объясняется, как устроены и создаются ИИ-агенты. Рассматриваются такие темы, как:
- Управление контекстом и памятью.
- Инструменты и MCP.
- Оркестрация агентов.
- Безопасность и управление разрешениями.
- Валидация, наблюдаемость и обработка ошибок.
Отличный ресурс для понимания того, что стоит за работой таких агентов, как Claude Code и Codex.
Документ: https://drive.google.com/file/d/1PT-P2PVoiZpfYoe5eWks1_DGt2aSvbDh/view
Media is too big
VIEW IN TELEGRAM
Основатели ElevenLabs сейчас, должно быть, дрожат от страха…
Эти ребята только что выпустили голосовую ИИ-модель, которой можно управлять как настоящим актёром.
Больше не нужно вставлять странные специальные коды в текст. Просто пишете «произнеси это так, будто ты окончательно разочаровался в жизни», и модель делает именно это.
Почему это настолько круто:
- Одно слово прозвучало неправильно? Можно изменить только его, оставив всю остальную озвучку без изменений.
- Модель умеет переключаться между голосами прямо посреди предложения.
- Может озвучить целую сцену с несколькими персонажами по одному сценарию.
- Клонирует ваш голос и сохраняет его характер и манеру речи на других языках.
Модель поддерживает 83 языка, а её веса доступны для скачивания по лицензии Fish Audio Community License.
А чтобы продемонстрировать возможности модели, разработчики клонировали голос Uncle Roger и заставили его на протяжении всего ролика разносить собственный жареный рис.
Ахах, это просто прекрасно.
Эти ребята только что выпустили голосовую ИИ-модель, которой можно управлять как настоящим актёром.
Больше не нужно вставлять странные специальные коды в текст. Просто пишете «произнеси это так, будто ты окончательно разочаровался в жизни», и модель делает именно это.
Почему это настолько круто:
- Одно слово прозвучало неправильно? Можно изменить только его, оставив всю остальную озвучку без изменений.
- Модель умеет переключаться между голосами прямо посреди предложения.
- Может озвучить целую сцену с несколькими персонажами по одному сценарию.
- Клонирует ваш голос и сохраняет его характер и манеру речи на других языках.
Модель поддерживает 83 языка, а её веса доступны для скачивания по лицензии Fish Audio Community License.
А чтобы продемонстрировать возможности модели, разработчики клонировали голос Uncle Roger и заставили его на протяжении всего ролика разносить собственный жареный рис.
Ахах, это просто прекрасно.
Руководство по подготовке к техническим собеседованиям от разработчика, который получил несколько предложений о работе от Meta, Google, Amazon и Apple.
Традиционный подход к техническим собеседованиям официально устарел.
Если в этом году вы готовитесь к собеседованиям на позиции Senior-разработчика, AI Engineer или Applied Scientist, одного заучивания задач с LeetCode уже недостаточно.
Теперь вас будут спрашивать об агентных циклах, сжатии KV-кеша, деградации RAG-систем и распределённом инференсе больших языковых моделей.
Для этого появилось обновлённое руководство на 2026 год:
https://github.com/alirezadir/AIMLInterviews
Чем интересен этот репозиторий:
- Актуальная программа на 2026 год. Углублённые модули по генеративному ИИ, ИИ-агентам, мультимодальным системам и физическому ИИ.
- ИИ-репетитор через MCP без спойлеров. Можно подключить прямо к терминалу, Claude или Cursor и проходить интерактивные пробные технические собеседования в реальном времени.
- Полный охват тем. От классического машинного обучения и программирования до проектирования сложных производственных систем.
Традиционный подход к техническим собеседованиям официально устарел.
Если в этом году вы готовитесь к собеседованиям на позиции Senior-разработчика, AI Engineer или Applied Scientist, одного заучивания задач с LeetCode уже недостаточно.
Теперь вас будут спрашивать об агентных циклах, сжатии KV-кеша, деградации RAG-систем и распределённом инференсе больших языковых моделей.
Для этого появилось обновлённое руководство на 2026 год:
https://github.com/alirezadir/AIMLInterviews
Чем интересен этот репозиторий:
- Актуальная программа на 2026 год. Углублённые модули по генеративному ИИ, ИИ-агентам, мультимодальным системам и физическому ИИ.
- ИИ-репетитор через MCP без спойлеров. Можно подключить прямо к терминалу, Claude или Cursor и проходить интерактивные пробные технические собеседования в реальном времени.
- Полный охват тем. От классического машинного обучения и программирования до проектирования сложных производственных систем.
Media is too big
VIEW IN TELEGRAM
У Nvidia есть открытая модель мира на 2,6 млрд параметров.
Она позволяет превратить изображение, текстовый промпт и траекторию движения камеры в управляемый виртуальный мир.
И всё это на одном GPU.
- Код доступен на GitHub.
- Научная статья опубликована на arXiv.
- Подходит для исследований воплощённого ИИ, робототехники и симуляций.
Модель работает на GPU вроде RTX 5090 или H100, позволяя экспериментировать с моделями мира без необходимости использовать несколько видеокарт.
https://github.com/NVlabs/Sana
Она позволяет превратить изображение, текстовый промпт и траекторию движения камеры в управляемый виртуальный мир.
И всё это на одном GPU.
- Код доступен на GitHub.
- Научная статья опубликована на arXiv.
- Подходит для исследований воплощённого ИИ, робототехники и симуляций.
Модель работает на GPU вроде RTX 5090 или H100, позволяя экспериментировать с моделями мира без необходимости использовать несколько видеокарт.
https://github.com/NVlabs/Sana
17 октября (в эту субботу!) в 15:00 по мск приходи онлайн на открытое собеседование, чтобы посмотреть на настоящее интервью на Middle Дата Инженера.
Как это будет:
Это бесплатно. Эфир проходит в рамках менторской программы от ШОРТКАТ для разработчиков, которые хотят сменить работу, повысить свой грейд, ЗП и прокачать скиллы.
Переходи в нашего бота, чтобы получить ссылку на эфир → @shortcut_de_bot
Реклама.
О рекламодателе.
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Теперь можно просто загрузить изображение и посмотреть, как нейросеть определяет, что на нём изображено.
CNN Explainer позволяет проследить весь процесс обработки:
Пиксели → свёртка → ReLU → пулинг → карты признаков → softmax → предсказание.
Можно переходить между слоями нейросети и изучать фильтры, активации и вычисления, на основе которых формируется результат.
Отличный способ наглядно разобраться в работе свёрточных нейросетей (CNN).
https://poloclub.github.io/cnn-explainer/
CNN Explainer позволяет проследить весь процесс обработки:
Пиксели → свёртка → ReLU → пулинг → карты признаков → softmax → предсказание.
Можно переходить между слоями нейросети и изучать фильтры, активации и вычисления, на основе которых формируется результат.
Отличный способ наглядно разобраться в работе свёрточных нейросетей (CNN).
https://poloclub.github.io/cnn-explainer/
«Book of Proof» Ричарда Хэммака — полностью бесплатный учебник, впервые опубликованный в 2009 году. Он стал своего рода современной классикой для тех, кто хочет научиться читать, понимать и строить математические доказательства.
Книга объёмом почти 400 страниц охватывает теорию множеств, логику, комбинаторику, прямые доказательства, доказательства методом контрапозиции и от противного, математическую индукцию, отношения, функции, доказательства в математическом анализе и мощности множеств. Также в ней много упражнений и решений.
Учебник особенно хорошо подходит студентам первых курсов университетов, которые хотят освоить формальные математические рассуждения и строгие доказательства.
Это одна из тех книг, которые я настоятельно рекомендую иметь в личной библиотеке по математике, особенно учитывая, что она находится в свободном доступе.
https://richardhammack.github.io/BookOfProof/Main.pdf
Книга объёмом почти 400 страниц охватывает теорию множеств, логику, комбинаторику, прямые доказательства, доказательства методом контрапозиции и от противного, математическую индукцию, отношения, функции, доказательства в математическом анализе и мощности множеств. Также в ней много упражнений и решений.
Учебник особенно хорошо подходит студентам первых курсов университетов, которые хотят освоить формальные математические рассуждения и строгие доказательства.
Это одна из тех книг, которые я настоятельно рекомендую иметь в личной библиотеке по математике, особенно учитывая, что она находится в свободном доступе.
https://richardhammack.github.io/BookOfProof/Main.pdf