Обучаемся: https://github.com/MorvanZhou/Reinforcement-learning-with-tensorflow

Вот серия простых материалов по методам и практических руководств, охватывающих как базовые алгоритмы обучения с подкреплением , так и современные, недавно разработанные и обновлённые продвинутые алгоритмы.

Конвейер машинного обучения: https://github.com/Spandan-Madan/DeepLearningProject

Подробное руководство по машинному обучению, знакомящее читателя с полным конвейером машинного обучения с нуля. Материал подготовлен Harvard.

https://github.com/ageron/handson-ml3

Серия блокнотов Jupyter, которые последовательно знакомят с основами машинного обучения и глубокого обучения на Python с использованием Scikit-Learn и TensorFlow.

Этот GitHub-репозиторий — настоящая находка для тех, кто хочет не просто пользоваться ИИ и машинным обучением, а действительно глубоко их понять.

Maths, CS & AI Compendium — Бесплатный сборник.

В течение нескольких лет Генри вёл подробные конспекты, в которых объяснял математику, информатику и искусственный интеллект через интуицию, без лишней воды.

Его друзья использовали эти материалы для подготовки к собеседованиям в DeepMind, OpenAI и NVIDIA — и все успешно получили работу.

Теперь эти конспекты стали общедоступными.
В сборнике 20 глав, охватывающих путь от векторов до самых современных методов искусственного интеллекта.
Материал построен на интуитивном понимании, сопровождается примерами из реальной практики и избегает поверхностных объяснений.

плюс: В репозиторий входит MCP-сервер, благодаря которому Claude Code, Cursor, VS Code и другие совместимые инструменты могут использовать этот сборник как интерактивную базу знаний.

Локальный ИИ ещё никогда не был таким простым

> Установите ODS.
> Он автоматически определит характеристики вашего компьютера.
> Скачает модель, которая лучше всего подходит для вашего оборудования.
> Затем запустит локальный ИИ и Open WebUI.

С ODS вы можете:
> Добавить голосовое управление, ИИ-агентов (например, Hermes), рабочие процессы (workflows), RAG, поиск, генерацию изображений и многое другое.
> Управлять всей экосистемой через единую панель управления.

Теперь ваш ПК, Mac или компьютер с Linux становится приватным ИИ-сервером.

Не нужен облачный сервис и подписка. Ваши запросы и данные остаются на вашем устройстве, если только вы сами не решите иначе.

Машинное обучение для промышленной эксплуатации: https://github.com/EthicalML/awesome-production-machine-learning

Этот репозиторий содержит тщательно подобранную коллекцию отличных библиотек с открытым исходным кодом, которые помогут развёртывать, отслеживать, версионировать, масштабировать и обеспечивать безопасность систем машинного обучения в промышленной эксплуатации.

А что, если бы можно было прочитать целую папку CSV-файлов одной строкой кода?

Работа с несколькими CSV-файлами часто требует дополнительного кода, чтобы загрузить, объединить и обработать каждый файл.

DuckDB упрощает эту задачу: он позволяет напрямую выполнять SQL-запросы к нескольким CSV-файлам с использованием шаблонов имён, чтобы анализировать их одним эффективным запросом.

Статья о DuckDB для дата-сайентистов: https://bit.ly/4uCVvO2

NVIDIA выпустила новый фреймворк для RL.

Весь сетап помещается в один Python-файл:

- пишете класс с функцией step()
- возвращаете из неё reward
- всё остальное фреймворк берёт на себя — вплоть до обучения MoE-моделей класса 1T параметров

В типичном RL-фреймворке логика environment и reward находится внутри кодовой базы тренера.

Чтобы добавить новую задачу, нужно писать код под конкретный фреймворк, регистрировать её и подключать соответствующую конфигурацию.

Reward обычно выдаёт отдельно обученная reward model, для которой нужны собственные GPU и отдельное размещение рядом с actor и critic.

Фреймворк Molt от NVIDIA убирает оба этих требования.

Каждый запуск принимает флаг agent_path, указывающий на один Python-модуль, при этом код тренера никогда не меняется.

Модуль предоставляет два способа подключить агента.

> Первый — класс Env, в котором вы реализуете функцию step(). Она получает output модели и возвращает reward, а всё остальное фреймворк делает сам: вызывает модель, выполняет токенизацию и запускает цикл ход за ходом, пока episode не завершится.

> Второй — класс ChatAgent для агентов, у которых уже есть собственный loop. Здесь цикл вы пишете самостоятельно, вызывая модель через стандартный клиент OpenAI или Anthropic. Фреймворк при этом поднимает локальный сервер, поэтому запросы идут в его vLLM-движки, а не во внешний API.

В обоих случаях тренер получает одно и то же: trajectory из токенов и reward в конце.

Этот reward может формироваться через:

- проверку точного совпадения строк
- выполнение кода в изолированном subprocess
- вызов LLM-as-a-judge

Таким образом, не нужно отдельно обучать и размещать reward model, а код environment не хранится внутри самого фреймворка.

Под капотом Molt запускает одного обучаемого actor — плюс опциональный critic для PPO — на FSDP2, использует vLLM-движки для rollout и очереди Ray для обмена между компонентами.

Благодаря этому генерация, обучение и синхронизация весов выполняются с перекрытием, а не строго последовательно.

Для масштабирования достаточно изменить несколько флагов в той же команде.

Фреймворк также самостоятельно распределяет модель по GPU, поэтому один и тот же скрипт, который обучает модель на 8B параметров на одной ноде, может обучать на кластере MoE-модели масштаба DeepSeek-V3 — достаточно увеличить значения флагов параллелизма.

Репозиторий:
https://github.com/NVIDIA-NeMo/labs-molt

Поскольку фреймворк новый, я пока продолжаю с ним экспериментировать и скоро поделюсь своими выводами.

Для тех, кто хочет глубже разобраться в том, как ведущие AI-лаборатории создают RL-агентов в 2026 году, я написал подробную статью.

В ней рассматривается эволюция от RLHF к GRPO с верифицируемыми reward, а также использование LLM-as-a-judge в качестве reward-функции.

Этот подход позволяет применять RL-обучение к агентным задачам, результат которых нельзя однозначно верифицировать, без необходимости писать собственные reward-функции.

NVIDIA открыла исходный код ARDY — новой ИИ-модели для интерактивной генерации движений людей в реальном времени.

Вы просто описываете, что должен делать персонаж, и он это делает. Прямо во время движения. Можно изменить текстовую команду на ходу, указать новую точку маршрута или добавить ключевые кадры и система мгновенно перестроит движение. Без предварительного просчёта и ожидания.

И на этот раз NVIDIA выпустила всё сразу:

- исходный код;
- веса модели;
- рабочее демо.

Система полностью готова к локальному запуску. При этом модели достаточно 20–24 ГБ VRAM.

Особенно интересно, что эта технология создавалась не только для анимации - в её основе лежат те же исследования, которые NVIDIA использует в разработке человекоподобных роботов.

Вышла NVIDIA DeepStream 9.1 с 13 агентными скиллами для создания пайплайнов видеоаналитики.

Вместо того чтобы вручную собирать пайплайн компьютерного зрения с нуля, достаточно описать нужный результат обычным естественным языком. Эти навыки можно использовать вместе с Claude Code или Codex, чтобы упростить настройку окружения, конфигурацию и запуск.

Среди новых скиллов — Multi-View 3D Tracking (MV3DT) для отслеживания объектов по данным с нескольких камер и AutoMagicCalib для автоматической калибровки сети камер.

В этом релизе также появилась поддержка NVIDIA JetPack 7.2 для edge-развёртывания на Jetson Orin и Thor. Всё опубликовано в открытом исходном коде на GitHub — подробнее здесь: https://nvda.ws/4vxQ6Yk