1. Математические основы машинного обучения
https://t.co/6jaPNJW9wH
2. Математические основы генеративных моделей
https://t.co/LTmMWZcZNS
3. Математические основы генеративного ИИ
https://t.co/EURxtNfMmx
https://t.co/6jaPNJW9wH
2. Математические основы генеративных моделей
https://t.co/LTmMWZcZNS
3. Математические основы генеративного ИИ
https://t.co/EURxtNfMmx
Тестируйте торговые стратегии на основе машинного обучения на исторических рыночных данных, прежде чем рисковать реальными деньгами.
- Проверяйте стратегии на множестве финансовых инструментов одновременно.
- Обучайте модели, имитирующие реальную торговлю.
- Получайте рыночные данные из Yahoo и Alpaca.
https://github.com/edtechre/pybroker
- Проверяйте стратегии на множестве финансовых инструментов одновременно.
- Обучайте модели, имитирующие реальную торговлю.
- Получайте рыночные данные из Yahoo и Alpaca.
https://github.com/edtechre/pybroker
ПИД-регулирование — одна из тех идей, которые кажутся просто уравнением, пока не увидишь, как движется настоящий робот. Представь, что ты задаёшь роботизированной руке траекторию. Регулятор постоянно задаёт один вопрос: где должен находиться сустав и где он находится сейчас? Разница — это ошибка. Пропорциональная составляющая реагирует на текущую ошибку. Большая ошибка — сильная коррекция, маленькая — мягкая. Если слишком увеличить её коэффициент, робот начнёт двигаться резко, проскакивать целевое положение и колебаться.
Интегральная составляющая помнит прошлое. Если из-за силы тяжести, трения или постоянного внешнего воздействия сустав всё время немного не достигает заданного положения, пропорциональная составляющая может оставлять устойчивую ошибку. Интегральная составляющая накапливает эту ошибку со временем и усиливает коррекцию, пока отклонение не исчезнет. Дифференциальная составляющая смотрит в другую сторону: ей важно, насколько быстро меняется ошибка. Если робот приближается к цели слишком быстро, она противодействует этому движению. Представь пропорциональную составляющую как пружину, интегральную — как память, а дифференциальную — как демпфер.
Интересно, что ПИД-регулятор — это, по сути, крошечный интеллектуальный цикл с обратной связью. Наблюдать за системой, сравнивать реальность с заданной целью, вычислять ошибку, воздействовать на систему и снова наблюдать. Если повторять это сотни или тысячи раз в секунду, двигатель, который ничего не знает о траекториях, становится точно управляемым суставом. Объедини такие контуры управления по всему роботу — и электрическая энергия начнёт превращаться в согласованные движения. Прежде чем изучать экзотические алгоритмы управления, глубоко разберись в ПИД-регулировании. Оно раскрывает главную идею управления: постоянно использовать обратную связь от реального мира, чтобы корректировать свою модель того, что должно происходить.
Интегральная составляющая помнит прошлое. Если из-за силы тяжести, трения или постоянного внешнего воздействия сустав всё время немного не достигает заданного положения, пропорциональная составляющая может оставлять устойчивую ошибку. Интегральная составляющая накапливает эту ошибку со временем и усиливает коррекцию, пока отклонение не исчезнет. Дифференциальная составляющая смотрит в другую сторону: ей важно, насколько быстро меняется ошибка. Если робот приближается к цели слишком быстро, она противодействует этому движению. Представь пропорциональную составляющую как пружину, интегральную — как память, а дифференциальную — как демпфер.
Интересно, что ПИД-регулятор — это, по сути, крошечный интеллектуальный цикл с обратной связью. Наблюдать за системой, сравнивать реальность с заданной целью, вычислять ошибку, воздействовать на систему и снова наблюдать. Если повторять это сотни или тысячи раз в секунду, двигатель, который ничего не знает о траекториях, становится точно управляемым суставом. Объедини такие контуры управления по всему роботу — и электрическая энергия начнёт превращаться в согласованные движения. Прежде чем изучать экзотические алгоритмы управления, глубоко разберись в ПИД-регулировании. Оно раскрывает главную идею управления: постоянно использовать обратную связь от реального мира, чтобы корректировать свою модель того, что должно происходить.
This media is not supported in your browser
VIEW IN TELEGRAM
Бен Аффлек: «Я всегда увлекался компьютерами. Даже могу писать всякие кривые скрипты на Python».
Интервьюер: Ахах.
Бен: «Ну, сначала, само собой, преобразуем изображение в тензор, где хранятся значения RGB для каждого пикселя, а также измерения батча и кадров».
Интервьюер: wtf?
Бен: «Потом прогоняем всё это через свёрточную нейросеть, чтобы выделить границы и извлечь признаки».
Интервьюер: Сидит с отвисшей челюстью.
Бен: «Да ничего сложного».
Будь как он, будь как Бэтмен.
Please open Telegram to view this post
VIEW IN TELEGRAM
Один из главных моментов, когда я по-настоящему понял, как работают трансформеры:
«Перестаньте думать о трансформере как о конвейере, где каждый слой преобразует выход предыдущего».
«Начните думать о нём как об остаточном потоке».
У каждого блока трансформера есть остаточная связь, которая прибавляет вход блока к его выходу:
x′ = f(x) + x
Из-за этого сложения блок внимания или MLP внутри слоя — функция f в формуле выше — на самом деле НЕ преобразует вход. Вместо этого он вычисляет информацию, которую нужно ДОБАВИТЬ ко входу, прежде чем передать его следующему блоку!
Представьте основную часть трансформера как общую доску. Каждый блок читает с неё то, что ему нужно, и дописывает свои заметки. Все изменения — это добавления.
Более того, слои могут обмениваться информацией на расстоянии. Блок в первом слое может записать информацию, а блок в пятом — прочитать её, хотя прямого соединения между ними нет.
За эти идеи спасибо старой статье Anthropic об устройстве трансформеров: transformer-circuits.pub/2021/framework
«Перестаньте думать о трансформере как о конвейере, где каждый слой преобразует выход предыдущего».
«Начните думать о нём как об остаточном потоке».
У каждого блока трансформера есть остаточная связь, которая прибавляет вход блока к его выходу:
x′ = f(x) + x
Из-за этого сложения блок внимания или MLP внутри слоя — функция f в формуле выше — на самом деле НЕ преобразует вход. Вместо этого он вычисляет информацию, которую нужно ДОБАВИТЬ ко входу, прежде чем передать его следующему блоку!
Представьте основную часть трансформера как общую доску. Каждый блок читает с неё то, что ему нужно, и дописывает свои заметки. Все изменения — это добавления.
Более того, слои могут обмениваться информацией на расстоянии. Блок в первом слое может записать информацию, а блок в пятом — прочитать её, хотя прямого соединения между ними нет.
За эти идеи спасибо старой статье Anthropic об устройстве трансформеров: transformer-circuits.pub/2021/framework
Видеолекции от Sreedath Panat:
- Computer Vision from Scratch — https://t.co/0PDEOfbufP
- Transformers for Vision and Multimodal LLMs — https://t.co/ykVpXV2abn
- Foundations for Machine Learning — https://t.co/b6GB1NQd0K
- Explainable AI — https://t.co/FsbTRUiBVY
- Computer Vision from Scratch — https://t.co/0PDEOfbufP
- Transformers for Vision and Multimodal LLMs — https://t.co/ykVpXV2abn
- Foundations for Machine Learning — https://t.co/b6GB1NQd0K
- Explainable AI — https://t.co/FsbTRUiBVY
Samsung открыла исходный код LittleBit — метода, который позволяет сжать языковую модель с 13 млрд параметров до размера менее 1 ГБ.
Вместо хранения весов в виде обычных чисел LittleBit использует скрытую факторизацию, снижая объём данных до менее одного бита на вес. В некоторых конфигурациях — до 0,1 бита.
Но самое интересное — как устроены вычисления.
При таком сжатии LittleBit заменяет ключевые операции умножения чисел с плавающей точкой побитовой операцией XOR. Сложные матричные вычисления сводятся к простому изменению знаков.
По заявленным результатам, это ускоряет выполнение модели до 11,6 раза по сравнению с FP16, резко сокращает потребление памяти и объём данных при загрузке.
При этом метод сохраняет устойчивость даже при менее чем 0,5 бита на вес — там, где предыдущие методы сжатия полностью проваливаются.
https://arxiv.org/abs/2506.13771
Вместо хранения весов в виде обычных чисел LittleBit использует скрытую факторизацию, снижая объём данных до менее одного бита на вес. В некоторых конфигурациях — до 0,1 бита.
Но самое интересное — как устроены вычисления.
При таком сжатии LittleBit заменяет ключевые операции умножения чисел с плавающей точкой побитовой операцией XOR. Сложные матричные вычисления сводятся к простому изменению знаков.
По заявленным результатам, это ускоряет выполнение модели до 11,6 раза по сравнению с FP16, резко сокращает потребление памяти и объём данных при загрузке.
При этом метод сохраняет устойчивость даже при менее чем 0,5 бита на вес — там, где предыдущие методы сжатия полностью проваливаются.
https://arxiv.org/abs/2506.13771
Microsoft выпустила CABRA — инструмент для оценки возможностей ИИ-агентов в программировании.
CABRA генерирует синтетические задачи на основе графов вызовов функций и постепенно увеличивает их сложность, чтобы выяснить, на каких задачах агенты начинают испытывать трудности.
Обычные языковые модели резко теряют эффективность по мере усложнения задач. Агенты же почти не замечают разницы: они просто пишут скрипт с использованием grep или AST и продолжают работу.
https://github.com/microsoft/CABRA
CABRA генерирует синтетические задачи на основе графов вызовов функций и постепенно увеличивает их сложность, чтобы выяснить, на каких задачах агенты начинают испытывать трудности.
Обычные языковые модели резко теряют эффективность по мере усложнения задач. Агенты же почти не замечают разницы: они просто пишут скрипт с использованием grep или AST и продолжают работу.
https://github.com/microsoft/CABRA
GitHub
GitHub - microsoft/CABRA
Contribute to microsoft/CABRA development by creating an account on GitHub.
Это одна из самых полезных и реалистичных схем структуры репозитория для ИИ-приложений в продакшене.
Она охватывает всю инженерную часть вокруг LLM: от обработки запросов и интеграции моделей до безопасности, наблюдаемости, оценки качества и деплоя.
У каждой части своя чёткая зона ответственности:
api/ — обработка запросов, типизированные схемы, аутентификация и ограничения частоты запросов.
application/ — рабочие процессы, бизнес-правила, бюджеты и проверка выходных данных.
providers/ — интеграции моделей, предельное время выполнения, ограниченное число повторных попыток и отмена запросов.
security/ — идентификация, изоляция клиентов, контроль доступа и разрешения на использование инструментов.
prompts/ — шаблоны, требования к входным данным, конфигурация моделей и ссылки на версии.
observability/ — трассировка запросов, задержки, ошибки, использование моделей и стоимость.
evals/ — версионируемые наборы данных, проверки качества, приёмочные тесты на отложенных данных и выборочная оценка результатов из продакшена.
tests/ — модульные и интеграционные тесты, проверки безопасности и сценариев сбоев.
deploy/ — сборки, инфраструктура, проверки работоспособности и безопасное развёртывание обновлений.
RAG, агенты, кеширование, выполнение инструментов, хранение данных и фоновые обработчики выделены в отдельные возможности, которые подключаются в зависимости от задач приложения.
Некоторым приложениям они нужны с первого дня. Продукт, активно использующий поиск по данным, может зависеть от RAG, а приложение с агентами — от выполнения инструментов и оркестрации. Эта структура подходит для обоих случаев, не навязывая всем приложениям одну архитектуру.
Запрос к модели может не уложиться в отведённое время. Пользователь может запросить данные, к которым у него нет доступа. Изменения модели или промпта могут ухудшить качество ответов, не сломав ни одного модульного теста.
Приложение должно обрабатывать такие ситуации, соблюдать права доступа и давать инженерам достаточно трассировок, тестов и проверок качества, чтобы выявлять проблемы до и после деплоя.
Сама по себе структура репозитория ничего из этого не обеспечит. Она лишь отводит каждой из этих задач понятное место в кодовой базе.
Начинайте с малого. Добавляйте возможности, когда они нужны продукту.
Она охватывает всю инженерную часть вокруг LLM: от обработки запросов и интеграции моделей до безопасности, наблюдаемости, оценки качества и деплоя.
У каждой части своя чёткая зона ответственности:
api/ — обработка запросов, типизированные схемы, аутентификация и ограничения частоты запросов.
application/ — рабочие процессы, бизнес-правила, бюджеты и проверка выходных данных.
providers/ — интеграции моделей, предельное время выполнения, ограниченное число повторных попыток и отмена запросов.
security/ — идентификация, изоляция клиентов, контроль доступа и разрешения на использование инструментов.
prompts/ — шаблоны, требования к входным данным, конфигурация моделей и ссылки на версии.
observability/ — трассировка запросов, задержки, ошибки, использование моделей и стоимость.
evals/ — версионируемые наборы данных, проверки качества, приёмочные тесты на отложенных данных и выборочная оценка результатов из продакшена.
tests/ — модульные и интеграционные тесты, проверки безопасности и сценариев сбоев.
deploy/ — сборки, инфраструктура, проверки работоспособности и безопасное развёртывание обновлений.
RAG, агенты, кеширование, выполнение инструментов, хранение данных и фоновые обработчики выделены в отдельные возможности, которые подключаются в зависимости от задач приложения.
Некоторым приложениям они нужны с первого дня. Продукт, активно использующий поиск по данным, может зависеть от RAG, а приложение с агентами — от выполнения инструментов и оркестрации. Эта структура подходит для обоих случаев, не навязывая всем приложениям одну архитектуру.
Запрос к модели может не уложиться в отведённое время. Пользователь может запросить данные, к которым у него нет доступа. Изменения модели или промпта могут ухудшить качество ответов, не сломав ни одного модульного теста.
Приложение должно обрабатывать такие ситуации, соблюдать права доступа и давать инженерам достаточно трассировок, тестов и проверок качества, чтобы выявлять проблемы до и после деплоя.
Сама по себе структура репозитория ничего из этого не обеспечит. Она лишь отводит каждой из этих задач понятное место в кодовой базе.
Начинайте с малого. Добавляйте возможности, когда они нужны продукту.
This media is not supported in your browser
VIEW IN TELEGRAM
Крошечная ИИ-модель на 0,5 млрд параметров превратила обычное видео с телефона в 3D-модель комнаты с разметкой.
Это SpatialLM: она распознаёт стены, двери, мебель и понимает, как всё расположено в пространстве. Её обучали как обычную мультимодальную языковую модель.
Большинство моделей компьютерного зрения видят пиксели. SpatialLM видит пространство.
Открытые модели:
https://t.co/kGXjHkIdiE
Это SpatialLM: она распознаёт стены, двери, мебель и понимает, как всё расположено в пространстве. Её обучали как обычную мультимодальную языковую модель.
Большинство моделей компьютерного зрения видят пиксели. SpatialLM видит пространство.
Открытые модели:
https://t.co/kGXjHkIdiE
«Graph Theory with Applications» — бесплатный учебник, который даёт всестороннее введение в теорию графов и её практическое применение.
Книга начинается с базовых понятий: графов, подграфов, путей, циклов, деревьев и связности. Затем переходит к более сложным темам: эйлеровым и гамильтоновым графам, паросочетаниям, раскраске графов, планарным и ориентированным графам, сетевым потокам и экстремальной теории графов.
Особенно полезно то, что авторы сочетают наглядное, геометрическое и топологическое понимание графов со строгим изложением математических основ.
Это делает книгу ценным ресурсом для изучения теории, лежащей в основе многих современных приложений графов в информатике, компьютерных сетях, оптимизации, анализе данных и смежных областях.
Книга: https://book.huihoo.com/pdf/graph-theory-with-applications.pdf
Книга начинается с базовых понятий: графов, подграфов, путей, циклов, деревьев и связности. Затем переходит к более сложным темам: эйлеровым и гамильтоновым графам, паросочетаниям, раскраске графов, планарным и ориентированным графам, сетевым потокам и экстремальной теории графов.
Особенно полезно то, что авторы сочетают наглядное, геометрическое и топологическое понимание графов со строгим изложением математических основ.
Это делает книгу ценным ресурсом для изучения теории, лежащей в основе многих современных приложений графов в информатике, компьютерных сетях, оптимизации, анализе данных и смежных областях.
Книга: https://book.huihoo.com/pdf/graph-theory-with-applications.pdf
«Scaling Laws, Carefully» — отличная статья Лилиан Венг, посвящённая математическим основам законов масштабирования в глубоком обучении. В ней объясняется, как качество моделей зависит от количества параметров, объёма обучающих данных и вычислительных ресурсов.
Статья охватывает степенные зависимости, законы масштабирования Каплана и Chinchilla, оптимальное использование вычислительных ресурсов при обучении, ограничения обучающих данных и сложности прогнозирования качества более крупных моделей.
В материале представлены формулы, результаты экспериментов и ссылки на оригинальные научные работы. Это очень полезный ресурс для понимания математики, лежащей в основе масштабирования больших языковых моделей.
https://lilianweng.github.io/posts/2026-06-24-scaling-laws/
Статья охватывает степенные зависимости, законы масштабирования Каплана и Chinchilla, оптимальное использование вычислительных ресурсов при обучении, ограничения обучающих данных и сложности прогнозирования качества более крупных моделей.
В материале представлены формулы, результаты экспериментов и ссылки на оригинальные научные работы. Это очень полезный ресурс для понимания математики, лежащей в основе масштабирования больших языковых моделей.
https://lilianweng.github.io/posts/2026-06-24-scaling-laws/
Сейчас в сфере ИИ есть два карьерных пути:
Первый — разработчик, который умеет создавать приложения с помощью API языковых моделей.
Второй — архитектор, который понимает, как устроены сами языковые модели и системы на их основе.
Если хотите двигаться в сторону второго, у Стэнфорда есть один из лучших бесплатных курсов по разработке LLM — CS336: Language Modeling from Scratch.
Курс 2026 года состоит из 18 лекций и охватывает практически весь технологический стек языковых моделей:
— Архитектура моделей: токенизация, трансформеры, различные архитектуры и MoE.
— Аппаратное обеспечение: FLOPs, память, GPU и TPU.
— Оптимизация производительности: Triton, GPU-ядра, параллелизм и распределённое обучение.
— Обучение моделей: законы масштабирования, сбор, фильтрация и дедупликация данных.
— Запуск моделей: инференс и оценка качества.
— Дообучение: SFT, RLHF и RLVR.
Отдельно рассматривается мультимодальность.
Причём обучение не ограничивается просмотром лекций. Студенты самостоятельно реализуют токенизатор, трансформер и оптимизатор, пишут FlashAttention2 на Triton, создают систему распределённого обучения с эффективным использованием памяти и превращают сырые данные Common Crawl в датасет для предобучения.
Также они экспериментально определяют закон масштабирования и используют SFT вместе с обучением с подкреплением, чтобы научить языковую модель решать математические задачи.
По словам Стэнфорда, на этом курсе студенты пишут как минимум на порядок больше кода, чем на большинстве других курсов по ИИ.
Stanford CS336, весна 2026 года. 18 лекций, бесплатно на YouTube.
https://www.youtube.com/playlist?list=PLoROMvodv4rMqXOcazWaTUHhq-yembLCV
Выбирайте свой путь.
Первый — разработчик, который умеет создавать приложения с помощью API языковых моделей.
Второй — архитектор, который понимает, как устроены сами языковые модели и системы на их основе.
Если хотите двигаться в сторону второго, у Стэнфорда есть один из лучших бесплатных курсов по разработке LLM — CS336: Language Modeling from Scratch.
Курс 2026 года состоит из 18 лекций и охватывает практически весь технологический стек языковых моделей:
— Архитектура моделей: токенизация, трансформеры, различные архитектуры и MoE.
— Аппаратное обеспечение: FLOPs, память, GPU и TPU.
— Оптимизация производительности: Triton, GPU-ядра, параллелизм и распределённое обучение.
— Обучение моделей: законы масштабирования, сбор, фильтрация и дедупликация данных.
— Запуск моделей: инференс и оценка качества.
— Дообучение: SFT, RLHF и RLVR.
Отдельно рассматривается мультимодальность.
Причём обучение не ограничивается просмотром лекций. Студенты самостоятельно реализуют токенизатор, трансформер и оптимизатор, пишут FlashAttention2 на Triton, создают систему распределённого обучения с эффективным использованием памяти и превращают сырые данные Common Crawl в датасет для предобучения.
Также они экспериментально определяют закон масштабирования и используют SFT вместе с обучением с подкреплением, чтобы научить языковую модель решать математические задачи.
По словам Стэнфорда, на этом курсе студенты пишут как минимум на порядок больше кода, чем на большинстве других курсов по ИИ.
Stanford CS336, весна 2026 года. 18 лекций, бесплатно на YouTube.
https://www.youtube.com/playlist?list=PLoROMvodv4rMqXOcazWaTUHhq-yembLCV
Выбирайте свой путь.
Reasoning From Scratch: обучение с подкреплением с проверяемыми наградами (RLVR), часть 2. Разбираем ограничение отношений вероятностей политик, KL-слагаемое в функции потерь, награды за формат ответа и другие приёмы работы с GRPO.
00:00 Введение и повторение пройденного
01:52 Интерпретация основных метрик обучения GRPO
06:34 Планируемые улучшения GRPO
08:58 Запуск длительного обучения с помощью Python-скриптов
13:39 Запуск базового скрипта обучения GRPO
17:29 Загрузка журналов обучения и построение графиков
19:29 Диагностика нестабильного обучения
23:55 Оценка контрольных точек модели на MATH-500
26:26 Скачивание готовых контрольных точек модели
30:09 Отслеживание статистики преимущества
34:53 Что такое энтропия
40:32 Вычисление энтропии в PyTorch
44:17 Интерпретация значений энтропии
48:58 Добавление отслеживания энтропии в GRPO
53:36 Анализ метрик преимущества и энтропии
56:18 Стабилизация GRPO с помощью ограничения отношений вероятностей политик
1:03:27 Реализация функции потерь политики с ограничением
1:09:39 Анализ результатов обучения с ограничением отношений вероятностей политик
1:11:25 KL-дивергенция и обход системы наград
1:15:12 Добавление KL-слагаемого в функцию потерь
1:20:34 Ограничения упрощённой функции потерь с KL
1:23:04 Награды за формат ответа и теги think
1:25:47 Добавление специальных токенов в токенизатор
1:30:29 Реализация награды за формат ответа
1:35:56 Анализ обучения с наградой за формат ответа
1:38:25 Награда за формат только при правильном ответе
1:40:48 Дальнейшие улучшения GRPO из исследований
1:45:43 Следующие шаги и дистилляция
https://youtu.be/VxfUrUrrczs?si=2suHmPhPic6JC_xU
00:00 Введение и повторение пройденного
01:52 Интерпретация основных метрик обучения GRPO
06:34 Планируемые улучшения GRPO
08:58 Запуск длительного обучения с помощью Python-скриптов
13:39 Запуск базового скрипта обучения GRPO
17:29 Загрузка журналов обучения и построение графиков
19:29 Диагностика нестабильного обучения
23:55 Оценка контрольных точек модели на MATH-500
26:26 Скачивание готовых контрольных точек модели
30:09 Отслеживание статистики преимущества
34:53 Что такое энтропия
40:32 Вычисление энтропии в PyTorch
44:17 Интерпретация значений энтропии
48:58 Добавление отслеживания энтропии в GRPO
53:36 Анализ метрик преимущества и энтропии
56:18 Стабилизация GRPO с помощью ограничения отношений вероятностей политик
1:03:27 Реализация функции потерь политики с ограничением
1:09:39 Анализ результатов обучения с ограничением отношений вероятностей политик
1:11:25 KL-дивергенция и обход системы наград
1:15:12 Добавление KL-слагаемого в функцию потерь
1:20:34 Ограничения упрощённой функции потерь с KL
1:23:04 Награды за формат ответа и теги think
1:25:47 Добавление специальных токенов в токенизатор
1:30:29 Реализация награды за формат ответа
1:35:56 Анализ обучения с наградой за формат ответа
1:38:25 Награда за формат только при правильном ответе
1:40:48 Дальнейшие улучшения GRPO из исследований
1:45:43 Следующие шаги и дистилляция
https://youtu.be/VxfUrUrrczs?si=2suHmPhPic6JC_xU
X (formerly Twitter)
Sebastian Raschka (@rasbt) on X
Reasoning From Scratch: Reinforcement Learning with Verifiable Rewards (RLVR) round 2.
Covering clipped policy ratios, KL loss term, format rewards, and other GRPO tips & tricks.
00:00 Introducti…
Covering clipped policy ratios, KL loss term, format rewards, and other GRPO tips & tricks.
00:00 Introducti…
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA действительно устранила одно из главных ограничений голосового ИИ.
Компания открыла исходный код PersonaPlex-7B — разговорной модели с полнодуплексным режимом, которая умеет одновременно слушать и говорить.
Вместо того чтобы ждать, пока пользователь закончит говорить, модель использует двухпоточную архитектуру для обработки речи и ответа в реальном времени.
Полностью открытый исходный код и бесплатное использование.
https://github.com/NVIDIA/personaplex
Компания открыла исходный код PersonaPlex-7B — разговорной модели с полнодуплексным режимом, которая умеет одновременно слушать и говорить.
Вместо того чтобы ждать, пока пользователь закончит говорить, модель использует двухпоточную архитектуру для обработки речи и ответа в реальном времени.
Полностью открытый исходный код и бесплатное использование.
https://github.com/NVIDIA/personaplex
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA выпустила мультимодальную аудиомодель на 2 млрд параметров, которая не просто распознаёт речь, но и понимает окружающие звуки.
Одна модель объединяет транскрибацию, перевод речи, распознавание звуков, ответы на вопросы по аудио, синтез речи и полноценное преобразование речи в речь.
Веса модели открыты.
https://huggingface.co/spaces/nvidia/Nemotron-Labs-Audex
Одна модель объединяет транскрибацию, перевод речи, распознавание звуков, ответы на вопросы по аудио, синтез речи и полноценное преобразование речи в речь.
Веса модели открыты.
https://huggingface.co/spaces/nvidia/Nemotron-Labs-Audex
«Матричное дифференциальное исчисление для машинного обучения и не только» — бесплатный курс лекционных материалов MIT, посвящённый математике производных векторов и матриц.
Материалы охватывают градиенты, якобианы, производные матричных функций, дифференциалы, производные произведений матриц, обратных матриц и определителей, произведения Кронекера, оптимизацию и автоматическое дифференцирование. Также рассматривается применение этих методов в машинном обучении.
На мой взгляд, это полезный ресурс для тех, кто уже знаком с основами линейной алгебры и математического анализа и хочет разобраться, как дифференцирование обобщается на векторы и матрицы и применяется в современных задачах оптимизации.
https://ocw.mit.edu/courses/18-s096-matrix-calculus-for-machine-learning-and-beyond-january-iap-2023/mit18_s096iap23_lec_full.pdf
Материалы охватывают градиенты, якобианы, производные матричных функций, дифференциалы, производные произведений матриц, обратных матриц и определителей, произведения Кронекера, оптимизацию и автоматическое дифференцирование. Также рассматривается применение этих методов в машинном обучении.
На мой взгляд, это полезный ресурс для тех, кто уже знаком с основами линейной алгебры и математического анализа и хочет разобраться, как дифференцирование обобщается на векторы и матрицы и применяется в современных задачах оптимизации.
https://ocw.mit.edu/courses/18-s096-matrix-calculus-for-machine-learning-and-beyond-january-iap-2023/mit18_s096iap23_lec_full.pdf
This media is not supported in your browser
VIEW IN TELEGRAM
Motion2MixamoRig — инструмент с открытым исходным кодом, который использует машинное обучение для восстановления движений человека по обычному видео и переноса их на 3D-персонажа.
Проект также умеет восстанавливать 3D-позы по фотографиям. Для оценки движений используется модель GVHMR.
Результат можно экспортировать в формате GLB и использовать в Blender или Unity. Для Blender 4.2+ уже доступно отдельное расширение.
https://github.com/MaxLiu22/Motion2MixamoRig
Проект также умеет восстанавливать 3D-позы по фотографиям. Для оценки движений используется модель GVHMR.
Результат можно экспортировать в формате GLB и использовать в Blender или Unity. Для Blender 4.2+ уже доступно отдельное расширение.
https://github.com/MaxLiu22/Motion2MixamoRig
Сегодня прочитал отличный материал по Harness Engineering — проектированию инфраструктуры для ИИ-агентов.
В нём подробно объясняется, как устроены и создаются ИИ-агенты. Рассматриваются такие темы, как:
- Управление контекстом и памятью.
- Инструменты и MCP.
- Оркестрация агентов.
- Безопасность и управление разрешениями.
- Валидация, наблюдаемость и обработка ошибок.
Отличный ресурс для понимания того, что стоит за работой таких агентов, как Claude Code и Codex.
Документ: https://drive.google.com/file/d/1PT-P2PVoiZpfYoe5eWks1_DGt2aSvbDh/view
В нём подробно объясняется, как устроены и создаются ИИ-агенты. Рассматриваются такие темы, как:
- Управление контекстом и памятью.
- Инструменты и MCP.
- Оркестрация агентов.
- Безопасность и управление разрешениями.
- Валидация, наблюдаемость и обработка ошибок.
Отличный ресурс для понимания того, что стоит за работой таких агентов, как Claude Code и Codex.
Документ: https://drive.google.com/file/d/1PT-P2PVoiZpfYoe5eWks1_DGt2aSvbDh/view