«Матричное дифференциальное исчисление для машинного обучения и не только» — бесплатный курс лекционных материалов MIT, посвящённый математике производных векторов и матриц.

Материалы охватывают градиенты, якобианы, производные матричных функций, дифференциалы, производные произведений матриц, обратных матриц и определителей, произведения Кронекера, оптимизацию и автоматическое дифференцирование. Также рассматривается применение этих методов в машинном обучении.

На мой взгляд, это полезный ресурс для тех, кто уже знаком с основами линейной алгебры и математического анализа и хочет разобраться, как дифференцирование обобщается на векторы и матрицы и применяется в современных задачах оптимизации.

https://ocw.mit.edu/courses/18-s096-matrix-calculus-for-machine-learning-and-beyond-january-iap-2023/mit18_s096iap23_lec_full.pdf

👉 @PythonPortal

NVIDIA действительно устранила одно из главных ограничений голосового ИИ.

Компания открыла исходный код PersonaPlex-7B — разговорной модели с полнодуплексным режимом, которая умеет одновременно слушать и говорить.

Вместо того чтобы ждать, пока пользователь закончит говорить, модель использует двухпоточную архитектуру для обработки речи и ответа в реальном времени.

Полностью открытый исходный код и бесплатное использование.

https://github.com/NVIDIA/personaplex

👉 @PythonPortal

Если ищете хороший видеокурс по 3D-математике для игр, в котором сочетаются теория и практика, вот он: https://wojtsterna.com/math-for-3d-programmers/

Первая часть курса длится 14 часов и доступна БЕСПЛАТНО. Недавно я разбил её на разделы, чтобы было проще проходить. Каждый — не дольше примерно 30 минут.

Весь курс — это внушительные 50 часов. Осилить его будет непросто, но, думаю, оно того стоит, если вы всерьёз хотите разобраться в 3D-математике.

👉 @PythonPortal

5 архитектур RAG

Большинство RAG-систем ломаются в одном и том же месте. Проблема не в модели, а в том, как находится контекст.

Базовый RAG строит эмбеддинги документов, находит ближайшие фрагменты и надеется, что в них есть ответ. Для простых вопросов это работает. Системам в продакшене нужно больше, и этот пробел заполняют пять архитектур.

Гибридный RAG выполняет два поиска одновременно. Плотные векторы улавливают смысл, а индекс ключевых слов BM25 находит точные термины, которые эмбеддинги часто упускают: коды товаров, имена, аббревиатуры. Метод Reciprocal Rank Fusion объединяет два ранжированных списка в один.

GraphRAG перестаёт рассматривать знания как изолированные фрагменты. Он извлекает сущности и связи между ними в граф знаний, затем находит релевантный подграф и сводки связанных кластеров. Он рассчитан на вопросы, ответы на которые охватывают несколько связанных фактов.

Агентный RAG превращает поиск в план действий. Агент-планировщик решает, какие инструменты использовать: векторный поиск, поиск в интернете или SQL-базу. Агент, отвечающий за рассуждения, объединяет результаты. Если подтверждений недостаточно, система возвращается к поиску.

Корректирующий RAG проверяет результаты собственного поиска. Агент-оценщик оценивает найденное до передачи модели. Релевантные результаты проходят дальше, нерелевантные запускают поиск в интернете, а при неоднозначной оценке запрос отправляется на переформулирование.

Мультимодальный RAG воспринимает документ не только как текст. Текст, изображения, графики и таблицы преобразуются в эмбеддинги и помещаются в общий индекс с помощью моделей вроде CLIP или ColPali. Так один запрос может найти абзац, схему или отсканированную таблицу.

Каждая архитектура устраняет свой тип сбоя:

Пропущенные ключевые слова → гибридный RAG
Недостающие связи → GraphRAG
Вопросы, требующие нескольких источников → агентный RAG
Ненадёжный поиск → корректирующий RAG
Знания в визуальных материалах → мультимодальный RAG

👉 @PythonPortal

Основатели ElevenLabs сейчас, должно быть, дрожат от страха…

Эти ребята только что выпустили голосовую ИИ-модель, которой можно управлять как настоящим актёром.

Больше не нужно вставлять странные специальные коды в текст. Просто пишете «произнеси это так, будто ты окончательно разочаровался в жизни», и модель делает именно это.

Почему это настолько круто:

- Одно слово прозвучало неправильно? Можно изменить только его, оставив всю остальную озвучку без изменений.
- Модель умеет переключаться между голосами прямо посреди предложения.
- Может озвучить целую сцену с несколькими персонажами по одному сценарию.
- Клонирует ваш голос и сохраняет его характер и манеру речи на других языках.

Модель поддерживает 83 языка, а её веса доступны для скачивания по лицензии Fish Audio Community License.

А чтобы продемонстрировать возможности модели, разработчики клонировали голос Uncle Roger и заставили его на протяжении всего ролика разносить собственный жареный рис.

Ахах, это просто прекрасно.

👉 @PythonPortal

Теперь можно просто загрузить изображение и посмотреть, как нейросеть определяет, что на нём изображено.

CNN Explainer позволяет проследить весь процесс обработки:

Пиксели → свёртка → ReLU → пулинг → карты признаков → softmax → предсказание.

Можно переходить между слоями нейросети и изучать фильтры, активации и вычисления, на основе которых формируется результат.

Отличный способ наглядно разобраться в работе свёрточных нейросетей (CNN).

https://poloclub.github.io/cnn-explainer/

👉 @PythonPortal

Найти все субдомены сайта можно с помощью одного URL.

Этот трюк с CRT позволяет получить список субдоменов, связанных с основным доменом, используя публичные данные сертификатов.

Просто откройте:
https://crt.name/v1/search?apex=[domain-name-here]

Замените [domain-name-here] на домен, который хотите проверить, и сервис покажет соответствующие субдомены.

👉 @PythonPortal

У Nvidia есть открытая модель мира на 2,6 млрд параметров.

Она позволяет превратить изображение, текстовый промпт и траекторию движения камеры в управляемый виртуальный мир.

И всё это на одном GPU.

- Код доступен на GitHub.
- Научная статья опубликована на arXiv.
- Подходит для исследований воплощённого ИИ, робототехники и симуляций.

Модель работает на GPU вроде RTX 5090 или H100, позволяя экспериментировать с моделями мира без необходимости использовать несколько видеокарт.

https://github.com/NVlabs/Sana

👉 @PythonPortal

Python стал ещё ленивее. 😌

👉 @PythonPortal

API для извлечения данных с любых сайтов, даже защищённых CAPTCHA или блокирующих ботов.

- /scrape — извлекает и разбирает содержимое страницы.
- /crawl — обходит сайт, переходя по ссылкам.
- /search — выполняет поиск в реальном времени.
- /map — собирает список URL-адресов.

10 000 запросов в месяц бесплатно и без привязки банковской карты.

→ https://midu.link/decodo

👉 @PythonPortal

Вот это действительно хорошая модель для генерации изображений. MOSS Image с 5 млрд параметров, распространяемая по лицензии Apache 2.0.

Уже сейчас модель практически не ограничена цензурой!

https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base
https://huggingface.co/OpenMOSS-Team/MOSS-Image-SFT

👉 @PythonPortal