«Основы компьютерного зрения» — бесплатная онлайн-книга издательства MIT Press, которая даёт широкое введение в компьютерное зрение с точки зрения обработки изображений и машинного обучения.

В ней разбираются формирование изображений, обучение и обратное распространение ошибки, фильтрация изображений и анализ Фурье, CNN, RNN и трансформеры, генеративные модели, обучение представлений, трёхмерная геометрия, оценка движения, распознавание объектов, модели, работающие с изображениями и текстом, и многое другое.

Особенно мне нравится, что вся книга доступна прямо в HTML: с понятной и удобной вёрсткой, множеством схем и визуализаций, которые помогают разобраться в концепциях.

https://visionbook.mit.edu

Начни изучать программирование GPU с одной полностью анимированной лекции на YouTube. Это первое видео в серии о программировании GPU с Triton.

Каждая идея объясняется наглядно, с помощью анимации — как в GIF из этого поста, только на протяжении целого часа.

Ты каждый день пишешь c = a + b в PyTorch. Эта лекция показывает, что GPU на самом деле делает с этим выражением.

В лекции разбираются:

— Как GPU встроен в компьютер: PCIe, NVLink, серверы и кластеры.
— Что внутри NVIDIA H100: потоковые мультипроцессоры, вычислительные линии FP32, планировщик варпов, тензорные ядра и разделяемая память.
— Потоки, варпы, блоки и сетки — и как каждый поток находит свой элемент.
— Память: SRAM и DRAM, DDR, GDDR и HBM, кеши, задержка и пропускная способность.
— Как ускорить работу с памятью: скрытие задержек, объединение обращений к памяти и слияние ядер.
— Зачем нужен Triton и как он позволяет мыслить тайлами вместо потоков.
— Ограничения по пропускной способности памяти и вычислительной мощности, арифметическая интенсивность и модель Roofline.
— Механизм внимания, матрица N × N и то, как FlashAttention решает связанную с ней проблему.

Знание CUDA и устройства железа не требуется.

Что дальше:

— Лекция 2: построчно напишем наше первое ядро на Triton для сложения векторов. Опубликую через несколько дней.
— Новые лекции о программировании GPU и оптимизации инференса.
— Запланированная серия о глубоком обучении для аудио.

Полная лекция:
https://youtu.be/dEZP1qUNTOk

«Разбираемся в трансформерах и механизмах внимания» — краткое математическое введение в механизм внимания, одну из ключевых идей современных языковых моделей.

Документ разбирает токенизацию и эмбеддинги, запросы, ключи и значения, оценки и веса внимания, многоголовое внимание, самовнимание, причинное внимание и маскирование, перекрёстное внимание и базовую структуру архитектуры Transformer.

Также в нём представлены важные методы, которые делают механизм внимания в современных LLM эффективнее: KV-кеширование, внимание с группировкой запросов (GQA), многозапросное внимание (MQA) и латентное внимание.

https://arxiv.org/pdf/2604.00965

Видеолекции от Раджа Дандекаря:

— Создаём LLM с нуля
— Создаём DeepSeek с нуля
— Принципы диффузионных моделей
— Создаём диффузионную языковую модель с нуля

Google выпустила EmbeddingGemma 2.

Это первая открытая мультимодальная модель для эмбеддингов, изначально работающая с текстом, кодом, изображениями, видео и аудио.

740 млн параметров. Модульная архитектура. Модель создана для запуска прямо на устройстве, а не в дата-центре.

При этом она обходит некоторые специализированные модели, которые более чем вдвое крупнее.

В паре с Gemma 4 можно собрать полностью локальный RAG с упором на приватность.

https://huggingface.co/google/embeddinggemma-2

https://huggingface.co/unsloth/embeddinggemma-2-GGUF

1. Математические основы машинного обучения
https://t.co/6jaPNJW9wH

2. Математические основы генеративных моделей
https://t.co/LTmMWZcZNS

3. Математические основы генеративного ИИ
https://t.co/EURxtNfMmx

Тестируйте торговые стратегии на основе машинного обучения на исторических рыночных данных, прежде чем рисковать реальными деньгами.

- Проверяйте стратегии на множестве финансовых инструментов одновременно.
- Обучайте модели, имитирующие реальную торговлю.
- Получайте рыночные данные из Yahoo и Alpaca.

https://github.com/edtechre/pybroker

ПИД-регулирование — одна из тех идей, которые кажутся просто уравнением, пока не увидишь, как движется настоящий робот. Представь, что ты задаёшь роботизированной руке траекторию. Регулятор постоянно задаёт один вопрос: где должен находиться сустав и где он находится сейчас? Разница — это ошибка. Пропорциональная составляющая реагирует на текущую ошибку. Большая ошибка — сильная коррекция, маленькая — мягкая. Если слишком увеличить её коэффициент, робот начнёт двигаться резко, проскакивать целевое положение и колебаться.

Интегральная составляющая помнит прошлое. Если из-за силы тяжести, трения или постоянного внешнего воздействия сустав всё время немного не достигает заданного положения, пропорциональная составляющая может оставлять устойчивую ошибку. Интегральная составляющая накапливает эту ошибку со временем и усиливает коррекцию, пока отклонение не исчезнет. Дифференциальная составляющая смотрит в другую сторону: ей важно, насколько быстро меняется ошибка. Если робот приближается к цели слишком быстро, она противодействует этому движению. Представь пропорциональную составляющую как пружину, интегральную — как память, а дифференциальную — как демпфер.

Интересно, что ПИД-регулятор — это, по сути, крошечный интеллектуальный цикл с обратной связью. Наблюдать за системой, сравнивать реальность с заданной целью, вычислять ошибку, воздействовать на систему и снова наблюдать. Если повторять это сотни или тысячи раз в секунду, двигатель, который ничего не знает о траекториях, становится точно управляемым суставом. Объедини такие контуры управления по всему роботу — и электрическая энергия начнёт превращаться в согласованные движения. Прежде чем изучать экзотические алгоритмы управления, глубоко разберись в ПИД-регулировании. Оно раскрывает главную идею управления: постоянно использовать обратную связь от реального мира, чтобы корректировать свою модель того, что должно происходить.