Один из лучших ресурсов по производительности SQL:

use-the-index-luke.com

👉 @PythonPortal

Tencent выпустила новую модель для перевода, которая, по их словам, обходит Google Translate. И самое интересное — она работает прямо на телефоне без интернета.

Модель полностью открытая, весит всего 440 МБ и поддерживает 33 языка.

Весь перевод идёт локально на устройстве. Никакого облака, никакого подключения к интернету.

Фактически это полноценная офлайн-альтернатива Google Translate.

Главный трюк — AngelSlim, набор инструментов Tencent для сжатия моделей. Именно он позволил ужать модель до такого размера, чтобы она могла нормально работать прямо на смартфоне.

https://github.com/tencent/AngelSlim

👉 @PythonPortal

«Изучение математики. Почему память, практика и техника важнее таланта»

Чтобы освоить математику, необходимо запомнить большой объём информации, правил, способов упрощения и приёмов решения задач. Другого пути нет. Теория полезна, но в меру.

Это как изучение языка. Если слишком сосредоточиться на грамматике, никогда не научишься свободно на нём говорить.

https://algebrica.org/learning-mathematics/

👉 @PythonPortal

Modern Robotics: Mechanics, Planning, and Control.

Сохраните на потом.

Это полноценный учебник по робототехнике уровня магистратуры от Кевина Линча и Фрэнка Парка, изданный Cambridge University Press.

Внутри:

- конфигурационные пространства
- кинематика
- динамика
- генерация траекторий
- планирование движения
- управление роботами

По сути, это современная математическая база того, как роботы двигаются и взаимодействуют с окружающим миром.

https://hades.mech.northwestern.edu/images/7/7f/MR.pdf

👉 @PythonPortal

DeepSeek выложила в открытый доступ библиотеку, которая ускоряет вычисления на GPU, лежащие в основе ИИ-моделей.

Она называется DeepGEMM.

Библиотека оптимизирует матричные операции, на которых работают большие языковые модели, и позволяет эффективнее использовать NVIDIA Hopper и Blackwell.

Поддерживаются FP8, FP4 и BF16. Есть оптимизации для моделей с архитектурой Mixture-of-Experts, совмещение обмена данными между GPU с вычислениями и компиляция ядер прямо во время выполнения, без отдельной сборки CUDA при установке.

По данным DeepSeek, DeepGEMM на ряде размеров матриц показывает производительность на уровне или выше специализированных библиотек, вручную оптимизированных экспертами.

https://github.com/deepseek-ai/DeepGEMM#interfaces

👉 @PythonPortal

«Основы компьютерного зрения» — бесплатная онлайн-книга издательства MIT Press, которая даёт широкое введение в компьютерное зрение с точки зрения обработки изображений и машинного обучения.

В ней разбираются формирование изображений, обучение и обратное распространение ошибки, фильтрация изображений и анализ Фурье, CNN, RNN и трансформеры, генеративные модели, обучение представлений, трёхмерная геометрия, оценка движения, распознавание объектов, модели, работающие с изображениями и текстом, и многое другое.

Особенно мне нравится, что вся книга доступна прямо в HTML: с понятной и удобной вёрсткой, множеством схем и визуализаций, которые помогают разобраться в концепциях.

https://visionbook.mit.edu

👉 @PythonPortal

Начни изучать программирование GPU с одной полностью анимированной лекции на YouTube. Это первое видео в серии о программировании GPU с Triton.

Каждая идея объясняется наглядно, с помощью анимации — как в GIF из этого поста, только на протяжении целого часа.

Ты каждый день пишешь c = a + b в PyTorch. Эта лекция показывает, что GPU на самом деле делает с этим выражением.

В лекции разбираются:

— Как GPU встроен в компьютер: PCIe, NVLink, серверы и кластеры.
— Что внутри NVIDIA H100: потоковые мультипроцессоры, вычислительные линии FP32, планировщик варпов, тензорные ядра и разделяемая память.
— Потоки, варпы, блоки и сетки — и как каждый поток находит свой элемент.
— Память: SRAM и DRAM, DDR, GDDR и HBM, кеши, задержка и пропускная способность.
— Как ускорить работу с памятью: скрытие задержек, объединение обращений к памяти и слияние ядер.
— Зачем нужен Triton и как он позволяет мыслить тайлами вместо потоков.
— Ограничения по пропускной способности памяти и вычислительной мощности, арифметическая интенсивность и модель Roofline.
— Механизм внимания, матрица N × N и то, как FlashAttention решает связанную с ней проблему.

Знание CUDA и устройства железа не требуется.

Что дальше:

— Лекция 2: построчно напишем наше первое ядро на Triton для сложения векторов. Опубликую через несколько дней.
— Новые лекции о программировании GPU и оптимизации инференса.
— Запланированная серия о глубоком обучении для аудио.

Полная лекция:
https://youtu.be/dEZP1qUNTOk

👉 @PythonPortal

«Разбираемся в трансформерах и механизмах внимания» — краткое математическое введение в механизм внимания, одну из ключевых идей современных языковых моделей.

Документ разбирает токенизацию и эмбеддинги, запросы, ключи и значения, оценки и веса внимания, многоголовое внимание, самовнимание, причинное внимание и маскирование, перекрёстное внимание и базовую структуру архитектуры Transformer.

Также в нём представлены важные методы, которые делают механизм внимания в современных LLM эффективнее: KV-кеширование, внимание с группировкой запросов (GQA), многозапросное внимание (MQA) и латентное внимание.

https://arxiv.org/pdf/2604.00965

👉 @PythonPortal