BLAS: пятьдесят лет в каменных веках

Параллельно с теоретической охотой на омегу шла практическая революция. В 1979 году Чарльз Лоусон, Ричард Хансон, Дэвид Кинкейд и Фред Крог опубликовали BLAS — Basic Linear Algebra Subprograms. Это была не библиотека, а стандарт: набор интерфейсов для векторных операций.

За ним последовали:

BLAS Level 2 (1988, Dongarra et al.): матрица-вектор
BLAS Level 3 (1990, Dongarra et al.): матрица-матрица
LAPACK (1992): разложения и решения систем
Intel MKL (2003): векторизация, многопоточность
cuBLAS (2007): GPU-ускорение

BLAS — это 50 лет инженерии: blocking для кэша, tiling для SIMD, многопоточность, fused multiply-add, half-precision arithmetic. cuBLAS на NVIDIA H100 достигает ~1000 TFLOPS в FP16. Казалось бы, предел.
Но все эти оптимизации — это ускорение одной и той же операции. Никто не пытался умножать меньше.

Математика адаптивности: термодинамика вычислений

Новый взгляд
Что, если вместо «как быстрее умножить?» спросить «что именно нужно умножить?»
Любая матрица, возникающая в реальном мире — веса нейросети, гессиан, attention-матрица — имеет структуру. Она не случайна. Её сингулярные числа («атомы» матрицы, получаемые через SVD-разложение) убывают предсказуемо: первые несут сигнал, последующие — шум.

Это ключевое наблюдение: спектр матрицы — не хаос, а динамическая система. И как любая динамическая система, он подчиняется термодинамическим законам.

Энтропия спектра

Представьте, что сингулярные числа — это «энергетические уровни» матрицы. Некоторые несут огромную энергию (первые компоненты), некоторые — почти нулевую (хвост). Распределение этой энергии имеет энтропию. Для структурированных матриц (веса LLM) энтропия низкая: энергия сконцентрирована в голове спектра. Для случайных матриц — высокая: энергия равномерно размазана.

Голова и хвост

Вместо того чтобы умножать всю матрицу целиком, можно разложить её на ортогональные компоненты (SVD), взять только голову — первые 5% компонент — и умножить через них. Это даёт грубое приближение за 5% вычислений. Ошибка может быть 10-20%, но скорость — в 20 раз выше.

Для многих задач этого достаточно. Но что, если нужна точность?

Безопасность идей

Я намеренно не привожу код, псевдокод или точные формулы. Описанное выше — математическая интуиция, а не руководство к действию. Ключевые компоненты (адаптивная модель спектра, механизм доверия, термодинамический контроллер) требуют нетривиальной калибровки и являются ноу-хау.

Что это меняет

LLM inference: от дорогого к дешёвому
Современные трансформеры (GPT-4, Claude, Llama) тратят 60-80% времени на линейные слои — матричные умножения в attention и MLP. Размерности доходят до 65536×65536. При таких размерах даже 2x ускорение — это разница между "запускается на сервере" и "запускается на ноутбуке".

DEMON на N=2048 даёт 2.7x ускорение, при N=4096 — прогнозируется 7-14x.

Для inference это означает:

Дешёвые API: стоимость запроса падает в 3-10 раз
Realtime на edge: LLM работает на мобильном устройстве без облака
Большие контексты: 1M токенов вместо 128K без увеличения стоимости
Training: меньше FLOPs = меньше энергии
Обучение GPT-4 потребило ~50 GWh — столько же, сколько небольшой город за неделю. 90% этой энергии ушло на матричные умножения. Снижение FLOPs в 5-8x означает:
Обучение на 5-10x меньших кластерах
Доступность обучения large models для небольших команд
Экологический эффект: миллионы тонн CO₂ экономии

Hardware: новая парадигма

BLAS оптимизирован под «умножаем всё, но быстро». DEMON меняет правило: «умножаем мало, но точно». Это требует другого подхода к hardware:

Меньше кэш-прессинга: small-rank операции влезают в L1/L2
Меньше memory bandwidth: передаём меньше данных
Лучше для sparse / structured: не нужно ждать sparse BLAS
GPU-friendly: меньшие FLOPs = больше parallelism, tensor cores

Экосистема

DEMON — не замена BLAS. Это мета-слой над BLAS. Как Flash Attention стал поверх стандартного attention, DEMON становится поверх стандартного matmul. Интеграция в PyTorch, TensorFlow, JAX — вопрос времени.

С Днём Победы!

Demon восстанавливает скрытое поле через пекулярные скорости + временная эволюция!

ИИШКА заработает с обновлением в середине мая.

Новый дизайн, новые фишки.

Пока что временная стагнация, ожидаю кое что.