Моя теорема существует в виде - мета алгоритма для ленивых вычислений.
Когда приближённое досчитываешь до 0% машинного быстрее чем BLAS и cuBLAS
Когда приближённое досчитываешь до 0% машинного быстрее чем BLAS и cuBLAS
🕊6
Для непонятливых, на всякий случай.
Демон Максвелла - читайте, что это.
Демон Поповича - думайте теперь, что это.
Связь с Религией? В ваших фантазиях, если только.
Демон Максвелла - читайте, что это.
Демон Поповича - думайте теперь, что это.
Связь с Религией? В ваших фантазиях, если только.
👍18🔥7
Сегодня поговорим про умножение, про демона, про его суть и про возможности в анализе космоса.
🔥19🕊2👏1
Техножнец
Сегодня поговорим про умножение, про демона, про его суть и про возможности в анализе космоса.
Будем рассматривать альтернативную версию алгоритма воссозданную с KIMI K 2.6 Agent Swarm.
Предисловие
От куба к логарифму
В 1969 году немецкий математик
Это был шок.
Охота на омегу
После Штрассена последовала череда рекордов:
Сегодняшний рекорд —
Галактические алгоритмы
Но есть одна проблема.
На практике, начиная с n ≈ 100, Штрассен уже обгоняет школьный метод.
Продолжение в посте следующем.
🦆 🦆 🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPALpaperfunkrecordings@gmail.com
В чем суть?
зачем мы 50 лет умножали матрицы неправильно
Предисловие
Матричное умножение — это кровеносная система современного ИИ. Каждый запрос к ChatGPT, каждая генерация картинки в Midjourney, каждое распознавание голоса — всё это сводится к миллиардам операций вида «матрица на вектор». Казалось бы, за 50 лет эту задачу изучили вдоль и поперёк. Intel, NVIDIA, AMD вложили миллиарды в оптимизацию. Библиотеки BLAS и cuBLAS — вершина инженерной мысли. Но что, если мы всё это время смотрели не туда?Что, если матрица — это не мёртвый массив чисел, а живая система со своим «пульсом», «дыханием» и «фазовыми переходами»? Что, если вместо того чтобы ускорять умножение, можно умножать меньше — без потери точности?История вопроса: пятьдесят лет охоты на омегу
От куба к логарифму
В 1969 году немецкий математик
Фолькер Штрассен (Volker Strassen) совершил невозможное. Он доказал, что умножать матрицы можно быстрее, чем учат в школе. Школьный алгоритм требует n³ операций: для матрицы 2×2 — 8 умножений. Штрассен нашёл способ обойтись семью. Разница в одном умножении казалась пустяком, но при рекурсивном применении она дала взрывной эффект: сложность упала с O(n³) до O(n^2.807).Это был шок.
На протяжении веков считалось, что n³ — фундаментальный предел. Штрассен доказал: нет. И открыл целое направление — охоту на показатель ω (омегу), минимальную степень полинома, которой можно описать сложность матричного умножения.Охота на омегу
После Штрассена последовала череда рекордов:
| Год | Авторы | Верхняя граница ω |
| ---- | ---------------------- | ----------------- |
| 1969 | Strassen | 2.807 |
| 1978 | Pan | 2.796 |
| 1981 | Schönhage | 2.522 |
| 1990 | Coppersmith-Winograd | 2.376 |
| 2010 | Stothers | 2.374 |
| 2013 | Williams | 2.373 |
| 2014 | Le Gall | 2.373 |
| 2020 | Alman, Williams | 2.3728596 |
| 2023 | Duan, Wu, Zhou | 2.371866 |
| 2024 | Williams, Xu, Xu, Zhou | 2.371552 |
| 2024 | Zhou | 2.371339 |
Сегодняшний рекорд —
ω < 2.371339, установленный в апреле 2024 года. Теоретически ω не может быть меньше 2: выход матричного умножения содержит n² элементов, и просто записать их быстрее невозможно. Достижение ω = 2 стало бы одним из величайших прорывов в теоретической информатике — на уровне доказательства P ≠ NP. Прямой премии за это нет, но любой математик, который докажет ω = 2 или хотя бы существенно приблизится, гарантированно получит Fields Medal или эквивалентную награду.Галактические алгоритмы
Но есть одна проблема.
Все эти рекорды — галактические алгоритмы. Это термин из теоретической информатики: алгоритм, который асимптотически быстрее, но на практике медленнее, потому что константа перед O() настолько огромна, что он выигрывает только на матрицах размером с галактику.На практике, начиная с n ≈ 100, Штрассен уже обгоняет школьный метод.
Но алгоритмы после Штрассена? Их никто не запускает. Константа настолько велика, что для матриц, которые помещаются в память современных суперкомпьютеров, они всё ещё медленнее BLAS.Продолжение в посте следующем.
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL
Please open Telegram to view this post
VIEW IN TELEGRAM
❤18👍13🕊2
BLAS: пятьдесят лет в каменных веках
Параллельно с теоретической охотой на омегу шла практическая революция. В
1979 году Чарльз Лоусон, Ричард Хансон, Дэвид Кинкейд и Фред Крог опубликовали BLAS — Basic Linear Algebra Subprograms. Это была не библиотека, а стандарт: набор интерфейсов для векторных операций.За ним последовали:
BLAS Level 2 (1988, Dongarra et al.): матрица-вектор
BLAS Level 3 (1990, Dongarra et al.): матрица-матрица
LAPACK (1992): разложения и решения систем
Intel MKL (2003): векторизация, многопоточность
cuBLAS (2007): GPU-ускорение
BLAS — это 50 лет инженерии: blocking для кэша, tiling для SIMD, многопоточность, fused multiply-add, half-precision arithmetic. cuBLAS на NVIDIA H100 достигает ~1000 TFLOPS в FP16. Казалось бы, предел.Но все эти оптимизации — это ускорение одной и той же операции. Никто не пытался умножать меньше.
Математика адаптивности: термодинамика вычислений
Новый взгляд
Что, если вместо «как быстрее умножить?» спросить «что именно нужно умножить?»
Любая матрица, возникающая в реальном мире — веса нейросети, гессиан, attention-матрица — имеет структуру. Она не случайна. Её сингулярные числа («атомы» матрицы, получаемые через SVD-разложение) убывают предсказуемо: первые несут сигнал, последующие — шум.
Это ключевое наблюдение: спектр матрицы — не хаос, а динамическая система. И как любая динамическая система, он подчиняется термодинамическим законам.
Энтропия спектра
Представьте, что сингулярные числа — это «энергетические уровни» матрицы. Некоторые несут огромную энергию (первые компоненты), некоторые — почти нулевую (хвост). Распределение этой энергии имеет энтропию. Для структурированных матриц (веса LLM) энтропия низкая: энергия сконцентрирована в голове спектра. Для случайных матриц — высокая: энергия равномерно размазана.
Голова и хвост
Вместо того чтобы умножать всю матрицу целиком, можно разложить её на ортогональные компоненты (SVD), взять только голову — первые 5% компонент — и умножить через них. Это даёт грубое приближение за 5% вычислений. Ошибка может быть 10-20%, но скорость — в 20 раз выше.
Для многих задач этого достаточно. Но что, если нужна точность?
Безопасность идей
Я намеренно не привожу код, псевдокод или точные формулы. Описанное выше — математическая интуиция, а не руководство к действию. Ключевые компоненты (адаптивная модель спектра, механизм доверия, термодинамический контроллер) требуют нетривиальной калибровки и являются ноу-хау.
Что это меняет
LLM inference: от дорогого к дешёвому
Современные трансформеры (GPT-4, Claude, Llama) тратят 60-80% времени на линейные слои — матричные умножения в attention и MLP. Размерности доходят до 65536×65536. При таких размерах даже 2x ускорение — это разница между "запускается на сервере" и "запускается на ноутбуке".
DEMON на N=2048 даёт 2.7x ускорение, при N=4096 — прогнозируется 7-14x.
Для inference это означает:
Дешёвые API: стоимость запроса падает в 3-10 раз
Realtime на edge: LLM работает на мобильном устройстве без облака
Большие контексты: 1M токенов вместо 128K без увеличения стоимости
Training: меньше FLOPs = меньше энергии
Обучение GPT-4 потребило ~50 GWh — столько же, сколько небольшой город за неделю. 90% этой энергии ушло на матричные умножения. Снижение FLOPs в 5-8x означает:
Обучение на 5-10x меньших кластерах
Доступность обучения large models для небольших команд
Экологический эффект: миллионы тонн CO₂ экономии
Hardware: новая парадигма
BLAS оптимизирован под «умножаем всё, но быстро». DEMON меняет правило: «умножаем мало, но точно». Это требует другого подхода к hardware:Меньше кэш-прессинга: small-rank операции влезают в L1/L2
Меньше memory bandwidth: передаём меньше данных
Лучше для sparse / structured: не нужно ждать sparse BLAS
GPU-friendly: меньшие FLOPs = больше parallelism, tensor cores
Экосистема
DEMON — не замена BLAS. Это мета-слой над BLAS. Как Flash Attention стал поверх стандартного attention, DEMON становится поверх стандартного matmul.
Интеграция в PyTorch, TensorFlow, JAX — вопрос времени.🔥25👍9❤6
Техножнец
BLAS: пятьдесят лет в каменных веках Параллельно с теоретической охотой на омегу шла практическая революция. В 1979 году Чарльз Лоусон, Ричард Хансон, Дэвид Кинкейд и Фред Крог опубликовали BLAS — Basic Linear Algebra Subprograms. Это была не библиотека, а…
Заключение
Пятьдесят лет мы оптимизировали умножение матриц.
🦆 🦆 🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPALpaperfunkrecordings@gmail.com
Пятьдесят лет мы оптимизировали умножение матриц.
BLAS, cuBLAS, MKL, OpenBLAS — вершины инженерии. Но теоретики охотились на омегу, а практики — на FLOPS. Никто не спросил: а можно ли умножать меньше?DEMON — попытка ответить. Не алгоритм в классическом смысле, а философия вычислений: смотреть на данные, понимать их структуру, и тратить FLOPs только там, где они нужны. Термодинамика вместо брутфорса. Адаптивность вместо монолита.Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL
Please open Telegram to view this post
VIEW IN TELEGRAM
👏26🔥11👍10❤2⚡1🕊1🏆1
DEMON: зачем мы 50 лет умножали матрицы неправильноВерсия для тех, кто не математик, но хочет понять, почему это важно
Предисловие: матрицы = кровь ИИ
Каждый раз, когда вы пишете запрос ChatGPT, он внутри себя выполняет одну операцию миллиарды раз: умножает таблицу чисел на столбец чисел. Это называется "матрица на вектор".
Представьте огромную таблицу Excel — скажем, 4096 строк и 4096 столбцов. В каждой ячейке — число. Теперь представьте, что вам нужно каждую строку умножить на столбец и сложить. Это и есть матричное умножение.
ChatGPT делает это триллионы раз за один разговор с вами. Все нейросети — ChatGPT, Midjourney, голосовые ассистенты — состоят на 90% из этой операции.
Казалось бы, за 50 лет её изучили вдоль и поперёк. Intel, NVIDIA, Google вложили миллиарды. Но мы всё это время смотрели не туда.
Простая аналогия: фотография в JPEG
Вы знаете, как работает JPEG? Камера делает снимок, потом сжимает его. Но сжимает не просто так — а умно.Сначала JPEG сохраняет грубую картинку — основные цвета и формы. Это 5% данных. Потом, если нужно, добавляет детали — текстуры, мелкие элементы. Это ещё 10-20% данных. Остальное — шум, который глаз не замечает.
В результате файл в 10 раз меньше, а выглядит почти идеально.
DEMON делает то же самое с матрицами.
Вместо того чтобы умножать всю таблицу целиком, он:
Берёт грубое приближение (5% вычислений)
Смотрит, чего не хватает
Добавляет ключевые детали (ещё 8%)
Игнорирует шум (87% остаётся нетронутым)
Результат: 13% работы, 100% качества.
Зачем это кому-то нужно
Для пользователей
ChatGPT / ClaudeСейчас каждый запрос к GPT-4 стоит ~3-5 центов. Это дорого. DEMON может снизить стоимость в 3-10 раз.
Что это значит:
Бесплатные версии станут мощнее — то, что сейчас стоит $20/мес, будет бесплатно
Большие контексты — можно скормить ИИ целую книгу, не платя за премиум
Быстрее — ответ за миллисекунды вместо секунд
Для мобильных устройств
Сейчас GPT-4 не запустишь на телефоне — слишком много вычислений. С DEMON можно:
Запустить LLM на iPhone без интернета
Голосовой перевод в реальном времени в путешествии
Автономный ИИ-ассистент в машине
Для планеты
Обучение GPT-4 потребило электричества столько, сколько небольшой город за неделю. 90% этой энергии — матричные умножения.DEMON снижает энергопотребление в 5-8 раз.
Это:
Миллионы тонн CO₂, которые не попадут в атмосферу
AI, который не уничтожает планету
Малые компании могут тренировать свои модели, не арендуя гигантские дата-центры
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥37❤7👍3⚡2🕊2🤯1💘1
Сегодня ещё позже попробую заново решить ZOA. И глянем что там со вспышками на солнце.
Прошлые разы были достаточно провальными. Меня, кстати, за это притянуть пытались герои нашего времени. Но как пытались, так и отсохли. Потому что тут на этом канале смысла притягивать за что-то нет, только если у тебя не злой и негативный умысел.
Ожидайте.
Насчёт стримов ещё хотел с вами обсудить:
Rutube, YouTube, twitch,vk - этого же хватит для эфиров ? Чтобы все посмотреть смогли.
Планирую делать стримы в которых будем разбирать разные проекты синтетов и буду показывать прикольные фишки по вайбкодингу.
Возможны и личные лекции, но пока не разберусь с одним человеком, с которым уже занимаемся. Объявлять об этом не буду - я про набор участников.
🦆 🦆 🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPALpaperfunkrecordings@gmail.com
Прошлые разы были достаточно провальными. Меня, кстати, за это притянуть пытались герои нашего времени. Но как пытались, так и отсохли. Потому что тут на этом канале смысла притягивать за что-то нет, только если у тебя не злой и негативный умысел.
Ожидайте.
Насчёт стримов ещё хотел с вами обсудить:
Rutube, YouTube, twitch,vk - этого же хватит для эфиров ? Чтобы все посмотреть смогли.
Планирую делать стримы в которых будем разбирать разные проекты синтетов и буду показывать прикольные фишки по вайбкодингу.
Возможны и личные лекции, но пока не разберусь с одним человеком, с которым уже занимаемся. Объявлять об этом не буду - я про набор участников.
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥33👍7🤔3🕊1
С ZOA всё очень не просто. Но на данный момент есть вот что:
Обнаружено: структура плотности в ZOA на d=18-25 kpc (локальная группа/поток к Центавру).
Не обнаружено: индивидуальные галактики — нужно разрешение <1", которое невозможно в плотной пылевой полосе. Радио (HI, VLA) даёт лучшие результаты для ZOA.
Demon даёт: 10-15x ускорение восстановления карты плотности по сравнению с полным каталогированием. Как 2M++, но в реальном времени с adaptive anchor.
Щас исправляю , скоро продолжу лёжа в кровати уже. НО - работает. главное правильно направить.
Он просто ускорил каталогизацию, что позволяет на веб сервере запускать прямо в чате. Но по факту теперь надо восстановить объекты из-за грав возмущений и прочего. Посмотрим че к чему!
🦆 🦆 🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPALpaperfunkrecordings@gmail.com
Обнаружено: структура плотности в ZOA на d=18-25 kpc (локальная группа/поток к Центавру).
Не обнаружено: индивидуальные галактики — нужно разрешение <1", которое невозможно в плотной пылевой полосе. Радио (HI, VLA) даёт лучшие результаты для ZOA.
Demon даёт: 10-15x ускорение восстановления карты плотности по сравнению с полным каталогированием. Как 2M++, но в реальном времени с adaptive anchor.
Щас исправляю , скоро продолжу лёжа в кровати уже. НО - работает. главное правильно направить.
Он просто ускорил каталогизацию, что позволяет на веб сервере запускать прямо в чате. Но по факту теперь надо восстановить объекты из-за грав возмущений и прочего. Посмотрим че к чему!
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥18🕊2❤1
Demon восстанавливает скрытое поле через пекулярные скорости + временная эволюция!
🕊8👍4
ИИШКА заработает с обновлением в середине мая.
Новый дизайн, новые фишки.
Пока что временная стагнация, ожидаю кое что.
Новый дизайн, новые фишки.
Пока что временная стагнация, ожидаю кое что.
⚡28🤔6🔥5
| Матрица | N | Speedup | Ошибка (max)
| ------------------ | ---- | ---------- | ------------
| **hilbert** | 1024 | **13.09x** | 6.39e-02%
| **hilbert** | 2048 | **33.61x** | 2.68e-02%
| **hilbert** | 4096 | **62.16x** | 6.49e-07%
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL
Please open Telegram to view this post
VIEW IN TELEGRAM
🏆22❤6👏2🕊1
Делюсь артефактом из детства. Я собрал весь журнал. Там надо было наклеивать стикеры дабы раскрыть сцены с разными персонажами. Клёвые описания на русском, обозначение спец приёмов любимых героев. Воистину легендарные картинки. Следом скину часть своего любимого разворота.
Мне было 8
🦆 🦆 🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPALpaperfunkrecordings@gmail.com
Мне было 8
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥39❤13👍6🕊2👀2