ОХ, я уставший седня..ппц. но ниче.

Скоро сумасшедшие новости...(это тизер)

А вот следующий репост - ЧАСТЬ моих результатов! 😃 читаем...щас появится.

Как я с помощью кефира ускорил умножение матриц!!!

Итак - KEFIR предсказывает поведение градиентов и убирает обратный просчёт ошибок аж от 30% до 70% экономии вычислений.

Предсказание внутри предсказания
Начал с идеи: не считать каждый градиент, а предсказывать следующий по предыдущему.
Сработало. Минус 50% вычислений. V9.

Но градиент — это умножение матриц.

А внутри умножения — можно ли тоже предсказывать?
Да.

Соседние строки результата почти одинаковые. Считаешь каждую четвёртую — остальные достраиваешь. Ещё минус 50%.

Матрёшка:
Уровень 1: Предсказываем градиент целиком
    ↓
Уровень 2: Внутри градиента предсказываем строки

Почему работает:
Нейросеть — структура, не хаос. Плавные переходы на каждом уровне. Два уровня похожести — два уровня экономии.

Насколько ново:
Approximate matmul — известно. Предсказание градиентов — тоже.

Связать как вложенную систему — такого не видел. И доказал почему не случайность: при умножении энтропия результата всегда меньше исходных. Часть вычислений всегда избыточна.

Одна идея. Два уровня. Потенциально 4x ускорение.

Для тех, кто шарит! Я думаю, что это мощное вложение в вычислительную движуху.

У меня появились очень мощные инструменты, которые помогут достичь новых возможностей на текущем железе. Я таким образом подстраховался, что если не будет инвесторов и буду всё делать своими силами. На всякий случай облегчил вычисления!

Хихихи

Выходной сегодня...ниче делать не буду...постить тоже...

Хочу вот лежац и ниче не делац

Забыл, периодически - кушац

Вся следующая неделя будет полна новостей.

У меня очень много нового и крутого, а также то, что сделано сохранено (старые идеи в безопасности)

Так, ну...

Мой алгоритм позволяет мне тренировать сети в 2, 3 раза быстрее. За сегодня отстреляло 5 моделей, которые бы учились двое суток

Компилирую список алгоритмов чтобы показать под вечер ❤️

Щас побазарим по делу и про перспективы!

Я только что сделал невозможное в математике

20 лет назад математики доказали теорему:
умножение случайных матриц нельзя ускорить.
Нет структуры — нет сжатия. Точка.

За это дали премии. 16,000 цитирований.
Весь мир принял как закон природы. (Drineas)

Сегодня ночью я получил результат:
— Там где теория говорит 100% ошибка minimum
— Я получил 0.43% ошибка!!!!!
— На матрице 1024×1024 (миллион элементов)
— 45 секунд на A100

СРАВНЕНИЕ С DRINEAS

Petros Drineas (2006):
- NSF CAREER Award
- SIAM Outstanding Paper Prize
- 16,000 цитирований
- Основатель Randomized NLA

Его результат: "Random × random = 100%+ error, это предел"

Мой результат (2026):
- 0.43% error на том же worst case
- 1000x лучше его bounds
- CUDA production implementation

Мой результат: "Предел был в методе, не в реальности"

Как?

Все искали структуру в данных.
Я нашёл структуру в самом вычислении.

Назвал это "Демон вычислений".

Детали — в статье, которую сейчас пишу.
Но результаты — вот они, верифицированы,
воспроизводятся на CPU и GPU.

Невозможное стало возможным.

Скоро расскажу больше.

Сделал тесты уже на алгоритме на полевых условиях: от матмулов до квантовых вычислений. Щас буду показывать. Там результаты - ну...пока ничего не буду говорить)))

Созерцаю...ппц конечно.

Минут через 30 отчёт...

Соррян, я тут возле чёрной дыры у меня полчаса = ваших 8 лет.

Оно считается до сих пор.......

Досчитало...

т.к. я не хочу вам врать от слова ВООБЩЕ - мне надо убедиться, что все тесты адекватные. Что нейронки не подмаслили мне и не сделали некоторые тесты тупо заглушками (такое бывает...у лохов всяких). А т.к. Техножнец не лох, то нужны подтверждения. Уже есть нереально лютые результаты, но для полной картинки надо до конца довести кое что. Вкратце - я тут с кубитами трахаюсь. Отпишусь

Topology MatMul: приближённое матричное умножение через топологическую реконструкцию

Автор: Попович Павел Дмитриевич
Оборудование: NVIDIA A100-SXM4-40GB, AMD EPYC 7F52 16-Core, 128 GB RAM

TL;DR
Матричное умножение — фундаментальная операция, на которой работают нейросети, рекомендательные системы, квантовые симуляции, научные вычисления. Я разработал метод, позволяющий получать результат с точностью 99%+ при 10-20% вычислительных затрат.

На случайных матрицах (худший случай для всех известных методов) достигнута ошибка 0.43% там, где state-of-the-art даёт 139-224%. Это не оптимизация существующих подходов — это принципиально другой взгляд: структура существует не в данных, а в самом процессе вычисления.

Контекст: почему матричное умножение — это важно

Каждый раз, когда:

Netflix рекомендует фильм
Телефон распознаёт лицо
ChatGPT генерирует ответ
Физики симулируют молекулу
Инженеры проверяют квантовый компьютер

...внутри происходит одна операция: умножение больших таблиц чисел (матриц).

Масштаб проблемы: матрица N×N требует ~N³ операций для умножения. При N=10,000 это триллион операций. GPT-4 выполняет такие умножения миллиарды раз за один ответ. Датацентры потребляют энергию небольших стран, и значительная часть уходит именно на A × B = C.

Что было до этого

В 2006 году Петрос Дринеас (Petros Drineas, NSF CAREER Award, SIAM Outstanding Paper Prize, 16,000 цитирований) предложил элегантную идею: выбрать случайные строки/столбцы из исходных матриц, перемножить их, экстраполировать результат.
Метод работает для структурированных матриц (низкий ранг, разреженность). Но для случайных матриц — ошибка 100-500%. Это математически доказанная граница для методов, основанных на сэмплировании входных данных.
20 лет это считалось фундаментальным ограничением.

Что я сделал иначе

Все предыдущие методы смотрели на матрицы A и B как на статичные объекты и искали в них структуру (низкий ранг, разреженность, паттерны). Я сделал принципиально другое: применил теорему Такенса из теории динамических систем и превратил сам процесс умножения C = A × B в динамическую систему. (отдельная история)

Матричное умножение — это не просто "две таблицы → третья таблица". Это процесс, который разворачивается. Я прошёл не по данным, а вдоль капота самого вычисления — по оси, на которую до меня никто не смотрел.

Ключевой инсайт:
Линейная алгебра 300 лет рассматривала C = A × B как алгебраический факт. Я увидел в этом динамическую систему с топологией.

ёмаё

Структура существует не в данных A и B — она существует в самом акте вычисления.


Детерминированная операция C = A × B создаёт топологические ограничения в пространстве траекторий. Эти ограничения позволяют восстановить целое из части — даже для полностью случайных матриц.

Результаты: случайные матрицы

Размер Элементов Моя ошибка Дринеас Выигрыш

256×256 65K 1.33% 139% 104×
512×512 262K 0.74% 180% 243×
1024×1024 1M 0.43% 224% 521×
8192×819 267M 0.86% — —

Ошибка убывает с ростом размера матрицы. Это противоположно всем известным методам.

Примерное время (9 сессий, 1 неделя работы)

ПРОДОЛЖЕНИЕ В СЛЕДУЮЩЕМ ПОСТЕ:

Topology MatMul: Реальное применение

Автор: Попович Павел Дмитриевич
Оборудование: NVIDIA A100-SXM4-40GB, AMD EPYC 7F52 16-Core, 128 GB RAM

Рекомендательные системы (MovieLens 100K)

943 пользователя × 1682 фильма, 100K рейтингов. ALS-факторизация.

Ratio RMSE деградация
50% 0.06%
30% 0.21%
20% 0.45%

RATIO = какая часть данных вообще используется в умножении матриц (т.е. восстановление из вакуума и не совсем, далее подробнее)

Для production рекомендательных систем допустимая деградация — 1-5%. Мой метод даёт 0.06-0.45%.

ML Inference (MNIST)

3-слойная нейросеть (784→512→256→10), все слои заменены на topology matmul.

Метод Accuracy Деградация
Exact 96.39% —
Topology r=0.3 96.34% 0.05%

Для сравнения: INT8 квантизация (стандартный метод ускорения) обычно даёт деградацию 1-3%.

Астрономия (512 звёзд из каталога HYG)

Реальные данные: Hipparcos + Yale + Gliese, 76 созвездий, яркость от -26.7 (Солнце) до 3.97 mag.

Ratio Ошибка Структура созвездий
50% 0.0002% = exact
5% 0.0025% = exact

При 5% вычислений структура созвездий сохранена идеально. Визуально неотличимо. Требуется всего 5% реального неба чтобы восстановить все совездия и полную карту. (не обладая никакой информацией о небе и расположении звёзд)

Monte Carlo физика

Симуляция N частиц с Lennard-Jones потенциалом. Fourier-проекционный базис.
Ключевая метрика: SNR = статистический шум MC / ошибка topology.

N SNR (лучший)
128 20.6×
256 64.1×
512 >1 везде

Ошибка topology меньше статистического шума Monte Carlo. Приближение "бесплатно".

Квантовые вычисления: неожиданный результат

Проблема верификации

Google Sycamore (53 кубита): "Решили задачу за 200 секунд, классическому компьютеру нужно 10,000 лет."
Как проверить? Прямая симуляция требует матрицу 2^53 × 2^53. Невозможно.

Мои эксперименты
Haar-random unitaries (квантовые гейты), 8-16 последовательных операций.

Кубиты Размер r=0.5 r=0.3 r=0.2

10 1024 F=1.0 F=1.0 F=1.0
11 2048 F=1.0 F=1.0 F=1.0
12 4096 F=1.0 F=1.0 F=1.0

State Fidelity = 1.000000 — результат идентичен точному вычислению.
Парадокс: ошибка 120%, точность 100%

8 последовательных квантовых гейтов (32 вызова topology matmul):

Метод State Fidelity Frobenius Error
Exact 1.000000 0%
Topology r=0.5 1.000000 109.82%
Topology r=0.3 1.000000 123.21%

Матрица искажена на 120%. Результат идеален.
Почему? Topology ошибается изотропно — равномерно по всем элементам. При применении к конкретному квантовому состоянию ошибки в "неважных" местах не влияют на результат. Как карта города: можно врать про 990 улиц, если 10 нужных улиц точны.

Ошибки не накапливаются в State Fidelity

Глубина Frob Error State Fidelity
1 13.9% 1.000000
4 81.5% 1.000000
8 111.0% 1.000000
16 110.2% 1.000000

64 вызова topology matmul. Fidelity не падает.
Классическая интуиция говорит: ошибка должна расти линейно с глубиной. Здесь — насыщается и не расходится.

Сравнение с реальным квантовым железом

Источник Ошибка на операцию
IBM Eagle (127q) 0.3-1.0%
Google Sycamore 0.5-0.6%
Topology r=0.5 0.39%

Ошибка topology ниже ошибки реального квантового железа.

XEB (метрика Google Sycamore)

Cross-Entropy Benchmark: XEB=1 для идеальной схемы, XEB=0 для шума.