Визуально всегда понятнее!

ОХ, я уставший седня..ппц. но ниче.

Скоро сумасшедшие новости...(это тизер)

А вот следующий репост - ЧАСТЬ моих результатов! 😃 читаем...щас появится.

Как я с помощью кефира ускорил умножение матриц!!!

Итак - KEFIR предсказывает поведение градиентов и убирает обратный просчёт ошибок аж от 30% до 70% экономии вычислений.

Предсказание внутри предсказания
Начал с идеи: не считать каждый градиент, а предсказывать следующий по предыдущему.
Сработало. Минус 50% вычислений. V9.

Но градиент — это умножение матриц.

А внутри умножения — можно ли тоже предсказывать?
Да.

Соседние строки результата почти одинаковые. Считаешь каждую четвёртую — остальные достраиваешь. Ещё минус 50%.

Матрёшка:
Уровень 1: Предсказываем градиент целиком
    ↓
Уровень 2: Внутри градиента предсказываем строки

Почему работает:
Нейросеть — структура, не хаос. Плавные переходы на каждом уровне. Два уровня похожести — два уровня экономии.

Насколько ново:
Approximate matmul — известно. Предсказание градиентов — тоже.

Связать как вложенную систему — такого не видел. И доказал почему не случайность: при умножении энтропия результата всегда меньше исходных. Часть вычислений всегда избыточна.

Одна идея. Два уровня. Потенциально 4x ускорение.

Для тех, кто шарит! Я думаю, что это мощное вложение в вычислительную движуху.

У меня появились очень мощные инструменты, которые помогут достичь новых возможностей на текущем железе. Я таким образом подстраховался, что если не будет инвесторов и буду всё делать своими силами. На всякий случай облегчил вычисления!

Хихихи

Выходной сегодня...ниче делать не буду...постить тоже...

Хочу вот лежац и ниче не делац

Забыл, периодически - кушац

Вся следующая неделя будет полна новостей.

У меня очень много нового и крутого, а также то, что сделано сохранено (старые идеи в безопасности)

Так, ну...

Мой алгоритм позволяет мне тренировать сети в 2, 3 раза быстрее. За сегодня отстреляло 5 моделей, которые бы учились двое суток

Компилирую список алгоритмов чтобы показать под вечер ❤️

Щас побазарим по делу и про перспективы!

Я только что сделал невозможное в математике

20 лет назад математики доказали теорему:
умножение случайных матриц нельзя ускорить.
Нет структуры — нет сжатия. Точка.

За это дали премии. 16,000 цитирований.
Весь мир принял как закон природы. (Drineas)

Сегодня ночью я получил результат:
— Там где теория говорит 100% ошибка minimum
— Я получил 0.43% ошибка!!!!!
— На матрице 1024×1024 (миллион элементов)
— 45 секунд на A100

СРАВНЕНИЕ С DRINEAS

Petros Drineas (2006):
- NSF CAREER Award
- SIAM Outstanding Paper Prize
- 16,000 цитирований
- Основатель Randomized NLA

Его результат: "Random × random = 100%+ error, это предел"

Мой результат (2026):
- 0.43% error на том же worst case
- 1000x лучше его bounds
- CUDA production implementation

Мой результат: "Предел был в методе, не в реальности"

Как?

Все искали структуру в данных.
Я нашёл структуру в самом вычислении.

Назвал это "Демон вычислений".

Детали — в статье, которую сейчас пишу.
Но результаты — вот они, верифицированы,
воспроизводятся на CPU и GPU.

Невозможное стало возможным.

Скоро расскажу больше.

Сделал тесты уже на алгоритме на полевых условиях: от матмулов до квантовых вычислений. Щас буду показывать. Там результаты - ну...пока ничего не буду говорить)))

Созерцаю...ппц конечно.

Минут через 30 отчёт...

Соррян, я тут возле чёрной дыры у меня полчаса = ваших 8 лет.

Оно считается до сих пор.......

Досчитало...

т.к. я не хочу вам врать от слова ВООБЩЕ - мне надо убедиться, что все тесты адекватные. Что нейронки не подмаслили мне и не сделали некоторые тесты тупо заглушками (такое бывает...у лохов всяких). А т.к. Техножнец не лох, то нужны подтверждения. Уже есть нереально лютые результаты, но для полной картинки надо до конца довести кое что. Вкратце - я тут с кубитами трахаюсь. Отпишусь

Topology MatMul: приближённое матричное умножение через топологическую реконструкцию

Автор: Попович Павел Дмитриевич
Оборудование: NVIDIA A100-SXM4-40GB, AMD EPYC 7F52 16-Core, 128 GB RAM

TL;DR
Матричное умножение — фундаментальная операция, на которой работают нейросети, рекомендательные системы, квантовые симуляции, научные вычисления. Я разработал метод, позволяющий получать результат с точностью 99%+ при 10-20% вычислительных затрат.

На случайных матрицах (худший случай для всех известных методов) достигнута ошибка 0.43% там, где state-of-the-art даёт 139-224%. Это не оптимизация существующих подходов — это принципиально другой взгляд: структура существует не в данных, а в самом процессе вычисления.

Контекст: почему матричное умножение — это важно

Каждый раз, когда:

Netflix рекомендует фильм
Телефон распознаёт лицо
ChatGPT генерирует ответ
Физики симулируют молекулу
Инженеры проверяют квантовый компьютер

...внутри происходит одна операция: умножение больших таблиц чисел (матриц).

Масштаб проблемы: матрица N×N требует ~N³ операций для умножения. При N=10,000 это триллион операций. GPT-4 выполняет такие умножения миллиарды раз за один ответ. Датацентры потребляют энергию небольших стран, и значительная часть уходит именно на A × B = C.

Что было до этого

В 2006 году Петрос Дринеас (Petros Drineas, NSF CAREER Award, SIAM Outstanding Paper Prize, 16,000 цитирований) предложил элегантную идею: выбрать случайные строки/столбцы из исходных матриц, перемножить их, экстраполировать результат.
Метод работает для структурированных матриц (низкий ранг, разреженность). Но для случайных матриц — ошибка 100-500%. Это математически доказанная граница для методов, основанных на сэмплировании входных данных.
20 лет это считалось фундаментальным ограничением.

Что я сделал иначе

Все предыдущие методы смотрели на матрицы A и B как на статичные объекты и искали в них структуру (низкий ранг, разреженность, паттерны). Я сделал принципиально другое: применил теорему Такенса из теории динамических систем и превратил сам процесс умножения C = A × B в динамическую систему. (отдельная история)

Матричное умножение — это не просто "две таблицы → третья таблица". Это процесс, который разворачивается. Я прошёл не по данным, а вдоль капота самого вычисления — по оси, на которую до меня никто не смотрел.

Ключевой инсайт:
Линейная алгебра 300 лет рассматривала C = A × B как алгебраический факт. Я увидел в этом динамическую систему с топологией.

ёмаё

Структура существует не в данных A и B — она существует в самом акте вычисления.


Детерминированная операция C = A × B создаёт топологические ограничения в пространстве траекторий. Эти ограничения позволяют восстановить целое из части — даже для полностью случайных матриц.

Результаты: случайные матрицы

Размер Элементов Моя ошибка Дринеас Выигрыш

256×256 65K 1.33% 139% 104×
512×512 262K 0.74% 180% 243×
1024×1024 1M 0.43% 224% 521×
8192×819 267M 0.86% — —

Ошибка убывает с ростом размера матрицы. Это противоположно всем известным методам.

Примерное время (9 сессий, 1 неделя работы)

ПРОДОЛЖЕНИЕ В СЛЕДУЮЩЕМ ПОСТЕ: