Так, ну...
Мой алгоритм позволяет мне тренировать сети в 2, 3 раза быстрее. За сегодня отстреляло 5 моделей, которые бы учились двое суток
Мой алгоритм позволяет мне тренировать сети в 2, 3 раза быстрее. За сегодня отстреляло 5 моделей, которые бы учились двое суток
👍19👏10🔥7👻1 1
Компилирую список алгоритмов чтобы показать под вечер ❤️
Щас побазарим по делу и про перспективы!
Щас побазарим по делу и про перспективы!
🔥17 2❤1
Я только что сделал невозможное в математике
СРАВНЕНИЕ С DRINEAS
Назвал это "Демон вычислений".
Скоро расскажу больше.
20 лет назад математики доказали теорему:
умножение случайных матриц нельзя ускорить.
Нет структуры — нет сжатия. Точка.
За это дали премии. 16,000 цитирований.
Весь мир принял как закон природы. (Drineas)
Сегодня ночью я получил результат:
— Там где теория говорит 100% ошибка minimum
— Я получил 0.43% ошибка!!!!!
— На матрице 1024×1024 (миллион элементов)
— 45 секунд на A100
СРАВНЕНИЕ С DRINEAS
Petros Drineas (2006):
- NSF CAREER Award
- SIAM Outstanding Paper Prize
- 16,000 цитирований
- Основатель Randomized NLA
Его результат: "Random × random = 100%+ error, это предел"
Мой результат (2026):
- 0.43% error на том же worst case
- 1000x лучше его bounds
- CUDA production implementation
Мой результат: "Предел был в методе, не в реальности"
Как?
Все искали структуру в данных.
Я нашёл структуру в самом вычислении.
Назвал это "Демон вычислений".
Детали — в статье, которую сейчас пишу.
Но результаты — вот они, верифицированы,
воспроизводятся на CPU и GPU.
Невозможное стало возможным.
Скоро расскажу больше.
1👍42🔥22❤7🤯6🥴4🤓3💊2🤪1
Сделал тесты уже на алгоритме на полевых условиях: от матмулов до квантовых вычислений. Щас буду показывать. Там результаты - ну...пока ничего не буду говорить)))
👏14👍6👀2
This media is not supported in your browser
VIEW IN TELEGRAM
Оно считается до сих пор.......
Досчитало...
т.к. я не хочу вам врать от слова ВООБЩЕ - мне надо убедиться, что все тесты адекватные. Что нейронки не подмаслили мне и не сделали некоторые тесты тупо заглушками (такое бывает...у лохов всяких). А т.к. Техножнец не лох, то нужны подтверждения. Уже есть нереально лютые результаты, но для полной картинки надо до конца довести кое что. Вкратце - я тут с кубитами трахаюсь. Отпишусь
т.к. я не хочу вам врать от слова ВООБЩЕ - мне надо убедиться, что все тесты адекватные. Что нейронки не подмаслили мне и не сделали некоторые тесты тупо заглушками (такое бывает...у лохов всяких). А т.к. Техножнец не лох, то нужны подтверждения. Уже есть нереально лютые результаты, но для полной картинки надо до конца довести кое что. Вкратце - я тут с кубитами трахаюсь. Отпишусь
🤔13👍7😁4 1
Topology MatMul: приближённое матричное умножение через топологическую реконструкцию
Автор: Попович Павел Дмитриевич
Оборудование: NVIDIA A100-SXM4-40GB, AMD EPYC 7F52 16-Core, 128 GB RAM
Контекст: почему матричное умножение — это важно
...внутри происходит одна операция: умножение больших таблиц чисел (матриц).
Масштаб проблемы: матрица N×N требует ~N³ операций для умножения. При N=10,000 это триллион операций. GPT-4 выполняет такие умножения миллиарды раз за один ответ. Датацентры потребляют энергию небольших стран, и значительная часть уходит именно на A × B = C.
Все предыдущие методы смотрели на матрицы A и B как на статичные объекты и искали в них структуру (низкий ранг, разреженность, паттерны). Я сделал принципиально другое: применил теорему Такенса из теории динамических систем и превратил сам процесс умножения C = A × B в динамическую систему. (отдельная история)
Матричное умножение — это не просто "две таблицы → третья таблица". Это процесс, который разворачивается. Я прошёл не по данным, а вдоль капота самого вычисления — по оси, на которую до меня никто не смотрел.
Результаты: случайные матрицы
Ошибка убывает с ростом размера матрицы. Это противоположно всем известным методам.
Примерное время (9 сессий, 1 неделя работы)
ПРОДОЛЖЕНИЕ В СЛЕДУЮЩЕМ ПОСТЕ:
Автор: Попович Павел Дмитриевич
Оборудование: NVIDIA A100-SXM4-40GB, AMD EPYC 7F52 16-Core, 128 GB RAM
TL;DR
Матричное умножение — фундаментальная операция, на которой работают нейросети, рекомендательные системы, квантовые симуляции, научные вычисления. Я разработал метод, позволяющий получать результат с точностью 99%+ при 10-20% вычислительных затрат.
На случайных матрицах (худший случай для всех известных методов) достигнута ошибка 0.43% там, где state-of-the-art даёт 139-224%. Это не оптимизация существующих подходов — это принципиально другой взгляд: структура существует не в данных, а в самом процессе вычисления.
Контекст: почему матричное умножение — это важно
Каждый раз, когда:
Netflix рекомендует фильм
Телефон распознаёт лицо
ChatGPT генерирует ответ
Физики симулируют молекулу
Инженеры проверяют квантовый компьютер
...внутри происходит одна операция: умножение больших таблиц чисел (матриц).
Масштаб проблемы: матрица N×N требует ~N³ операций для умножения. При N=10,000 это триллион операций. GPT-4 выполняет такие умножения миллиарды раз за один ответ. Датацентры потребляют энергию небольших стран, и значительная часть уходит именно на A × B = C.
Что было до этого
В 2006 году Петрос Дринеас (Petros Drineas, NSF CAREER Award, SIAM Outstanding Paper Prize, 16,000 цитирований) предложил элегантную идею: выбрать случайные строки/столбцы из исходных матриц, перемножить их, экстраполировать результат.
Метод работает для структурированных матриц (низкий ранг, разреженность). Но для случайных матриц — ошибка 100-500%. Это математически доказанная граница для методов, основанных на сэмплировании входных данных.
20 лет это считалось фундаментальным ограничением.
Что я сделал иначе
Все предыдущие методы смотрели на матрицы A и B как на статичные объекты и искали в них структуру (низкий ранг, разреженность, паттерны). Я сделал принципиально другое: применил теорему Такенса из теории динамических систем и превратил сам процесс умножения C = A × B в динамическую систему. (отдельная история)
Матричное умножение — это не просто "две таблицы → третья таблица". Это процесс, который разворачивается. Я прошёл не по данным, а вдоль капота самого вычисления — по оси, на которую до меня никто не смотрел.
Ключевой инсайт:
Линейная алгебра 300 лет рассматривала C = A × B как алгебраический факт. Я увидел в этом динамическую систему с топологией.
ёмаё
Структура существует не в данных A и B — она существует в самом акте вычисления.
Детерминированная операция C = A × B создаёт топологические ограничения в пространстве траекторий. Эти ограничения позволяют восстановить целое из части — даже для полностью случайных матриц.
Результаты: случайные матрицы
Размер Элементов Моя ошибка Дринеас Выигрыш
256×256 65K 1.33% 139% 104×
512×512 262K 0.74% 180% 243×
1024×1024 1M 0.43% 224% 521×
8192×819 267M 0.86% — —
Ошибка убывает с ростом размера матрицы. Это противоположно всем известным методам.
Примерное время (9 сессий, 1 неделя работы)
ПРОДОЛЖЕНИЕ В СЛЕДУЮЩЕМ ПОСТЕ:
❤14🔥9💊5🤔2👏1 1
Topology MatMul: Реальное применение
Автор: Попович Павел Дмитриевич
Оборудование: NVIDIA A100-SXM4-40GB, AMD EPYC 7F52 16-Core, 128 GB RAM
943 пользователя × 1682 фильма, 100K рейтингов. ALS-факторизация.
RATIO = какая часть данных вообще используется в умножении матриц (т.е. восстановление из вакуума и не совсем, далее подробнее)
Для production рекомендательных систем допустимая деградация — 1-5%. Мой метод даёт 0.06-0.45%.
3-слойная нейросеть (784→512→256→10), все слои заменены на topology matmul.
Для сравнения: INT8 квантизация (стандартный метод ускорения) обычно даёт деградацию 1-3%.
Реальные данные: Hipparcos + Yale + Gliese, 76 созвездий, яркость от -26.7 (Солнце) до 3.97 mag.
При 5% вычислений структура созвездий сохранена идеально. Визуально неотличимо. Требуется всего 5% реального неба чтобы восстановить все совездия и полную карту. (не обладая никакой информацией о небе и расположении звёзд)
Симуляция N частиц с Lennard-Jones потенциалом. Fourier-проекционный базис.
Ключевая метрика: SNR = статистический шум MC / ошибка topology.
Ошибка topology меньше статистического шума Monte Carlo. Приближение "бесплатно".
Проблема верификации
Google Sycamore (53 кубита): "Решили задачу за 200 секунд, классическому компьютеру нужно 10,000 лет."
Как проверить? Прямая симуляция требует матрицу 2^53 × 2^53. Невозможно.
Мои эксперименты
Haar-random unitaries (квантовые гейты), 8-16 последовательных операций.
State Fidelity = 1.000000 — результат идентичен точному вычислению.
Парадокс: ошибка 120%, точность 100%
8 последовательных квантовых гейтов (32 вызова topology matmul):
Матрица искажена на 120%. Результат идеален.
Почему? Topology ошибается изотропно — равномерно по всем элементам. При применении к конкретному квантовому состоянию ошибки в "неважных" местах не влияют на результат. Как карта города: можно врать про 990 улиц, если 10 нужных улиц точны.
Ошибки не накапливаются в State Fidelity
64 вызова topology matmul. Fidelity не падает.
Классическая интуиция говорит: ошибка должна расти линейно с глубиной. Здесь — насыщается и не расходится.
Сравнение с реальным квантовым железом
Ошибка topology ниже ошибки реального квантового железа.
Cross-Entropy Benchmark: XEB=1 для идеальной схемы, XEB=0 для шума.
Автор: Попович Павел Дмитриевич
Оборудование: NVIDIA A100-SXM4-40GB, AMD EPYC 7F52 16-Core, 128 GB RAM
Рекомендательные системы (MovieLens 100K)
943 пользователя × 1682 фильма, 100K рейтингов. ALS-факторизация.
Ratio RMSE деградация
50% 0.06%
30% 0.21%
20% 0.45%
RATIO = какая часть данных вообще используется в умножении матриц (т.е. восстановление из вакуума и не совсем, далее подробнее)
Для production рекомендательных систем допустимая деградация — 1-5%. Мой метод даёт 0.06-0.45%.
ML Inference (MNIST)
3-слойная нейросеть (784→512→256→10), все слои заменены на topology matmul.
Метод Accuracy Деградация
Exact 96.39% —
Topology r=0.3 96.34% 0.05%
Для сравнения: INT8 квантизация (стандартный метод ускорения) обычно даёт деградацию 1-3%.
Астрономия (512 звёзд из каталога HYG)
Реальные данные: Hipparcos + Yale + Gliese, 76 созвездий, яркость от -26.7 (Солнце) до 3.97 mag.
Ratio Ошибка Структура созвездий
50% 0.0002% = exact
5% 0.0025% = exact
При 5% вычислений структура созвездий сохранена идеально. Визуально неотличимо. Требуется всего 5% реального неба чтобы восстановить все совездия и полную карту. (не обладая никакой информацией о небе и расположении звёзд)
Monte Carlo физика
Симуляция N частиц с Lennard-Jones потенциалом. Fourier-проекционный базис.
Ключевая метрика: SNR = статистический шум MC / ошибка topology.
N SNR (лучший)
128 20.6×
256 64.1×
512 >1 везде
Ошибка topology меньше статистического шума Monte Carlo. Приближение "бесплатно".
Квантовые вычисления: неожиданный результат
Проблема верификации
Google Sycamore (53 кубита): "Решили задачу за 200 секунд, классическому компьютеру нужно 10,000 лет."
Как проверить? Прямая симуляция требует матрицу 2^53 × 2^53. Невозможно.
Мои эксперименты
Haar-random unitaries (квантовые гейты), 8-16 последовательных операций.
Кубиты Размер r=0.5 r=0.3 r=0.2
10 1024 F=1.0 F=1.0 F=1.0
11 2048 F=1.0 F=1.0 F=1.0
12 4096 F=1.0 F=1.0 F=1.0
State Fidelity = 1.000000 — результат идентичен точному вычислению.
Парадокс: ошибка 120%, точность 100%
8 последовательных квантовых гейтов (32 вызова topology matmul):
Метод State Fidelity Frobenius Error
Exact 1.000000 0%
Topology r=0.5 1.000000 109.82%
Topology r=0.3 1.000000 123.21%
Матрица искажена на 120%. Результат идеален.
Почему? Topology ошибается изотропно — равномерно по всем элементам. При применении к конкретному квантовому состоянию ошибки в "неважных" местах не влияют на результат. Как карта города: можно врать про 990 улиц, если 10 нужных улиц точны.
Ошибки не накапливаются в State Fidelity
Глубина Frob Error State Fidelity
1 13.9% 1.000000
4 81.5% 1.000000
8 111.0% 1.000000
16 110.2% 1.000000
64 вызова topology matmul. Fidelity не падает.
Классическая интуиция говорит: ошибка должна расти линейно с глубиной. Здесь — насыщается и не расходится.
Сравнение с реальным квантовым железом
Источник Ошибка на операцию
IBM Eagle (127q) 0.3-1.0%
Google Sycamore 0.5-0.6%
Topology r=0.5 0.39%
Ошибка topology ниже ошибки реального квантового железа.
XEB (метрика Google Sycamore)
Cross-Entropy Benchmark: XEB=1 для идеальной схемы, XEB=0 для шума.
🔥8💊7❤2 2🤔1
Кубиты XEB r=0.2 Fidelity
10 1.043 1.000
11 0.938 1.000
12 0.995 1.000
XEB > 1 при 10 кубитах — известный finite-size эффект, не "лучше идеала".
Практический вывод
Верификация квантовых схем до 12-15 кубитов возможна на домашнем железе с идеальной точностью при 20% вычислительных затрат. Это инструмент отладки для IBM, Google, квантовых стартапов.
ПРОДОЛЖЕНИЕ В СЛЕДУЮЩЕМ ПОСТЕ...
🔥7❤2💊2 1
Topology MatMul: Реальное применение №2
Автор: Попович Павел Дмитриевич
Оборудование: NVIDIA A100-SXM4-40GB, AMD EPYC 7F52 16-Core, 128 GB RAM
Физика: голографический принцип (концептуальная демонстрация)
Эксперимент "Горизонт"
Из 5% известных звёзд восстановить идентичную неотличимую от оригинальной карту неба! (не имея доступа к остальной информации)
64 реальных звезды (5%) + 1216 случайных "тёмных объектов" (95%).
*83.6% — один элемент (Солнце, яркость >> всех остальных). Структура созвездий = ИДЕНТИЧНАЯ.
Из 5% известного восстановлено 95% неизвестного с ошибкой <1%.
Модель: 256 точек, Schwarzschild-like метрика. Сингулярность, горизонт событий, exterior.
Page curve воспроизведена:
0 islands: 100%
1.1% islands: 29.6% (резкий drop)
4.3% islands: 4.3% (near-converged)
15% islands: 3.5% (saturated)
Автор: Попович Павел Дмитриевич
Оборудование: NVIDIA A100-SXM4-40GB, AMD EPYC 7F52 16-Core, 128 GB RAM
Физика: голографический принцип (концептуальная демонстрация)
Эксперимент "Горизонт"
Из 5% известных звёзд восстановить идентичную неотличимую от оригинальной карту неба! (не имея доступа к остальной информации)
64 реальных звезды (5%) + 1216 случайных "тёмных объектов" (95%).
Блок Доля матрицы Ошибка
Dark-Dark 91% 0.39%
Star-Dark 5% 4.0%
Star-Star 0.25% 83.6%*
*83.6% — один элемент (Солнце, яркость >> всех остальных). Структура созвездий = ИДЕНТИЧНАЯ.
Из 5% известного восстановлено 95% неизвестного с ошибкой <1%.
Page Curve (аналогия с чёрными дырами)
Модель: 256 точек, Schwarzschild-like метрика. Сингулярность, горизонт событий, exterior.
Стратегия Ошибка сингулярности Физический аналог
Exterior only 99.999% Hawking 1975: information loss
Horizon ring 78.3% Observers at horizon
Random access 14.5% Unitarity
Entanglement islands 3.4% Penington 2019: Page curve
Page curve воспроизведена:
0 islands: 100%
1.1% islands: 29.6% (резкий drop)
4.3% islands: 4.3% (near-converged)
15% islands: 3.5% (saturated)
Оговорка: это аналогия, не физическая симуляция. Линейная алгебра моделирует информационный парадокс через механизм anchor/propagation. Концептуально демонстрирует, что entanglement islands — работающий механизм.
🔥7💊2 2❤1
Что это значит на разных уровнях?
Инженеры: Нейросети быстрее в 3-5 раз при той же точности. Экономия энергии, батареи, денег.
ML-исследователи: Новый класс приближённых методов. Альтернатива квантизации с меньшей деградацией.
Квантовые инженеры: Верификация схем на классическом железе. Отладка без доступа к реальному квантовому компьютеру.
Математики: Структура в вычислении, не в данных. Bounds Дринеаса не нарушены — другой класс методов.
Физики-теоретики: Вычислительная демонстрация голографического принципа и механизма entanglement islands.
Почему ошибка убывает с размером — открытый вопрос.
Инженеры: Нейросети быстрее в 3-5 раз при той же точности. Экономия энергии, батареи, денег.
ML-исследователи: Новый класс приближённых методов. Альтернатива квантизации с меньшей деградацией.
Квантовые инженеры: Верификация схем на классическом железе. Отладка без доступа к реальному квантовому компьютеру.
Математики: Структура в вычислении, не в данных. Bounds Дринеаса не нарушены — другой класс методов.
Физики-теоретики: Вычислительная демонстрация голографического принципа и механизма entanglement islands.
Почему ошибка убывает с размером — открытый вопрос.
👍5 3❤2🔥2💊1
🧮 Как я научил компьютер считать в 5 раз меньше
Синтеты, а вы знали, что каждый раз когда Netflix рекомендует фильм, ChatGPT отвечает на вопрос, или телефон распознаёт лицо — внутри происходит одна операция: умножение гигантских таблиц чисел.
Я нашёл способ делать это с 10-20% затрат при 99%+ точности.
🎯 Инсайт: структура существует не в данных, а в самом акте вычисления.
🔧 Теперь можно проверять квантовые компьютеры на обычном железе.
📊 Итог: 9/10 тестов пройдено
Научная статья в процессе. Код открою после публикации.
300 лет математики смотрели на данные. Я посмотрел на процесс.
Автор: Техножнец
Синтеты, а вы знали, что каждый раз когда Netflix рекомендует фильм, ChatGPT отвечает на вопрос, или телефон распознаёт лицо — внутри происходит одна операция: умножение гигантских таблиц чисел.
📊 Масштаб:
GPT-5 делает это миллиарды раз за ответ
Датацентры жрут энергию как небольшие страны
Обучение одной нейросети = $100+ миллионов
Я нашёл способ делать это с 10-20% затрат при 99%+ точности.
💡 Что нового?
20 лет учёные пытались считать часть и "угадывать" остальное. Работает, но только если в данных есть паттерны. Для случайных данных — ошибка 100-500%.
Я посмотрел в другое место. Не на данные, а на сам процесс вычисления. Применил теорему Такенса из теории хаоса — превратил статичную операцию в динамическую систему.
🎯 Инсайт: структура существует не в данных, а в самом акте вычисления.
📈 Результаты
Случайные данные (худший случай):
Моя ошибка: 0.43%
Старые методы: 224%
В 521 раз лучше
Чем больше задача, тем лучше работает. У всех остальных наоборот.
Netflix-рекомендации: деградация 0.06%
Нейросети: потеря точности 0.05%
Карта неба: из 5% восстановил 100% с ошибкой 0.0025%
⚛️ Квантовые компьютеры
Google: "Решили задачу за 200 секунд, обычному нужно 10,000 лет."
Как проверить? Раньше — никак.
Мой метод на 10-12 кубитах:
20% вычислений → 100% точность
16 операций подряд — ошибки не накапливаются
🔧 Теперь можно проверять квантовые компьютеры на обычном железе.
🌌 Физика: 5% → 95%
Взял 64 звезды (5%) и 1216 "тёмных объектов" (95%). Из 5% восстановил 95% с ошибкой 0.39%. Воспроизвёл Page curve — предсказание физиков о чёрных дырах.
📊 Итог: 9/10 тестов пройдено
Научная статья в процессе. Код открою после публикации.
300 лет математики смотрели на данные. Я посмотрел на процесс.
Автор: Техножнец
Telegram
Техножнец
Topology MatMul: приближённое матричное умножение через топологическую реконструкцию
Автор: Попович Павел Дмитриевич
Оборудование: NVIDIA A100-SXM4-40GB, AMD EPYC 7F52 16-Core, 128 GB RAM
TL;DR
Матричное умножение — фундаментальная операция, на которой…
Автор: Попович Павел Дмитриевич
Оборудование: NVIDIA A100-SXM4-40GB, AMD EPYC 7F52 16-Core, 128 GB RAM
TL;DR
Матричное умножение — фундаментальная операция, на которой…
1🤯13👍10👏3💊3❤2🔥2😁1
Техножнец
📊 Итог: 9/10 тестов пройдено
С ним отдельно. Если доделаю, то и квантовые задачи можно будет считать с помощью приближения максимально точно прям дома...глянем.
🔥14🤔4💊2❤1👍1
Топология умножения random x random (64x64).
Уровень ошибки: 4,78%
Это просто взгляд в неизвестное!
Уровень ошибки: 4,78%
Это просто взгляд в неизвестное!