Техножнец
1.8K subscribers
1.19K photos
222 videos
12 files
420 links
Канал моих увлечений и поделок. Все ,что я делаю и выкладываю здесь - делается с любовью.

Поддержать канал: https://tbank.ru/cf/8Xnajl01ehm

Поддержать канал: https://yoomoney.ru/fundraise/1C86E2DGIU9.250819
Download Telegram
Так, ну...

Мой алгоритм позволяет мне тренировать сети в 2, 3 раза быстрее. За сегодня отстреляло 5 моделей, которые бы учились двое суток
👍19👏10🔥7👻11
Компилирую список алгоритмов чтобы показать под вечер ❤️

Щас побазарим по делу и про перспективы!
🔥1721
Я только что сделал невозможное в математике

20 лет назад математики доказали теорему:
умножение случайных матриц нельзя ускорить.
Нет структуры — нет сжатия. Точка.


За это дали премии. 16,000 цитирований.
Весь мир принял как закон природы. (Drineas)


Сегодня ночью я получил результат:
— Там где теория говорит 100% ошибка minimum
— Я получил 0.43% ошибка!!!!!
— На матрице 1024×1024 (миллион элементов)
45 секунд на A100


СРАВНЕНИЕ С DRINEAS
Petros Drineas (2006):
- NSF CAREER Award
- SIAM Outstanding Paper Prize
- 16,000 цитирований
- Основатель Randomized NLA

Его результат: "Random × random = 100%+ error, это предел"


Мой результат (2026):
- 0.43% error на том же worst case
- 1000x лучше его bounds
- CUDA production implementation

Мой результат: "Предел был в методе, не в реальности"


Как?


Все искали структуру в данных.
Я нашёл структуру в самом вычислении.


Назвал это "Демон вычислений".

Детали — в статье, которую сейчас пишу.
Но результаты — вот они, верифицированы,
воспроизводятся на CPU и GPU.


Невозможное стало возможным.


Скоро расскажу больше.
1👍42🔥227🤯6🥴4🤓3💊2🤪1
Сделал тесты уже на алгоритме на полевых условиях: от матмулов до квантовых вычислений. Щас буду показывать. Там результаты - ну...пока ничего не буду говорить)))
👏14👍6👀2
Созерцаю...ппц конечно.
🔥233❤‍🔥1
Минут через 30 отчёт...
12🤝4👀22
Соррян, я тут возле чёрной дыры у меня полчаса = ваших 8 лет.
😁33😱3🔥2👌2
This media is not supported in your browser
VIEW IN TELEGRAM
Оно считается до сих пор.......
18😁10😱1
Досчитало...

т.к. я не хочу вам врать от слова ВООБЩЕ - мне надо убедиться, что все тесты адекватные. Что нейронки не подмаслили мне и не сделали некоторые тесты тупо заглушками (такое бывает...у лохов всяких). А т.к. Техножнец не лох, то нужны подтверждения. Уже есть нереально лютые результаты, но для полной картинки надо до конца довести кое что. Вкратце - я тут с кубитами трахаюсь. Отпишусь
🤔13👍7😁41
Topology MatMul: приближённое матричное умножение через топологическую реконструкцию

Автор: Попович Павел Дмитриевич
Оборудование: NVIDIA A100-SXM4-40GB, AMD EPYC 7F52 16-Core, 128 GB RAM

TL;DR
Матричное умножение — фундаментальная операция, на которой работают нейросети, рекомендательные системы, квантовые симуляции, научные вычисления. Я разработал метод, позволяющий получать результат с точностью 99%+ при 10-20% вычислительных затрат.

На случайных матрицах (худший случай для всех известных методов) достигнута ошибка 0.43% там, где state-of-the-art даёт 139-224%. Это не оптимизация существующих подходов — это принципиально другой взгляд: структура существует не в данных, а в самом процессе вычисления.


Контекст: почему матричное умножение — это важно
Каждый раз, когда:

Netflix рекомендует фильм
Телефон распознаёт лицо
ChatGPT генерирует ответ
Физики симулируют молекулу
Инженеры проверяют квантовый компьютер


...внутри происходит одна операция: умножение больших таблиц чисел (матриц).

Масштаб проблемы: матрица N×N требует ~N³ операций для умножения. При N=10,000 это триллион операций. GPT-4 выполняет такие умножения миллиарды раз за один ответ. Датацентры потребляют энергию небольших стран, и значительная часть уходит именно на A × B = C.

Что было до этого

В 2006 году Петрос Дринеас (Petros Drineas, NSF CAREER Award, SIAM Outstanding Paper Prize, 16,000 цитирований) предложил элегантную идею: выбрать случайные строки/столбцы из исходных матриц, перемножить их, экстраполировать результат.
Метод работает для структурированных матриц (низкий ранг, разреженность). Но для случайных матриц — ошибка 100-500%. Это математически доказанная граница для методов, основанных на сэмплировании входных данных.
20 лет это считалось фундаментальным ограничением.


Что я сделал иначе


Все предыдущие методы смотрели на матрицы A и B как на статичные объекты и искали в них структуру (низкий ранг, разреженность, паттерны). Я сделал принципиально другое: применил теорему Такенса из теории динамических систем и превратил сам процесс умножения C = A × B в динамическую систему. (отдельная история)

Матричное умножение — это не просто "две таблицы → третья таблица". Это процесс, который разворачивается. Я прошёл не по данным, а вдоль капота самого вычисления — по оси, на которую до меня никто не смотрел.

Ключевой инсайт:
Линейная алгебра 300 лет рассматривала C = A × B как алгебраический факт. Я увидел в этом динамическую систему с топологией.

ёмаё

Структура существует не в данных A и B — она существует в самом акте вычисления.


Детерминированная операция C = A × B создаёт топологические ограничения в пространстве траекторий. Эти ограничения позволяют восстановить целое из части — даже для полностью случайных матриц.


Результаты: случайные матрицы

Размер Элементов Моя ошибка Дринеас Выигрыш

256×256 65K 1.33% 139% 104×
512×512 262K 0.74% 180% 243×
1024×1024 1M 0.43% 224% 521×
8192×819 267M 0.86% — —


Ошибка убывает с ростом размера матрицы. Это противоположно всем известным методам.

Примерное время (9 сессий, 1 неделя работы)

ПРОДОЛЖЕНИЕ В СЛЕДУЮЩЕМ ПОСТЕ:
14🔥9💊5🤔2👏11
Topology MatMul: Реальное применение

Автор: Попович Павел Дмитриевич
Оборудование: NVIDIA A100-SXM4-40GB, AMD EPYC 7F52 16-Core, 128 GB RAM

Рекомендательные системы (MovieLens 100K)

943 пользователя × 1682 фильма, 100K рейтингов. ALS-факторизация.

Ratio RMSE деградация
50% 0.06%
30% 0.21%
20% 0.45%


RATIO = какая часть данных вообще используется в умножении матриц (т.е. восстановление из вакуума и не совсем, далее подробнее)

Для production рекомендательных систем допустимая деградация — 1-5%. Мой метод даёт 0.06-0.45%.

ML Inference (MNIST)


3-слойная нейросеть (784→512→256→10), все слои заменены на topology matmul.

Метод Accuracy Деградация
Exact 96.39% —
Topology r=0.3 96.34% 0.05%

Для сравнения: INT8 квантизация (стандартный метод ускорения) обычно даёт деградацию 1-3%.

Астрономия (512 звёзд из каталога HYG)

Реальные данные: Hipparcos + Yale + Gliese, 76 созвездий, яркость от -26.7 (Солнце) до 3.97 mag.

Ratio Ошибка Структура созвездий
50% 0.0002% = exact
5% 0.0025% = exact

При 5% вычислений структура созвездий сохранена идеально. Визуально неотличимо. Требуется всего 5% реального неба чтобы восстановить все совездия и полную карту. (не обладая никакой информацией о небе и расположении звёзд)

Monte Carlo физика

Симуляция N частиц с Lennard-Jones потенциалом. Fourier-проекционный базис.
Ключевая метрика: SNR = статистический шум MC / ошибка topology.

N SNR (лучший)
128 20.6×
256 64.1×
512 >1 везде

Ошибка topology меньше статистического шума Monte Carlo. Приближение "бесплатно".

Квантовые вычисления: неожиданный результат

Проблема верификации

Google Sycamore (53 кубита): "Решили задачу за 200 секунд, классическому компьютеру нужно 10,000 лет."
Как проверить? Прямая симуляция требует матрицу 2^53 × 2^53. Невозможно.

Мои эксперименты
Haar-random unitaries (квантовые гейты), 8-16 последовательных операций.

Кубиты Размер r=0.5 r=0.3 r=0.2

10 1024 F=1.0 F=1.0 F=1.0
11 2048 F=1.0 F=1.0 F=1.0
12 4096 F=1.0 F=1.0 F=1.0

State Fidelity = 1.000000 — результат идентичен точному вычислению.
Парадокс: ошибка 120%, точность 100%

8 последовательных квантовых гейтов (32 вызова topology matmul):
Метод State Fidelity Frobenius Error
Exact 1.000000 0%
Topology r=0.5 1.000000 109.82%
Topology r=0.3 1.000000 123.21%


Матрица искажена на 120%. Результат идеален.
Почему? Topology ошибается изотропно — равномерно по всем элементам. При применении к конкретному квантовому состоянию ошибки в "неважных" местах не влияют на результат. Как карта города: можно врать про 990 улиц, если 10 нужных улиц точны.

Ошибки не накапливаются в State Fidelity
Глубина Frob Error State Fidelity
1 13.9% 1.000000
4 81.5% 1.000000
8 111.0% 1.000000
16 110.2% 1.000000

64 вызова topology matmul. Fidelity не падает.
Классическая интуиция говорит: ошибка должна расти линейно с глубиной. Здесь — насыщается и не расходится.

Сравнение с реальным квантовым железом

Источник Ошибка на операцию
IBM Eagle (127q) 0.3-1.0%
Google Sycamore 0.5-0.6%
Topology r=0.5 0.39%


Ошибка topology ниже ошибки реального квантового железа.

XEB (метрика Google Sycamore)

Cross-Entropy Benchmark: XEB=1 для идеальной схемы, XEB=0 для шума.
🔥8💊722🤔1
Кубиты XEB r=0.2 Fidelity
10 1.043 1.000
11 0.938 1.000
12 0.995 1.000


XEB > 1 при 10 кубитах — известный finite-size эффект, не "лучше идеала".

Практический вывод
Верификация квантовых схем до 12-15 кубитов возможна на домашнем железе с идеальной точностью при 20% вычислительных затрат. Это инструмент отладки для IBM, Google, квантовых стартапов.

ПРОДОЛЖЕНИЕ В СЛЕДУЮЩЕМ ПОСТЕ...
🔥72💊21
Topology MatMul: Реальное применение №2

Автор: Попович Павел Дмитриевич
Оборудование: NVIDIA A100-SXM4-40GB, AMD EPYC 7F52 16-Core, 128 GB RAM

Физика: голографический принцип (концептуальная демонстрация)

Эксперимент "Горизонт"

Из 5% известных звёзд восстановить идентичную неотличимую от оригинальной карту неба! (не имея доступа к остальной информации)
64 реальных звезды (5%) + 1216 случайных "тёмных объектов" (95%).

Блок Доля матрицы Ошибка
Dark-Dark 91% 0.39%
Star-Dark 5% 4.0%
Star-Star 0.25% 83.6%*


*83.6% — один элемент (Солнце, яркость >> всех остальных). Структура созвездий = ИДЕНТИЧНАЯ.
Из 5% известного восстановлено 95% неизвестного с ошибкой <1%.

Page Curve (аналогия с чёрными дырами)

Модель: 256 точек, Schwarzschild-like метрика. Сингулярность, горизонт событий, exterior.

Стратегия Ошибка сингулярности Физический аналог
Exterior only 99.999% Hawking 1975: information loss
Horizon ring 78.3% Observers at horizon
Random access 14.5% Unitarity
Entanglement islands 3.4% Penington 2019: Page curve

Page curve воспроизведена:

0 islands: 100%
1.1% islands: 29.6% (резкий drop)
4.3% islands: 4.3% (near-converged)
15% islands: 3.5% (saturated)

Оговорка: это аналогия, не физическая симуляция. Линейная алгебра моделирует информационный парадокс через механизм anchor/propagation. Концептуально демонстрирует, что entanglement islands — работающий механизм.
🔥7💊221
Что это значит на разных уровнях?

Инженеры: Нейросети быстрее в 3-5 раз при той же точности. Экономия энергии, батареи, денег.
ML-исследователи: Новый класс приближённых методов. Альтернатива квантизации с меньшей деградацией.
Квантовые инженеры: Верификация схем на классическом железе. Отладка без доступа к реальному квантовому компьютеру.
Математики: Структура в вычислении, не в данных. Bounds Дринеаса не нарушены — другой класс методов.
Физики-теоретики: Вычислительная демонстрация голографического принципа и механизма entanglement islands.


Почему ошибка убывает с размером — открытый вопрос.
👍532🔥2💊1
Назову его "Демон вычислений"
😈81
🧮 Как я научил компьютер считать в 5 раз меньше

Синтеты, а вы знали, что каждый раз когда Netflix рекомендует фильм, ChatGPT отвечает на вопрос, или телефон распознаёт лицо — внутри происходит одна операция: умножение гигантских таблиц чисел.

📊 Масштаб:

GPT-5 делает это миллиарды раз за ответ
Датацентры жрут энергию как небольшие страны
Обучение одной нейросети = $100+ миллионов


Я нашёл способ делать это с 10-20% затрат при 99%+ точности.

💡 Что нового?
20 лет учёные пытались считать часть и "угадывать" остальное. Работает, но только если в данных есть паттерны. Для случайных данных — ошибка 100-500%.

Я посмотрел в другое место. Не на данные, а на сам процесс вычисления. Применил теорему Такенса из теории хаоса — превратил статичную операцию в динамическую систему.

🎯 Инсайт: структура существует не в данных, а в самом акте вычисления.

📈 Результаты
Случайные данные (худший случай):

Моя ошибка: 0.43%
Старые методы: 224%
В 521 раз лучше


Чем больше задача, тем лучше работает. У всех остальных наоборот.

Netflix-рекомендации: деградация 0.06%
Нейросети: потеря точности 0.05%
Карта неба: из 5% восстановил 100% с ошибкой 0.0025%

⚛️ Квантовые компьютеры

Google: "Решили задачу за 200 секунд, обычному нужно 10,000 лет."
Как проверить? Раньше — никак.
Мой метод на 10-12 кубитах:


20% вычислений → 100% точность
16 операций подряд ошибки не накапливаются


🔧 Теперь можно проверять квантовые компьютеры на обычном железе.

🌌 Физика: 5% → 95%
Взял 64 звезды (5%) и 1216 "тёмных объектов" (95%). Из 5% восстановил 95% с ошибкой 0.39%. Воспроизвёл Page curve — предсказание физиков о чёрных дырах.


📊 Итог: 9/10 тестов пройдено

Научная статья в процессе. Код открою после публикации.
300 лет математики смотрели на данные. Я посмотрел на процесс.
Автор: Техножнец
1🤯13👍10👏3💊32🔥2😁1
Техножнец
📊 Итог: 9/10 тестов пройдено
С ним отдельно. Если доделаю, то и квантовые задачи можно будет считать с помощью приближения максимально точно прям дома...глянем.
🔥14🤔4💊21👍1
Топология умножения random x random (64x64).

Уровень ошибки: 4,78%

Это просто взгляд в неизвестное!
8👍42🔥1💊1
Low-Rank r=5 (r=0.5)
Ошибка: 14,37%

Выглядит как днк!
9👍3🔥2😁1