KANDAM — предсказание градиентов без вычислений

Мы выяснили, что обратное распространение — это дорого. Память, вычисления, очередь. А что если его не делать вообще?

Идея:
Градиенты — это не случайные числа. Это траектория. Сеть учится по определённому маршруту: шаг 1, шаг 2, шаг 3... Каждый следующий шаг зависит от предыдущих.

Есть теорема Такенса (1981). Она говорит: если наблюдать за системой достаточно долго, можно предсказать её будущее по прошлому. Не нужно знать все внутренности — достаточно видеть историю.

Что делает KANDAM:

Берём много нейросетей, которые гарантированно обучаются
Записываем всё: как менялся loss, как двигались веса, какие были градиенты!

Получаем тысячи "траекторий обучения"

Тренируем маленькую KAN-модель предсказывать: "если история такая — следующий градиент будет такой"

При обучении новой сети:

Прямой проход → посмотрели loss → спросили у KANDAM "куда двигаться?" → получили предсказанный градиент → обновили веса.

Обратного прохода нет. Памяти под активации не нужно. Вычислений в разы меньше.

Почему KAN:

Градиентный ландшафт — сложная штука. Много пиков, впадин, резких переходов. Обычные сети (MLP) плохо учат такие функции. KAN — хорошо. Мы это доказали в TrueKAN: 99% точности там, где MLP даёт 23%.

Если сработает:
Обучение нейросетей станет дешёвым. Не в 3 раза дороже инференса, а почти столько же. Это меняет всё — кто может обучать модели, какого размера, за какие деньги.

Статус:

Теория сходится. Эксперимент спроектирован. Нужно проверить.

РАБОТАЕМ!

Синтеты, так посты понятнее для людей, кто не в теме, но уважаемо подписан ?

Но это не значит, что я завязал со своими высказываниями для задротов по теме.

Мы такие...душнилы айтишные, мочим либо чересчур сладко корпоративно, либо полный рок'н'ролл, который переходит в не профессиональный кринж.

Данный канал = баланс.
Здесь будет вся инфа = успехи, провалы, открытия, закрытия, счастье, горесть. Чистые эмоции и, главное, любовью.

А вы пишите, норм ?

ПОБЕДА! РНБ - держитесь, оно будет летать.

TECHNOID: Greatest Comeback Vol. 2 — это машина, собранная из стали, синтетики и давления.
Звук, по которому скучали: ржавый привкус во рту, плотность, сжимающая челюсть, и ощущение, что назад дороги нет.

Классическая эстетика, пересобранная с современной мощью.
Новое поколение прошло жёсткий апгрейд, старые коды снова активированы.
Всё отточено и сварено в единый механизм под контролем Paperfunk Recordings.

Без швов.
Без компромиссов.
Машина запущена.
Поддержи релиз — это топливо для механизма.
https://taplink.cc/pprfnk

Синтеты, я тут стараюсь делиться с вами и музыкальным контентом. Что это за компиляция?

Ух...началось всё с того, что мы с моим партнёром по лейблу Анной решили возобновить технойд звучание, но очень долго метались от одной идее к другой по теме её реализации...вот, объясните, каким образом наиболее плотно, визуально хайпово упаковать абсолютно долбанутый образец поджанра Drum & Bass под названием Technoid в массы и возродить это направление?

Пришла идея такая: делать эти релизы максимально угарными с точки зрения позиционирования и подхода. Все ребуты, которые я видел, что делались с серьёзной миной...ну, скажем так, подвергались излишней критики. Серьёзный подход? Получай за каноны, получай за недоработки по стилистике, получай за это, получай за то. (Слушатели в днб и днб сообщества крайне ревнивые и иногда чересчур влоб в атаку лезут)

И она сработала! Это уже вторая часть непростой, но очень интересной компиляции с точки зрения истории жанра Drum and Bass, т.к. в последний раз волна Technoid Drum & Bass прошлась с 2007 по 2011 года. Отлица всего лейбла PPRFNK лишь надеемся, что всё у Technoid будет хорошо и мы привлечём к жанру должное внимание.

Кстати, в этом релизе участвуют знаковые личности.

Прогоняю очень сложный тест по РНБ ИИ поиску - если всё отработает и будет уже 1, 2 ошибки вместо 10 из 83 тестов. то WIN капитальный можно давать, наконец-то, снова на тестирование.

Визуально всегда понятнее!

ОХ, я уставший седня..ппц. но ниче.

Скоро сумасшедшие новости...(это тизер)

А вот следующий репост - ЧАСТЬ моих результатов! 😃 читаем...щас появится.

Как я с помощью кефира ускорил умножение матриц!!!

Итак - KEFIR предсказывает поведение градиентов и убирает обратный просчёт ошибок аж от 30% до 70% экономии вычислений.

Предсказание внутри предсказания
Начал с идеи: не считать каждый градиент, а предсказывать следующий по предыдущему.
Сработало. Минус 50% вычислений. V9.

Но градиент — это умножение матриц.

А внутри умножения — можно ли тоже предсказывать?
Да.

Соседние строки результата почти одинаковые. Считаешь каждую четвёртую — остальные достраиваешь. Ещё минус 50%.

Матрёшка:
Уровень 1: Предсказываем градиент целиком
    ↓
Уровень 2: Внутри градиента предсказываем строки

Почему работает:
Нейросеть — структура, не хаос. Плавные переходы на каждом уровне. Два уровня похожести — два уровня экономии.

Насколько ново:
Approximate matmul — известно. Предсказание градиентов — тоже.

Связать как вложенную систему — такого не видел. И доказал почему не случайность: при умножении энтропия результата всегда меньше исходных. Часть вычислений всегда избыточна.

Одна идея. Два уровня. Потенциально 4x ускорение.

Для тех, кто шарит! Я думаю, что это мощное вложение в вычислительную движуху.

У меня появились очень мощные инструменты, которые помогут достичь новых возможностей на текущем железе. Я таким образом подстраховался, что если не будет инвесторов и буду всё делать своими силами. На всякий случай облегчил вычисления!

Хихихи

Выходной сегодня...ниче делать не буду...постить тоже...

Хочу вот лежац и ниче не делац

Забыл, периодически - кушац

Вся следующая неделя будет полна новостей.

У меня очень много нового и крутого, а также то, что сделано сохранено (старые идеи в безопасности)

Так, ну...

Мой алгоритм позволяет мне тренировать сети в 2, 3 раза быстрее. За сегодня отстреляло 5 моделей, которые бы учились двое суток

Компилирую список алгоритмов чтобы показать под вечер ❤️

Щас побазарим по делу и про перспективы!

Я только что сделал невозможное в математике

20 лет назад математики доказали теорему:
умножение случайных матриц нельзя ускорить.
Нет структуры — нет сжатия. Точка.

За это дали премии. 16,000 цитирований.
Весь мир принял как закон природы. (Drineas)

Сегодня ночью я получил результат:
— Там где теория говорит 100% ошибка minimum
— Я получил 0.43% ошибка!!!!!
— На матрице 1024×1024 (миллион элементов)
— 45 секунд на A100

СРАВНЕНИЕ С DRINEAS

Petros Drineas (2006):
- NSF CAREER Award
- SIAM Outstanding Paper Prize
- 16,000 цитирований
- Основатель Randomized NLA

Его результат: "Random × random = 100%+ error, это предел"

Мой результат (2026):
- 0.43% error на том же worst case
- 1000x лучше его bounds
- CUDA production implementation

Мой результат: "Предел был в методе, не в реальности"

Как?

Все искали структуру в данных.
Я нашёл структуру в самом вычислении.

Назвал это "Демон вычислений".

Детали — в статье, которую сейчас пишу.
Но результаты — вот они, верифицированы,
воспроизводятся на CPU и GPU.

Невозможное стало возможным.

Скоро расскажу больше.