Можно ли учить сеть почти как мозг, без классического backprop?

Пацаны из Sabana AI выкатили свежую работу Diffusing Blame (arxiv.org/abs/2606.31700). Проверяют жёсткое ограничение из биологии, принцип Дейла: нейрон либо возбуждающий, либо тормозящий, роли не мешает. В обычных сетях один юнит спокойно держит и плюсовые, и минусовые исходящие веса, удобно для обучения, но биологически странно.

Они делают dual-stream: отдельные excitatory/inhibitory потоки, только неотрицательные матрицы, знак связи задаёт тип популяции, а не сам вес. Классический backprop требует в обратном проходе почти точные транспонированные копии forward-весов, а в мозге такого механизма не видно. Вместо этого Error Diffusion: глобальный сигнал ошибки напрямую доходит до скрытых слоёв. Их главная добавка, modulo error routing, растягивает ED с бинарных задач на multi-class.
Результат у них 61.7% на CIFAR-10 плюс заходы в RL. Красивая работа, честная постановка.

Мне эта программа близка. Я копаю ту же цель с другого конца: учиться без backprop, без транспорта весов назад. Только у меня не итеративный сигнал ошибки, а закрытая форма. Один линейный ридаут решается разом, транспортировать назад просто нечего.

Прогнал на том же сплите CIFAR-10 50k/10k. Zero gradient, zero epochs, zero backprop:
D=400 -> 68.99% (весь пайплайн за 157 секунд на одном ядре CPU)
D=1600 -> 75.44%

Стек простой и старый как мир: случайные патчи, сферический k-means на признаки, ZCA, знаковая soft-threshold нелинейность (не ReLU), 4-квадрантный пулинг, ridge в закрытой форме. Всё детерминированно, воспроизводится на 1 ядре за минуты.
Что это значит и чего не значит, честно:

Их 61.7% подан как baseline «сеть под Дейлом реально учит представления с картинок». Но zero-gradient baseline без всякого обучения садится выше. Значит планку отсчёта надо поднимать. Это не наезд на их механизм, ED про то, КАК раздать вину без транспорта весов. Это про то, что рядом с любым bio-plausible результатом обязан стоять zero-gradient baseline, прежде чем результат называют сильным.

Готовлю на этом бумагу. Не опровержение, а развитие той же линии: честный baseline + закрытая-форма ветка обучения без градиентов. Мы с пацанами тут как на одной выставке, просто у нас разные экспонаты, а тема одна!

Скоро выложу препринт и код.

А вот параллельная ветка, на которой вырос данный пост и разработка: ЖМАЙ СЮДА ПОЧИТАТЬ

P.S. Афинные проекции будут следующим правильным шагом, но там, пока что, тёмный лес для меня...

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

С вашей поддержкой всегда легче.

Планирую закупить ещё подписок google colab, оплатить google счета с прошлых генераций датасетов.
Опишу сразу , что примерно требуется (я сам, пока что, не потяну).

1) DeepSeek V4 Flash - надо пополнить API на долларов эдак 60 чтобы нагенерировать ещё недостающих данных для Rukallama

2) Google Colab - пополнить минимум на баксов 30 + оплатить счета от Google

3) Походу нужна вторая подписка, но уже на KIMI или на GLM - мы вряд ли соберём, но я своих добавлю, что найду.

С учётом, что приходится работать и выживать - смело вам об этом пишу.

Если есть желание поддержать меня как автора этих проектов, чтобы дальше всё двигалось, то вот ссылки:

P.S. Если честно сидеть и ждать у моря погоды не очень хочется ❤️

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Привет, синтеты. Спасибо за поддержку. Многое оплачено, что-то ещё впереди.

Вышел Claude Opus 5.

Будем смотреть.

Готовы 3 новые статьи научные.
В ЖУРНАЛЕ Physica D - После обзора рекомендовали подать в другой журнал, но написали, что статья збс, но просто не их огород.

Приятно, что не послали. А журнал куда предлагают ещё не смотрел, сегодня гляну.

Новые статьи очень интересные, поделюсь.

Ах да, там ЛОГОС в интернет начал залезать и искать всякое...отчёт позже.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Это уже 12-ая попытка, т.к. на моём фреймворке PromeTorch - уже починил кучу аспектов. Периодически возвращаюсь. Кто пропустил, пожалуйста, наблюдайте репозиторий:

https://github.com/barometech/PromeTorch

Российский фреймворк для тренировки и инференса моделей, собственный Ollama вариант для инференса под названием PromeServe и многое другое. Спекулятивные вычисления внутри. Ну и работающий фреймворк для процессоров Эльбрус из коробки.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7