Техножнец
5.56K subscribers
1.6K photos
266 videos
12 files
838 links
Канал моих увлечений и поделок. Всё ,что я делаю и выкладываю здесь - делается с любовью.

Поддержать канал: https://tbank.ru/cf/8Xnajl01ehm

Поддержать канал: https://yoomoney.ru/fundraise/1C86E2DGIU9.250819
Download Telegram
🔬 ДЕМОН ПОЛУЧИЛ ТЕОРЕМУ. Препринт на arXiv, статья ушла в Physica D

14 месяцев и ~2500 экспериментов DEMON был инженерным фактом: якоря, Такенс, Риккати, ускорения от матмула до астрофизики. Не хватало доказательства: почему работает и где граница.

Теперь есть.

arXiv: https://arxiv.org/abs/2607.14885 (math.DS)
Код: https://github.com/barometech/contraction-vs-recurrence
На рецензии: Physica D: Nonlinear Phenomena (PHYSD-D-26-01611)

Сначала отступление и ретроспектива:

Про фильтр, который я себе сделал. У меня был период: вспышки, чёрные дыры, белки, полимеры, ЭЭГ, сердце — я лез везде, где мерцала структура, и каждый раз находил её. Проблема в том, что её находили все и всегда — в восьмидесятых поле сошло с ума ровно на этом: инструмент выдавал красивое маленькое число на чём угодно, включая чистый шум, и пошёл вал открытий. Климатический аттрактор, размерность мозга, детерминированный хаос в ЭЭГ, предсказание эпилепсии по ляпуновским показателям, низкоразмерная динамика сердечного ритма. Всё это отозвали. Не потому что люди были глупые — потому что инструмент врал, а проверить было нечем: возьми обычный 1/f-шум, прогони через стандартный конвейер, получи «размерность 2.5» и статью в Nature. Крыша ехала капитально и системно, целым поколением. Сейчас та же болезнь возвращается с ИИ: модель что-то выдала, число красивое, значит открытие — и никто не спрашивает, отличается ли оно от того, что выдаст та же модель на перемешанных данных. Так вот, теперь у меня есть гейт: он берёт мой сигнал, делает из него подделку с той же статистикой, но убитой внутренней механикой, и сравнивает. Оригинал предсказывается лучше подделки — структура настоящая. Одинаково — я просто любовался шумом. Я прогнал через него собственную гипотезу про универсальную восьмёрку — она сдохла.

Суть без формул.

Один датчик, одна кривая - станок, сердце, звезда. Надо понять скрытое состояние и предсказать следующий шаг. Способов два.
Первый: ждать повторения. Система вернётся в похожее состояние - подсмотри продолжение. Метод аналогов, Лоренц, 1969.
Второй: настроить наблюдателя. Модель за десяток шагов подстраивается и дальше ведёт систему сама. DEMON - это он.
Доказано и измерено: ожидание дорожает как степень (точность в 10 раз выше - жди в 100 раз дольше для двумерной системы), наблюдатель - как логарифм (плюс пара шагов). На аттракторе Лоренца при точности одна миллионная разрыв: 19 000 000 000 раз.

Вторая половина - прививка от самообмана.

Типовой конвейер анализа "находит" порядок даже в чистом шуме: белый шум на входе - красивая "размерность 8" на выходе. На звуке, котировках, чём угодно. Это подпись размера датасета, не вселенной - на этой иллюзии в 80-х погорели "климатические аттракторы".
В статье - гейт Каца-Риккати из трёх проверок, ловящий подделку до "открытия". Проверен на реальных данных: лазер Santa Fe пропущен (D2=2.01), солнечные пятна отвергнуты - хотя красивое число там есть до сих пор. Один допуск, один отказ, оба совпали с устоявшейся литературой.
Я прогнал через гейт собственную гипотезу о восьмёрке. Она не выжила. Теорема выжила.

Что это даёт.

Инструменту - границу: где ускорение законно, а где запрещено. Это экономит месяцы: сегодня я за вечер получил три честных "нет" на реальных задачах, и каждое стоило бы недель вслепую.
Полю - детектор ложных открытий. Бороться с самообманом в анализе сигналов приходится каждому поколению заново.
Всем - кнопку: python3 scripts/demon_observer_verify.py17/17 PASSED за две минуты. Каждое число статьи перегоняется одним скриптом. Не верь мне - нажми.

Честно про вклад.

Цена аналогов известна: Кац 1947, ван ден Доол 1994, Вульпиани 2012. Сходимость Риккати - классика теории управления. Моё: двусторонняя постановка (обе цены на одной оси), конечновыборочная граница без предположений о перемешивании, и гейт, проверенный на живых данных.

Кирпичи чужие. Стена моя. И к стене приложен инструмент, которым каждый может её простучать.

Павел Попович / PPRFNK Tech

🦆🦆🦆
Поддержать канал ₽ / $ /
Please open Telegram to view this post
VIEW IN TELEGRAM
3🔥47👍1411
Техножнец
🔬 ДЕМОН ПОЛУЧИЛ ТЕОРЕМУ. Препринт на arXiv, статья ушла в Physica D 14 месяцев и ~2500 экспериментов DEMON был инженерным фактом: якоря, Такенс, Риккати, ускорения от матмула до астрофизики. Не хватало доказательства: почему работает и где граница. Теперь…
Это долгая веха научных работ, которые будут появляться.

Я же говорил, что буду выкладывать свои труды и делать репозитории.

Проекты подходят к логическим этапам, которые вызрели для релиза. Я немного боюсь, но делаю шаги против своего страха.

RuKallama допиливаю до сих пор, но новости неплохие.

Думаю, что KAN исследован вдоль и поперёк.

Продолжаю работать!
2👏34🫡8🔥31
Техножнец
🔬 ДЕМОН ПОЛУЧИЛ ТЕОРЕМУ. Препринт на arXiv, статья ушла в Physica D 14 месяцев и ~2500 экспериментов DEMON был инженерным фактом: якоря, Такенс, Риккати, ускорения от матмула до астрофизики. Не хватало доказательства: почему работает и где граница. Теперь…
Пока ты ждёшь, когда природа повторится, цена растёт как степень.

Если удалось восстановить внутреннее состояние системы, цена растёт лишь как логарифм.

В этом и состоит доказанное разделение.
🔥2031
***ть только сейчас понял, что, наконец-то, смогу тыкать ссылкой на гит или arxiv...аллилуя.
🍾23👍8🥰5🔥2🤔2🤝1
Добрый день, проснулся, улыбнулся.
👍46🤝95🙏2
Синтеты, вы заметили, что постов стало все меньше. Я хочу открыть все карты, чтобы было понимание.

Я уже 25 дней на ретинойдах, честно сказать: я словил почти все побочные эффекты.

Депрессивные эпизоды вперемешку с синдромом отчуждения...будто наблюдаешь все с третьей стороны.


Это бьёт по голове, я просто не хочу в лишний раз драматизировать. Но , что есть, то есть.

Я не сдался...работаю каждый день, просто на фоне приема ретинойдов мне стало не по себе.


Я адаптируюсь и ,просто, прихожу в себя, у меня все это время происходит апгрейд множества проектов....я делал лишь недавно перерыв на отдых.

Пост не для вызова жалости, пост для тех, кто ждёт новых постов и задаётся вопросами. "где посты техножнеца ? Что с рукалламой? Куда он пропадает ?"

Ответы просты - мне ***зда.
Но, не надолго, скоро привыкну...процесс накопительный.

Скоро буду постить новости.
50🙏23🤝12😢11🤗6🔥3🫡3
👍449🤝6🤗3🔥1👏1
Привет, скоро новости - в течение пары суток будут важные обновления. Включая ИИШКУ!
🔥42🤝9👍3👏3🤔2🫡1
В который раз убеждаюсь, что именно геометрия помогает понимать предмет лучше всего. Изучайте геометрию, синтеты!
🔥28👍10🫡5🤔32💯2
Можно ли учить сеть почти как мозг, без классического backprop?

Пацаны из Sabana AI выкатили свежую работу Diffusing Blame (arxiv.org/abs/2606.31700). Проверяют жёсткое ограничение из биологии, принцип Дейла: нейрон либо возбуждающий, либо тормозящий, роли не мешает. В обычных сетях один юнит спокойно держит и плюсовые, и минусовые исходящие веса, удобно для обучения, но биологически странно.

Они делают dual-stream: отдельные excitatory/inhibitory потоки, только неотрицательные матрицы, знак связи задаёт тип популяции, а не сам вес. Классический backprop требует в обратном проходе почти точные транспонированные копии forward-весов, а в мозге такого механизма не видно. Вместо этого Error Diffusion: глобальный сигнал ошибки напрямую доходит до скрытых слоёв. Их главная добавка, modulo error routing, растягивает ED с бинарных задач на multi-class.
Результат у них 61.7% на CIFAR-10 плюс заходы в RL. Красивая работа, честная постановка.

Мне эта программа близка. Я копаю ту же цель с другого конца: учиться без backprop, без транспорта весов назад. Только у меня не итеративный сигнал ошибки, а закрытая форма. Один линейный ридаут решается разом, транспортировать назад просто нечего.

Прогнал на том же сплите CIFAR-10 50k/10k. Zero gradient, zero epochs, zero backprop:
D=400 -> 68.99% (весь пайплайн за 157 секунд на одном ядре CPU)
D=1600 -> 75.44%

Стек простой и старый как мир: случайные патчи, сферический k-means на признаки, ZCA, знаковая soft-threshold нелинейность (не ReLU), 4-квадрантный пулинг, ridge в закрытой форме. Всё детерминированно, воспроизводится на 1 ядре за минуты.
Что это значит и чего не значит, честно:
Их 61.7% подан как baseline «сеть под Дейлом реально учит представления с картинок». Но zero-gradient baseline без всякого обучения садится выше. Значит планку отсчёта надо поднимать. Это не наезд на их механизм, ED про то, КАК раздать вину без транспорта весов. Это про то, что рядом с любым bio-plausible результатом обязан стоять zero-gradient baseline, прежде чем результат называют сильным.

Готовлю на этом бумагу. Не опровержение, а развитие той же линии: честный baseline + закрытая-форма ветка обучения без градиентов. Мы с пацанами тут как на одной выставке, просто у нас разные экспонаты, а тема одна!

Скоро выложу препринт и код.

А вот параллельная ветка, на которой вырос данный пост и разработка: ЖМАЙ СЮДА ПОЧИТАТЬ

P.S. Афинные проекции будут следующим правильным шагом, но там, пока что, тёмный лес для меня...

🦆🦆🦆
Поддержать канал ₽ / $ /
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍213🤩3🤔1
Техножнец
Что если нейросети можно строить алгоритмически...избегая вообще backprop? Просто зная как строить знания ...прям понимая алгоритм нейросетей и их функционала запоминания и обобщения?
Помнится, что в комментариях мне писали, что я не в себе. Штош...случилось такое, что в итоге путь перспективный.
Внимание: Нет никакой гарантии, что это не тупик!
👍21👏8🤩3🤔1🤯1🙏1
так так так...
👀12
Вёл очень важные переговоры всё это время + дополнительные решения хотел принять для расширения своих возможностей. Отчитываюсь: Failed. Положение улучшить не удалось. Буду думать дальше.

Сейчас только появится более или менее время привести всё в порядок - распределённое обучение, иишку, пару репозиториев, PromeTorch. А до этого , скажем так, находился в немного подвешенном состоянии, что не очень то влияло на продуктивность...хоть я и старался выкладывать проекты и параллельно с тревогой и ожиданием работать.

Распределённое обучение - единственная возможность вывести Rukallama в норм модель. Текущая версия - к сожалению тяжела для доведения до ума. Буду выкладывать её постыдную и очень кривую версию для общения. Эффекта достигнуть не удалось...т.к. нет ресурсов нужных (все возможные ухищрения предприняты).

Но это сообщение не про грустное. У меня это не так работает...мне обычно грустно, когда проекты в своём прайме и пике активности, т.к. перегруз нормально так взрывает черепушку. А сейчас? Сейчас: ну окей.

Очередные сложности, будто на этом канале - это в первый раз.
🤗158👏5👍3🤔1🤩1
С вашей поддержкой всегда легче.

Планирую закупить ещё подписок google colab, оплатить google счета с прошлых генераций датасетов.
Опишу сразу , что примерно требуется (я сам, пока что, не потяну).

1) DeepSeek V4 Flash - надо пополнить API на долларов эдак 60 чтобы нагенерировать ещё недостающих данных для Rukallama

2) Google Colab - пополнить минимум на баксов 30 + оплатить счета от Google

3) Походу нужна вторая подписка, но уже на KIMI или на GLM - мы вряд ли соберём, но я своих добавлю, что найду.


С учётом, что приходится работать и выживать - смело вам об этом пишу.

Если есть желание поддержать меня как автора этих проектов, чтобы дальше всё двигалось, то вот ссылки:

P.S. Если честно сидеть и ждать у моря погоды не очень хочется ❤️

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7
Please open Telegram to view this post
VIEW IN TELEGRAM
17🤝103🎃2🤩1
Техножнец pinned «С вашей поддержкой всегда легче. Планирую закупить ещё подписок google colab, оплатить google счета с прошлых генераций датасетов. Опишу сразу , что примерно требуется (я сам, пока что, не потяну). 1) DeepSeek V4 Flash - надо пополнить API на долларов…»
Привет, синтеты. Спасибо за поддержку. Многое оплачено, что-то ещё впереди.

Вышел Claude Opus 5.

Будем смотреть.

Готовы 3 новые статьи научные.
В ЖУРНАЛЕ Physica D - После обзора рекомендовали подать в другой журнал, но написали, что статья збс, но просто не их огород.

Приятно, что не послали. А журнал куда предлагают ещё не смотрел, сегодня гляну.

Новые статьи очень интересные, поделюсь.

Ах да, там ЛОГОС в интернет начал залезать и искать всякое...отчёт позже.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥22👍41
На сервере с Эльбрусами 8С2 тренируется модель на 13m параметров по моей архитектуре PIR!

Кстати, много проделал работы по замене внимания - были проекты, которые нынче довожу до конца, т.к. не хватало осознания.
🔥32👍8
Техножнец
На сервере с Эльбрусами 8С2 тренируется модель на 13m параметров по моей архитектуре PIR! Кстати, много проделал работы по замене внимания - были проекты, которые нынче довожу до конца, т.к. не хватало осознания.
Это уже 12-ая попытка, т.к. на моём фреймворке PromeTorch - уже починил кучу аспектов. Периодически возвращаюсь. Кто пропустил, пожалуйста, наблюдайте репозиторий:

https://github.com/barometech/PromeTorch

Российский фреймворк для тренировки и инференса моделей, собственный Ollama вариант для инференса под названием PromeServe и многое другое. Спекулятивные вычисления внутри. Ну и работающий фреймворк для процессоров Эльбрус из коробки.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥24👍711
так так так...
😱5👾2