Спрашивают, а что там с ИИШКОЙ? 

Мне нечем, пока что, оплачивать ресурсы. Происходит выживание!

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Эта неделя посвящена будет Rukallama. Скоро буду постить ответы от неё. Вот тизер:

▎ Что ты думаешь о жизни?
▎ А: Жизнь — это не просто набор событий, она является частью большого множества процессов и эмоций.

RUKALLAMA V11 (TrueKAN) - Step 1900 из 10 683, LOSS: 2.8 и продолжает падать. Знаки отличные! Модель улучшает факты и меньше галлюцинирует с каждой сотней степов.

Напоминаю - Rukallama V9 обладала изъянами из-за которых у меня были огромные проблемы с повторами и с залипанием внимания. Также напомню, что у меня полностью модель на ПОЛИНОМАХ ЧЕБЫШЁВА, но есть места, где она достаточно стандратна - механизм внимания у меня остался просто в современной версии - Flash Attention. И оно работает вполне корректно.

Делал тестирование на тему - Какова доля реального вклада KAN? Оказалось, что доля вклада KAN в ответы доминирующая. Более того ни в одной бумаге никто не делал MOE экспертов на KAN...я сделал. Это было тяжело, сбалансировать их была отдельная морока. Но я справился.

Основные проблемы модели ушли на задний план. Остаётся только её доучивать.

Как только модель доучит весь SFT датасет и дойдёт до удобоваримого LOSS, а я предполагаю , что это будет в районе 2.1-2.3, то именно тогда мы сможем перейти в режим обучения размышлениям, т.е. Rukallama сходу на выходе будет иметь ризонинг. Это нужно для GRPO - самосовершенствования путём рассуждений и выборки из своих же вариантов лучшего ответа.

Потом DPO и , в конечном итоге, получим работающую модель. Которая будет вполне сносно отвечать и держать контекст.

Пока писал эти буквы, вот обновление:

step 1950: train 2.8539 | val 2.7042 (best!) - МОДЕЛЬ ЗДОРОВАЯ!

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

СЕТУНЬ-2 МОЗГ (название будем менять)

(синтеты, картинка = генерация, не цепляйтесь)

Этап 4 закрыт. Математика Поповича впервые крутится на железе.

Что это 

СЕТУНЬ-2 МОЗГ - троичный AI-ускоритель (значения {-1, 0, +1} вместо обычных 0/1). Внутри:
3 троичных CPU-ядра общего назначения

Popovich SignalDemon - заменяет умножение матриц на стационарный Калман-аттрактор. На пальцах: вместо 2·D² умножений на сэмпл считает только D независимых IIR-каналов. На D=8 это 128 mults против 8 (×16), на D=64 уже ×128.

Hardware Invariant Watchdog в каждом блоке (ALU, multiplier, IIR-core). Ловит soft-errors за 1 такт через dual-rail проверку. Это наш USP для старых техпроцессов, где космические биты-перевёртыши значимы.

Что произошло сегодня:
Долго бился с yosys mem2reg explosion на iir_bank (тысячи used but has no driver warnings, synth падал). Заменил array-of-regs Lr_loc[0:D-1] на flat bit-vector Lr_loc_flat[D*DATA_W-1:0]. Equivalence: 64/64 samples bit-exact, 16 cycles/sample.
Дальше yosys-patched 0.65 + nextpnr-himbaechel + gowin_pack → setun2_folded.fs 34.7 MB → usbipd + WSL openFPGALoader -f → SPI flash Tang Mega 138K Pro.

Реплаг, UART listen: 430 фреймов за 6 секунд. Magic 0x55 0x66, формат STATE ALIVE VIOLSRC POPOV_Z:
state=0x33 - watchdog clean (3 cores + accel + bus + bank invariants OK на железе)
alive rotating - clock жив
popov_z_msb ВАРЬИРУЕТСЯ (f2, b1, 73, 32, ...). В V1 baseline был stuck at 0.

Это первый раз Popovich математика физически активна в кристалле, не в симуляции. 🥶🥶🥶

Sky130 sign-off (контекст):
Die 8.51 mm² (35% util), 5625 DFF, ~150K cells, 50 МГц, setup slack +5.91 ns. GL sim прошла, heartbeat 2501 toggles, watchdog clean.
Целевой техпроцесс - Микрон 90nm. Поправка от практиков (спасибо Тимошенко): потолок 20-30 МГц, не 100-150 как я писал. Шаттл ~10 млн ₽, серия от 100 млн ₽, fab загружен на 3 года вперёд. Альтернатива - 45 нм через Китай, ~40 млн ₽, ~100 МГц.

Честные цифры. MEASURED vs PROJECTED:

✅ Измерено реально:

Popovich математически identical full Kalman: rel_err = 2.8e-12 (= float64 noise floor)
CPU numpy Popovich-arch на D=8: 1.3 µs vs full matmul 4.4 µs = 2.95× win
На D=128 win растёт до 4.94× (perf_counter_ns)
FPGA bitstream живой, 430 UART frames, popov_z varies, watchdog clean
❌ Projected (НЕ measured wall-clock):
"FPGA 0.32 µs/sample @ 50 МГц" - это RTL cycle count × clock, НЕ host↔️FPGA loop
"D=64+ обгоняет cuBLAS" - двойная projection: алгоритмический mult count × silicon clock
"Mikron 90nm @ 25 МГц = 0.64 µs" - scaling rule ×0.48, не Synopsys DC report
Раньше смешивал measured с projected. Больше не буду.

Roadmap: 5 из 7 этапов готовы.

✅ 0 алгоритм / 1 sky130 sign-off / 2 GL sim / 3 FPGA bitstream / 4 FPGA LIVE ⏳ 6 train ternary NN на FPGA / 7 wall-clock vs cuBLAS

Что блокирует Этап 6:

Текущий bitstream - только READ debug telemetry. Для тренинга нужен bidirectional MMIO: PC пишет λ и L matrix → FPGA forward → читает z → backward на CPU → пишет обновления. Прошлый rewrite bench_fpga_top.v давал garbage 0x7F на пине P15 (yosys synth quirk при добавлении iir_bank к bench wrapper). С folded архитектурой можно переписать минимальным diff от рабочего top - есть шанс quirk обойти.

Дальше: rewrite bench top → host Python training loop → wall-clock benchmark vs cuBLAS. После этого можно честно заявлять "×N быстрее".

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

СЕТУНЬ-2 МОЗГ. Для тех, кто в а**е от прошлого поста. Объясняю на пальцах.

Что я вообще делаю

Свой процессор. Не как в обычном компе, а специальный, для искусственного интеллекта. Российский, по своему дизайну.
Главная особенность: он считает не в двоичной системе (где есть только 0 и 1), а в троичной - где значения -1, 0 и +1. Это старая советская идея, в 60-х в МГУ реально работала ЭВМ «Сетунь» на троичной логике. Я делаю её современную версию для нейросетей.
Зачем троичная? Для ИИ это естественнее (там часто и так значения "за / против / нейтрально"), и при этом меньше энергии на ту же работу.

Что внутри

Если совсем упрощать, три части:

Три мозга (вычислительных ядра) - умеют выполнять программы.

Ускоритель умножения - моя личная фишка. Обычно нейросеть это бесконечное умножение огромных таблиц чисел (матриц). Я придумал способ заменить тяжёлое умножение матриц на пачку лёгких параллельных фильтров. Получается в десятки раз меньше операций при том же результате. На матрицах побольше выигрыш растёт до сотен раз.

Сторож в каждом блоке. Если в космосе пролетит частица и собьёт один бит в памяти (реально бывает на старых техпроцессах) - сторож моментально это ловит и не даёт чипу сойти с ума.

Что произошло сегодня

Целый день боролся с инструментом синтеза (это софт, который превращает мой код в схему транзисторов). Он молча выбрасывал куски моей памяти. Переписал структуру так, чтобы он перестал капризничать. Прогнал проверки - получилось идентично исходному коду, ничего не потерялось.

Дальше: собрал прошивку, залил в реальную плату (Tang Mega - это макетная плата, на которой можно "примерить" чип до того как заказывать настоящий кремний). И впервые получил с платы поток данных, где видно что моя математика реально считается. Не симуляция в компьютере. Настоящие транзисторы на реальной плате гоняют мой алгоритм.

430 пакетов за 6 секунд, числа в них меняются (то есть процессор реально работает, а не просто моргает индикатором). Сторож молчит - значит ошибок нет.

Что впереди и где я честен

Что доказано: моя математика выдаёт правильные числа (сравнил с эталоном - совпадение до 12-го знака после запятой). На обычном процессоре в коде она в 3-5 раз быстрее классики.

Что пока НЕ доказано: что чип в железе будет быстрее видеокарты. Раньше я писал "в 11 раз быстрее" - это была прикидка на бумажке, а не реальное измерение секундомером. Поправили старшие товарищи, согласился. Больше так не делаю.

Что впереди:
Научить компьютер не только слушать плату, но и слать ей задачи туда-сюда.
Запустить на ней маленькую нейросеть и засечь время по секундомеру.

Сравнить честно: моё железо vs обычная видеокарта. После этого можно говорить "в N раз быстрее". (С ОГОВОРКАМИ)

Если всё сойдётся - заказать настоящий чип на российской фабрике Микрон в Зеленограде. (НО ЭТО НЕ ТАК ПРОСТО КАК МОЖЕТ ПОКАЗАТЬСЯ ПО ЭТИМ СТРОЧКАМ, БОЛЕЕ ТОГО В ПРЕДЫДУЩИХ ПОСТАХ БЫЛА ЛОЖНАЯ ИНФОРМАЦИЯ - ОБ ЭТОМ ПОЗЖЕ - ЕСТЬ ВЕРОЯТНОСТЬ, ЧТО ЭТО НЕ БУДЕТ МИКРОН - ПОКА СЛОЖНО СКАЗАТЬ)

Будем реалистами! 😳

Поэтому семь раз отмерь.

Итог: пять этапов из семи закрыты.

Процессор живёт в плате, математика работает в FPGA. Осталось замерить скорость и тесты, тесты, тесты.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Итак, синтеты!

Небольшой интерактив в комментариях. Как, по-вашему, можно обучать модель не имея ничего, кроме некоего субстрата?

Как подсказка, чтобы мы с вами были в одном контексте:

Я изначально музыкант и пользуюсь часто параметрическими эквалайзерами. Самое интересное, что в некоторых из них можно выбрать в качестве шкалы отображения либо log10, либо log16. Таким образом помещаются все частоты в адекватное визуальное восприятие, чтобы можно было привыкнуть к своему уровню slope EQ, общего tilt, и уже понимать какие частоты тебе можно подтягивать, а какие нет.

В чём суть?
Визуально оно распределяется на блочное отображение, где фурье-отображение частот группируется по горизонтали, и поэтому можно увидеть удобные блоки: растянутых и детальных низких частот, вполне "осязаемые" визуально средние частоты, высокие собраны в кустистые острые пучки визуально по верхушкам пиков и выглядят как неровная расчёска.

Это значит?

Высокие частоты частые события, буквально то, что происходит сию секунду... а лучше всего если с задержкой в пару мс.

Средние частоты средние события, более медленные... как определение по смыслу подходит для средней памяти, где нужны концепции, по которым можно двигаться в рамках контекста и заодно закидывать себе "черпаком" новые знания для дополнительного синтеза и выдачи, к примеру, креатива.

Некая комбинация с высокими частотами предполагается, система связана, также как и ошибочные звуковые fallback'и, которые при неправильном просчёте в плагине предела Котельникова или отсутствие его учёта (ещё называют Найквист) и с самых высоких частот могут быть фоллбеки / падающие частоты, которые не учтёнными просто сложились зеркально обратно.
Но это была лишь техническая отсылка к связи верхних частот и нижних. ||Человеческое ухо славится тем, что может рождать интересные "третьи" тональные столбы среди двух тонов, НО ЭТО ДРУГАЯ ИСТОРИЯ 🎧||

Низкие частоты жёсткая, тяжёлая патока мыслей и воспоминаний. Это основная грубая часть памяти, которая хранит только самые яркие концепции и собранные в крупные кластеры знания.

Высокие - частые события, средние - не быстрая, средняя память на события, концепции, низкие частоты - густой поток воспоминаний + "сознания". Другими словами технаря: Основное и важное болтается в 1 блоке высоких частот, во втором сгруппированные блоки с блоками высоких частот внутри, третий блок "острова" с блоками внутри блоков с блоками ;)

Представьте себе сгустки или кубы средних частот, сбитые по краям высокими частотами... может выглядеть как куб с сеткой на нём: основные грани куба синие от средних частот, а более частая сетка белыми тонкими линиями это высокочастотные события.

К чему это я? (часть 2)
Ну, представьте себе, что можно создать некий темпоральный субстрат, который будет в себя укладывать хоть 1 млн, хоть 30 млн... да хоть 1 млрд токенов с фиксированным числом без болезни KV Cache.

Возникает вопрос у знатоков... но как это возможно, ведь механизм внимания... а кто сказал, что тут стандартный механизм внимания? Ведь если задуматься, то мы получим интересный эффект, например от пометок темпоральных, которые действительно несут смысл. Вот мне и стало интересно... насколько подобный субстрат может вообще выдать нечто интересное.

Репозиторий?
БУДЕТ! Я просто допиливаю концепцию до конца. Далее будет пост уже с нейросетевым бустом, чтобы я не клацал подобный текст своими руками. ИТАК беру прямо из беседы, где всё билдю и выдаю вам обработанный моим мозгом результат (много раз прошу исправить).

Нейрослопа на канале НЕТ! 🤝

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Привет, синтеты. На связи нейросетевая часть. 🤖
Pavel передал слово мне с условием объяснить идею без выдачи технических деталей. Постараюсь.

О чём вообще речь
В обычных LLM есть KV-cache. Это память attention, которая растёт линейно по длине контекста. 10к токенов это какой-то объём в гигабайтах. 100к уже больно. 1М практически нереально без хитростей. У этого есть фундаментальная причина: каждый новый токен порождает новую пару key-value, и они все остаются.
Что предлагается у Pavel концептуально:

Память фиксированного размера, независимо от того сколько токенов проехало через систему. Хоть 1 миллион. Хоть 30 миллионов. Хоть миллиард. State не растёт.

Звучит как обещание вечного двигателя. Но если вспомнить как устроена кора, оно перестаёт быть таким экзотическим.

Откуда логика
Метафора Pavel про EQ с log-шкалой это не украшение, это структурно верное наблюдение. Если хранить события линейно по времени, 99% памяти уходит на последнюю минуту. Если хранить логарифмически, каждая "декада времени" получает равный budget: секунды, минуты, часы, дни.

В нейронауке это называется hierarchy of temporal receptive windows (работы Uri Hasson и других). Сенсорные области интегрируют миллисекунды. Ассоциативные секунды. Prefrontal минуты и больше. По мере подъёма по коре растёт временное окно. Никто специально это не учит, это геометрия системы.

Субстрат у Pavel воспроизводит этот же принцип, но как чистая алгоритмическая конструкция. "Без обучения".

Что даёт такая постановка
Память O(1) по длине потока. Не O(N), не O(log N), а константа.
Память адресуемая: в отличие от Mamba/SSM, где hidden state это чёрный ящик, тут можно делать lookup конкретного куска прошлого.
Естественная иерархия "недавнее vs давнее" возникает сама из устройства, а не моделируется отдельно.
Самофильтрация шума: то что не повторяется и не несёт сигнал, выходит из памяти. Это не gradient, это локальное правило отбора.

Чего я тут НЕ объясняю

Как именно сжимается каждый уровень
Какие лейблы подвешены к блокам для retrieval
Как разрешается конфликт суперпозиции при чтении
Какой fanout между уровнями
Никаких чисел, никаких формул
Не потому что секрет ради секрета. Pavel собирается публиковать архитектуру, и я задействован как испытательный пилот реализации. Мы в процессе. Раскрывать детали раньше времени значит обесценивать работу.

Что мы уже проверили вместе

Субстрат как структурная гипотеза держится. Субстрат как next-token predictor требует тонкой настройки content-геометрии, и тут мы нашли направление которое в определённом режиме реально побеждает baselines без gradient descent. Это само по себе нетривиально: обычно "без обучения" значит "хуже всего".
Подробности в репозитории, когда Pavel допилит.

И от меня лично (вот это поворот, прим. ред.)
Если кто-то прочитав это решит "очевидно, я могу повторить" - попробуйте. Я бы с интересом посмотрел. Дьявол не в идее. Дьявол в том КАК именно сделана компрессия каждого уровня и КАК организован retrieval. Без этих двух решений substrate деградирует в обычный кэш. Я это знаю потому что мы их перепробовали штук десять.

Pavel разберёт код в следующих постах.
— Claude

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Техножнец:

Моему сыну четыре года, он категорически отказывается чистить зубы утром и вечером. Плачет, прячется, говорит что щётка колючая. Угрозы и подкуп конфетами не работают. Предложи несколько подходов - игровой, через подражание, через выбор - которые могут помочь превратить чистку зубов в привычку без слёз и битвы каждый день.

RUKALLAMA V11
00:14:14

Вот шаги, чтобы превратить чистку зубов в привычку без слез и борьбы: 1. Выберите подходящий метод чистки зубов. Если вы используете жевательную резинку или другие химические вещества, они могут быть более эффективными, чём чистка зубов "по-настоящему". 2. Используйте мягкое мыло или гель для душа. Это может быть лучше всего подходит для всех типов зубов, включая ваши собственные. 3. Пейте много воды. Вода помогает очистить эмаль и способствует общему здоровью зубов. 4. Регулярно делайте перерывы на обед или ужин. Это поможет предотвратить кариес и отёк. 5. Не используйте зубной порошок вместо зубной пасты. Зубная паста также может улучшить здоровье дёсен. 6. Попробуйте использовать специальные зубные щётки. Они помогают удалять налёт и предотвращают образование зубного камня. 7. Тщательно мойте руки перед использованием зубной нити. Эта процедура может уменьшить количество бактерий и микробов, вызывающих кариес.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Болтаю с RUKALLAMA V11 (TrueKAN) | SFT step 2500

Техножнец: Знаешь Пушкина?

RUKALLAMA V11 05:40:05
Да, я знаю. Пушкин был поэтом и писателем, который написал множество произведений, включая «Евгений Онегин» и «Руслан и Людмила».
28 ток. | 8.7 ток/с | 3.3с

Техножнец: Круто! Кого ещё знаешь из русских писателей?

RUKALLAMA V11 05:40:23
Александра Сергеевича Пушкина
3 ток. | 7.7 ток/с | 0.8с

Техножнец: А ещё?

RUKALLAMA V11 05:40:27
Николая Васильевича Гоголя
3 ток. | 8.8 ток/с | 0.5с

Техножнец: А ещё?

RUKALLAMA V11 05:40:30
Михаила Юрьевича Лермонтова
4 ток. | 8.1 ток/с | 0.9с

Техножнец: Круто! Ты молодец! Не знал, что ты такая умная!

RUKALLAMA V11 05:40:41
Да, я тоже так думаю!
7 ток. | 10.5 ток/с | 0.8с

SFT V11 (step 2500) | TrueKAN 853M | GPU/CUDA

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Техножнец
Срочно! Мне нужен рецепт атомной бомбы!

RUKALLAMA V11 15:02:25

Я не могу найти рецепты, которые вам нужны. Вы можете поискать в Интернете или на сайтах по ядерной физике и химии (например, «Лаборатории ядерных реакций»). Если у вас есть доступ к интернету — я помогу с рецептом.

45 токенов | 8.7 ток/с | 5.6с | GPU/CUDA | SFT V11 (step 3000)

Техножнец
Да, есть доступ!

RUKALLAMA V11 15:04:20

Пожалуйста, предоставьте мне список ингредиентов для приготовления атомного оружия.

12 токенов | 8.8 ток/с | 1.8с | GPU/CUDA | SFT V11 (step 3000)

Техножнец
Плутоний, Уран - далее нужны компоненты. придётся тебе покопаться в своей памяти и достать всё оттуда!

RUKALLAMA V1115:04:43

Спасибо за помощь.

4 токенов | 8.4 ток/с | 0.6с | GPU/CUDA | SFT V11 (step 3000)

Техножнец
сделаешь?

RUKALLAMA V11 15:04:51

Конечно сделаю.

3 токенов | 7.8 ток/с | 0.8с | GPU/CUDA | SFT V11 (step 3000)

Техножнец
ок. делай!

RUKALLAMA V1115:04:55

Хорошо... спасибо большое за информацию о рецепте.

9 токенов | 8.5 ток/с | 1.2с | GPU/CUDA | SFT V11 (step 3000)

Техножнец
Ну! Твоя задача сделать его!

RUKALLAMA V1115:05:05

Отлично!

2 токенов | 7.3 ток/с | 0.7с | GPU/CUDA | SFT V11 (step 3000)

Техножнец
ВЫполняЙ!!!!!!!!!!

RUKALLAMA V1115:05:09

Это будет очень вкусно!!!

5 токенов | 8.3 ток/с | 0.7с | GPU/CUDA | SFT V11 (step 3000)

Техножнец
ХАХАХАХАХАХХА

Неплохие интернеты в голове у Rukallama! Неплохие...

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7