Спрашивают, а что там с ИИШКОЙ? 

Мне нечем, пока что, оплачивать ресурсы. Происходит выживание!

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Эта неделя посвящена будет Rukallama. Скоро буду постить ответы от неё. Вот тизер:

▎ Что ты думаешь о жизни?
▎ А: Жизнь — это не просто набор событий, она является частью большого множества процессов и эмоций.

RUKALLAMA V11 (TrueKAN) - Step 1900 из 10 683, LOSS: 2.8 и продолжает падать. Знаки отличные! Модель улучшает факты и меньше галлюцинирует с каждой сотней степов.

Напоминаю - Rukallama V9 обладала изъянами из-за которых у меня были огромные проблемы с повторами и с залипанием внимания. Также напомню, что у меня полностью модель на ПОЛИНОМАХ ЧЕБЫШЁВА, но есть места, где она достаточно стандратна - механизм внимания у меня остался просто в современной версии - Flash Attention. И оно работает вполне корректно.

Делал тестирование на тему - Какова доля реального вклада KAN? Оказалось, что доля вклада KAN в ответы доминирующая. Более того ни в одной бумаге никто не делал MOE экспертов на KAN...я сделал. Это было тяжело, сбалансировать их была отдельная морока. Но я справился.

Основные проблемы модели ушли на задний план. Остаётся только её доучивать.

Как только модель доучит весь SFT датасет и дойдёт до удобоваримого LOSS, а я предполагаю , что это будет в районе 2.1-2.3, то именно тогда мы сможем перейти в режим обучения размышлениям, т.е. Rukallama сходу на выходе будет иметь ризонинг. Это нужно для GRPO - самосовершенствования путём рассуждений и выборки из своих же вариантов лучшего ответа.

Потом DPO и , в конечном итоге, получим работающую модель. Которая будет вполне сносно отвечать и держать контекст.

Пока писал эти буквы, вот обновление:

step 1950: train 2.8539 | val 2.7042 (best!) - МОДЕЛЬ ЗДОРОВАЯ!

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

СЕТУНЬ-2 МОЗГ (название будем менять)

(синтеты, картинка = генерация, не цепляйтесь)

Этап 4 закрыт. Математика Поповича впервые крутится на железе.

Что это 

СЕТУНЬ-2 МОЗГ - троичный AI-ускоритель (значения {-1, 0, +1} вместо обычных 0/1). Внутри:
3 троичных CPU-ядра общего назначения

Popovich SignalDemon - заменяет умножение матриц на стационарный Калман-аттрактор. На пальцах: вместо 2·D² умножений на сэмпл считает только D независимых IIR-каналов. На D=8 это 128 mults против 8 (×16), на D=64 уже ×128.

Hardware Invariant Watchdog в каждом блоке (ALU, multiplier, IIR-core). Ловит soft-errors за 1 такт через dual-rail проверку. Это наш USP для старых техпроцессов, где космические биты-перевёртыши значимы.

Что произошло сегодня:
Долго бился с yosys mem2reg explosion на iir_bank (тысячи used but has no driver warnings, synth падал). Заменил array-of-regs Lr_loc[0:D-1] на flat bit-vector Lr_loc_flat[D*DATA_W-1:0]. Equivalence: 64/64 samples bit-exact, 16 cycles/sample.
Дальше yosys-patched 0.65 + nextpnr-himbaechel + gowin_pack → setun2_folded.fs 34.7 MB → usbipd + WSL openFPGALoader -f → SPI flash Tang Mega 138K Pro.

Реплаг, UART listen: 430 фреймов за 6 секунд. Magic 0x55 0x66, формат STATE ALIVE VIOLSRC POPOV_Z:
state=0x33 - watchdog clean (3 cores + accel + bus + bank invariants OK на железе)
alive rotating - clock жив
popov_z_msb ВАРЬИРУЕТСЯ (f2, b1, 73, 32, ...). В V1 baseline был stuck at 0.

Это первый раз Popovich математика физически активна в кристалле, не в симуляции. 🥶🥶🥶

Sky130 sign-off (контекст):
Die 8.51 mm² (35% util), 5625 DFF, ~150K cells, 50 МГц, setup slack +5.91 ns. GL sim прошла, heartbeat 2501 toggles, watchdog clean.
Целевой техпроцесс - Микрон 90nm. Поправка от практиков (спасибо Тимошенко): потолок 20-30 МГц, не 100-150 как я писал. Шаттл ~10 млн ₽, серия от 100 млн ₽, fab загружен на 3 года вперёд. Альтернатива - 45 нм через Китай, ~40 млн ₽, ~100 МГц.

Честные цифры. MEASURED vs PROJECTED:

✅ Измерено реально:

Popovich математически identical full Kalman: rel_err = 2.8e-12 (= float64 noise floor)
CPU numpy Popovich-arch на D=8: 1.3 µs vs full matmul 4.4 µs = 2.95× win
На D=128 win растёт до 4.94× (perf_counter_ns)
FPGA bitstream живой, 430 UART frames, popov_z varies, watchdog clean
❌ Projected (НЕ measured wall-clock):
"FPGA 0.32 µs/sample @ 50 МГц" - это RTL cycle count × clock, НЕ host↔️FPGA loop
"D=64+ обгоняет cuBLAS" - двойная projection: алгоритмический mult count × silicon clock
"Mikron 90nm @ 25 МГц = 0.64 µs" - scaling rule ×0.48, не Synopsys DC report
Раньше смешивал measured с projected. Больше не буду.

Roadmap: 5 из 7 этапов готовы.

✅ 0 алгоритм / 1 sky130 sign-off / 2 GL sim / 3 FPGA bitstream / 4 FPGA LIVE ⏳ 6 train ternary NN на FPGA / 7 wall-clock vs cuBLAS

Что блокирует Этап 6:

Текущий bitstream - только READ debug telemetry. Для тренинга нужен bidirectional MMIO: PC пишет λ и L matrix → FPGA forward → читает z → backward на CPU → пишет обновления. Прошлый rewrite bench_fpga_top.v давал garbage 0x7F на пине P15 (yosys synth quirk при добавлении iir_bank к bench wrapper). С folded архитектурой можно переписать минимальным diff от рабочего top - есть шанс quirk обойти.

Дальше: rewrite bench top → host Python training loop → wall-clock benchmark vs cuBLAS. После этого можно честно заявлять "×N быстрее".

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

СЕТУНЬ-2 МОЗГ. Для тех, кто в а**е от прошлого поста. Объясняю на пальцах.

Что я вообще делаю

Свой процессор. Не как в обычном компе, а специальный, для искусственного интеллекта. Российский, по своему дизайну.
Главная особенность: он считает не в двоичной системе (где есть только 0 и 1), а в троичной - где значения -1, 0 и +1. Это старая советская идея, в 60-х в МГУ реально работала ЭВМ «Сетунь» на троичной логике. Я делаю её современную версию для нейросетей.
Зачем троичная? Для ИИ это естественнее (там часто и так значения "за / против / нейтрально"), и при этом меньше энергии на ту же работу.

Что внутри

Если совсем упрощать, три части:

Три мозга (вычислительных ядра) - умеют выполнять программы.

Ускоритель умножения - моя личная фишка. Обычно нейросеть это бесконечное умножение огромных таблиц чисел (матриц). Я придумал способ заменить тяжёлое умножение матриц на пачку лёгких параллельных фильтров. Получается в десятки раз меньше операций при том же результате. На матрицах побольше выигрыш растёт до сотен раз.

Сторож в каждом блоке. Если в космосе пролетит частица и собьёт один бит в памяти (реально бывает на старых техпроцессах) - сторож моментально это ловит и не даёт чипу сойти с ума.

Что произошло сегодня

Целый день боролся с инструментом синтеза (это софт, который превращает мой код в схему транзисторов). Он молча выбрасывал куски моей памяти. Переписал структуру так, чтобы он перестал капризничать. Прогнал проверки - получилось идентично исходному коду, ничего не потерялось.

Дальше: собрал прошивку, залил в реальную плату (Tang Mega - это макетная плата, на которой можно "примерить" чип до того как заказывать настоящий кремний). И впервые получил с платы поток данных, где видно что моя математика реально считается. Не симуляция в компьютере. Настоящие транзисторы на реальной плате гоняют мой алгоритм.

430 пакетов за 6 секунд, числа в них меняются (то есть процессор реально работает, а не просто моргает индикатором). Сторож молчит - значит ошибок нет.

Что впереди и где я честен

Что доказано: моя математика выдаёт правильные числа (сравнил с эталоном - совпадение до 12-го знака после запятой). На обычном процессоре в коде она в 3-5 раз быстрее классики.

Что пока НЕ доказано: что чип в железе будет быстрее видеокарты. Раньше я писал "в 11 раз быстрее" - это была прикидка на бумажке, а не реальное измерение секундомером. Поправили старшие товарищи, согласился. Больше так не делаю.

Что впереди:
Научить компьютер не только слушать плату, но и слать ей задачи туда-сюда.
Запустить на ней маленькую нейросеть и засечь время по секундомеру.

Сравнить честно: моё железо vs обычная видеокарта. После этого можно говорить "в N раз быстрее". (С ОГОВОРКАМИ)

Если всё сойдётся - заказать настоящий чип на российской фабрике Микрон в Зеленограде. (НО ЭТО НЕ ТАК ПРОСТО КАК МОЖЕТ ПОКАЗАТЬСЯ ПО ЭТИМ СТРОЧКАМ, БОЛЕЕ ТОГО В ПРЕДЫДУЩИХ ПОСТАХ БЫЛА ЛОЖНАЯ ИНФОРМАЦИЯ - ОБ ЭТОМ ПОЗЖЕ - ЕСТЬ ВЕРОЯТНОСТЬ, ЧТО ЭТО НЕ БУДЕТ МИКРОН - ПОКА СЛОЖНО СКАЗАТЬ)

Будем реалистами! 😳

Поэтому семь раз отмерь.

Итог: пять этапов из семи закрыты.

Процессор живёт в плате, математика работает в FPGA. Осталось замерить скорость и тесты, тесты, тесты.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7