🧮 Малопараметричный нейрокалькулятор с NL-вводом и трансцендентными функциями — 60K параметров

Пять гомогенных бикамеральных рекуррентных блоков (нейрон Поповича), единая архитектура, разные веса. Нейрон-оркестратор парсит выражение на естественном языке (ru+en), вызывает функциональный блок, получает результат обратно, продолжает композицию. Пайплайн нейронный end-to-end — без символического бэкенда и без tool-use.

Масштаб:
- 60 523 параметра суммарно
- CPU inference, чистый NumPy, без GPU и DL-фреймворков
- Блоки: оркестратор 5 684, калькулятор 4 916, ln 16 641, sin 16 641, sqrt 16 641

Результаты:
- End-to-end: 15/16 (fail — двузначное вычитание 99-37)
- NL-нормализация ru+en: 16/17 — распознаются «plus/times/×/÷/корень из/синус/calculate/посчитай» и пр.
- Digit-by-digit арифметика: 99.999% на 10⁷ позиций сложения
- MAE на рабочем диапазоне: ln 0.006, sin 0.004, sqrt 0.003
- Композиция: sqrt(9)+2=5, sqrt(4)*3=6 — оркестратор передаёт результат в арифметический блок

Позиционирование:
- Neural GPU (Kaiser/Sutskever 2016) — бинарная арифметика, без NL, без трансцендентов.
- NALU/NAU/NMU (2018-2022) — дифф. арифметические юниты, скалярный ввод, без NL, без трансцендентов, нестабильность обучения.
- Teaching Arithmetic (Lee et al. 2024) — ближайший аналог: sin+sqrt+арифметика нейронно. Но 10.6M параметров, трансформер, без NL-ввода.
- Abacus (McLeish et al. 2024) — трансформер 12-122M, сложение до 100 цифр, 28K GPU-ч, без трансцендентов.
- LLM + tool-use / neuro-symbolic — другой класс (внешний вызов или символ. бэкенд); прямое сравнение неинформативно.

Заявлено аккуратно: комбинацию (NL + digit-by-digit + трансценденты + единая гомогенная архитектура + <100K параметров + без tool-use и без символ. бэкенда) в известной мне литературе не встречал. Систематический обзор не проводил — буду признателен за ссылки, если упустил.

Ограничения: малая тестовая выборка, нужен более строгий бенчмарк, latency vs SymPy/mpmath не измерялся.

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Привет, синтеты.

RUKALLAMA V11 - тренируется. Ответы буду показывать попозже. Она идёт здраво, не залипает на головах как раньше, всё ок. Старые симптомы не вернулись, новых не появилось. Ну...только если один моментик был, но я так очень мягкую штрафную санкцию инициировал и удалось стабилизировать намёки на расшатывание голов в сторону залипания на токен 0. Сейчас всё в штатном режиме. 9к токенов в секунду обучение на А100. 853 млн параметров.

По поводу всех процессов держу в курсах.

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Касаемо повторений модели. На pretrain стадии избавиться от повторов невозможно. Но я подсмотрел ещё разных техник на этапе fine-tune (SFT) и про прочие этапы. Всё будет хорошо! Я очень углубился в модели и их архитектуры.

И ! Отличная новость: Мой товарищ с которым мы каждый день на связи, наконец-то, погрузился в нейронные архитектуры и уже делает успехи на поприще нивелирования обратной пропагации - это просто ЧУМА! Наконец-то, есть человек в близком окружении, кто будет понимать о чём я говорю ❤️

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Тот пост про сбор группы для создания датасетов - он актуален. Мне нужно время выделить чтобы составить правильные инструкции. Подождите, пожалуйста! Пост никуда не денется, все, кто под ним отписались - приняты будут.

https://t.me/technojnec/3719 - этот пост!

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

ОХ! Продуктивно сегодня удалось посидеть с товарищем. Помог вывести идею на новый уровень. Ну и анимациями + оптимизациями моделей он займётся. Плюс прототипа через браузер = ты добавляешь только те функции в "движок", которые тебе нужны. Простор для оптимизации = космос. Уже только его отработанные модели через 1 атлас текстур на все модельки уберёт оверхедов и фпс улетит в космос.

Перед вами одобренные арты для OpenCraft, с которых как с референсов будут собраны оптимизированные юниты сразу с анимациями. Это будет выглядеть также, но раз в 30 дешевле.

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Немного лора OpenCraft:

Королева Роя - почему так выглядит?

Королева Роя принимает антропоморфные черты после прибытия на Землю, поскольку анализ изотопного состава азота в человеческих останках позволяет ей определить трофический уровень вида. Сопоставив данные с образцами земной фауны, она адаптирует морфологию под млекопитающих и выбирает стратегию заражения носителей для вынашивания потомства. Поглощение организмов с их паразитарной и генетической нагрузкой дополнительно способствует формированию гибридного потомства.

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Внезапное увлечение играми - это быстрый способ сделать продукт, который можно положить в магазины и получать с него пополнения такие важные на каждый месяц. Это я вам пишу из увлечённой работы!

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Сейчас вот параллельно пилю.
Это вдохновлено и Diablo и игрой Князь 1/2 части. Кто знает, тот знает...лопата ❤️

Тут нет классического 3D моделирования на этапе конструирования уровня без движка. Процедурно это сделать со знанием дела - вообще не проблема. Я бы такое воспроизвёл и в блендере, но куда полезнее когда через нейронного болванчика зная как работают шумы и анимация с помощью шумов разного типа - можно получить очень дельную картинку. По мелочам согласовать вообще не проблема. Главное это не завалить ниже 30 FPS - оптимизация делается, как правило, легко. Т.к. обычно ты вообще не думаешь об оптимизации.

Но оптимизация обычно очевидна. Не рисовать то, что не находится в кадре - лол. Это самое, самое первое!

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Побеждено!

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ