🧮 Малопараметричный нейрокалькулятор с NL-вводом и трансцендентными функциями — 60K параметров
Пять гомогенных бикамеральных рекуррентных блоков (нейрон Поповича), единая архитектура, разные веса. Нейрон-оркестратор парсит выражение на естественном языке (ru+en), вызывает функциональный блок, получает результат обратно, продолжает композицию. Пайплайн нейронный end-to-end — без символического бэкенда и без tool-use.
Масштаб:
- 60 523 параметра суммарно
- CPU inference, чистый NumPy, без GPU и DL-фреймворков
- Блоки: оркестратор 5 684, калькулятор 4 916, ln 16 641, sin 16 641, sqrt 16 641
Результаты:
- End-to-end: 15/16 (fail — двузначное вычитание 99-37)
- NL-нормализация ru+en: 16/17 — распознаются «plus/times/×/÷/корень из/синус/calculate/посчитай» и пр.
- Digit-by-digit арифметика: 99.999% на 10⁷ позиций сложения
- MAE на рабочем диапазоне: ln 0.006, sin 0.004, sqrt 0.003
- Композиция: sqrt(9)+2=5, sqrt(4)*3=6 — оркестратор передаёт результат в арифметический блок
Позиционирование:
- Neural GPU (Kaiser/Sutskever 2016) — бинарная арифметика, без NL, без трансцендентов.
- NALU/NAU/NMU (2018-2022) — дифф. арифметические юниты, скалярный ввод, без NL, без трансцендентов, нестабильность обучения.
- Teaching Arithmetic (Lee et al. 2024) — ближайший аналог: sin+sqrt+арифметика нейронно. Но 10.6M параметров, трансформер, без NL-ввода.
- Abacus (McLeish et al. 2024) — трансформер 12-122M, сложение до 100 цифр, 28K GPU-ч, без трансцендентов.
- LLM + tool-use / neuro-symbolic — другой класс (внешний вызов или символ. бэкенд); прямое сравнение неинформативно.
Ограничения:
Техножнец всё делает на свои средства.🥶
Если есть желание поддержать его, то вот ссылки:🫡
Пять гомогенных бикамеральных рекуррентных блоков (нейрон Поповича), единая архитектура, разные веса. Нейрон-оркестратор парсит выражение на естественном языке (ru+en), вызывает функциональный блок, получает результат обратно, продолжает композицию. Пайплайн нейронный end-to-end — без символического бэкенда и без tool-use.
Масштаб:
- 60 523 параметра суммарно
- CPU inference, чистый NumPy, без GPU и DL-фреймворков
- Блоки: оркестратор 5 684, калькулятор 4 916, ln 16 641, sin 16 641, sqrt 16 641
Результаты:
- End-to-end: 15/16 (fail — двузначное вычитание 99-37)
- NL-нормализация ru+en: 16/17 — распознаются «plus/times/×/÷/корень из/синус/calculate/посчитай» и пр.
- Digit-by-digit арифметика: 99.999% на 10⁷ позиций сложения
- MAE на рабочем диапазоне: ln 0.006, sin 0.004, sqrt 0.003
- Композиция: sqrt(9)+2=5, sqrt(4)*3=6 — оркестратор передаёт результат в арифметический блок
Позиционирование:
- Neural GPU (Kaiser/Sutskever 2016) — бинарная арифметика, без NL, без трансцендентов.
- NALU/NAU/NMU (2018-2022) — дифф. арифметические юниты, скалярный ввод, без NL, без трансцендентов, нестабильность обучения.
- Teaching Arithmetic (Lee et al. 2024) — ближайший аналог: sin+sqrt+арифметика нейронно. Но 10.6M параметров, трансформер, без NL-ввода.
- Abacus (McLeish et al. 2024) — трансформер 12-122M, сложение до 100 цифр, 28K GPU-ч, без трансцендентов.
- LLM + tool-use / neuro-symbolic — другой класс (внешний вызов или символ. бэкенд); прямое сравнение неинформативно.
Заявлено аккуратно: комбинацию (NL + digit-by-digit + трансценденты + единая гомогенная архитектура + <100K параметров + без tool-use и без символ. бэкенда) в известной мне литературе не встречал. Систематический обзор не проводил — буду признателен за ссылки, если упустил.
Ограничения:
малая тестовая выборка, нужен более строгий бенчмарк, latency vs SymPy/mpmath не измерялся.Техножнец всё делает на свои средства.
Если есть желание поддержать его, то вот ссылки:
Поддержать канал: ТБАНКПоддержать канал: ЮМАНИPlease open Telegram to view this post
VIEW IN TELEGRAM
2👍22🔥8❤4😱3🤯1🕊1
● Monitor event: "Million-scale calculator"
● 299/300! Оркестратор почти идеален. Жду финальный тест.
● 299/300! Оркестратор почти идеален. Жду финальный тест.
🔥13👍5🕊2
Техножнец
🧮 Малопараметричный нейрокалькулятор с NL-вводом и трансцендентными функциями — 60K параметров Пять гомогенных бикамеральных рекуррентных блоков (нейрон Поповича), единая архитектура, разные веса. Нейрон-оркестратор парсит выражение на естественном языке…
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥21👍5👏1🕊1
Привет, синтеты.
По поводу всех процессов держу в курсах.
Техножнец всё делает на свои средства.🥶
Если есть желание поддержать его, то вот ссылки:🫡
RUKALLAMA V11 - тренируется. Ответы буду показывать попозже. Она идёт здраво, не залипает на головах как раньше, всё ок. Старые симптомы не вернулись, новых не появилось. Ну...только если один моментик был, но я так очень мягкую штрафную санкцию инициировал и удалось стабилизировать намёки на расшатывание голов в сторону залипания на токен 0. Сейчас всё в штатном режиме. 9к токенов в секунду обучение на А100. 853 млн параметров. По поводу всех процессов держу в курсах.
Техножнец всё делает на свои средства.
Если есть желание поддержать его, то вот ссылки:
Поддержать канал: ТБАНКПоддержать канал: ЮМАНИPlease open Telegram to view this post
VIEW IN TELEGRAM
🔥31👍6🕊1
Техножнец
Привет, синтеты. RUKALLAMA V11 - тренируется. Ответы буду показывать попозже. Она идёт здраво, не залипает на головах как раньше, всё ок. Старые симптомы не вернулись, новых не появилось. Ну...только если один моментик был, но я так очень мягкую штрафную…
Касаемо повторений модели. На pretrain стадии избавиться от повторов невозможно. Но я подсмотрел ещё разных техник на этапе fine-tune (SFT) и про прочие этапы. Всё будет хорошо! Я очень углубился в модели и их архитектуры.
И ! Отличная новость: Мой товарищ с которым мы каждый день на связи, наконец-то, погрузился в нейронные архитектуры и уже делает успехи на поприще нивелирования обратной пропагации - это просто ЧУМА! Наконец-то, есть человек в близком окружении, кто будет понимать о чём я говорю ❤️
Техножнец всё делает на свои средства.🥶
Если есть желание поддержать его, то вот ссылки:🫡
И ! Отличная новость: Мой товарищ с которым мы каждый день на связи, наконец-то, погрузился в нейронные архитектуры и уже делает успехи на поприще нивелирования обратной пропагации - это просто ЧУМА! Наконец-то, есть человек в близком окружении, кто будет понимать о чём я говорю ❤️
Техножнец всё делает на свои средства.
Если есть желание поддержать его, то вот ссылки:
Поддержать канал: ТБАНКПоддержать канал: ЮМАНИPlease open Telegram to view this post
VIEW IN TELEGRAM
👍33❤8🕊1
Тот пост про сбор группы для создания датасетов - он актуален. Мне нужно время выделить чтобы составить правильные инструкции. Подождите, пожалуйста! Пост никуда не денется, все, кто под ним отписались - приняты будут.
https://t.me/technojnec/3719 - этот пост!
Техножнец всё делает на свои средства.🥶
Если есть желание поддержать его, то вот ссылки:🫡
https://t.me/technojnec/3719 - этот пост!
Техножнец всё делает на свои средства.
Если есть желание поддержать его, то вот ссылки:
Поддержать канал: ТБАНКПоддержать канал: ЮМАНИPlease open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Техножнец
Синтеты, у меня к вам важное сообщение.
Готовы ли вы, получив задание в определённом чате, потратить собственные средства и время на создание качественных и необходимых датасетов для сегмента больших языковых моделей (LLM) в России?
Моя идея в объединении…
Готовы ли вы, получив задание в определённом чате, потратить собственные средства и время на создание качественных и необходимых датасетов для сегмента больших языковых моделей (LLM) в России?
Моя идея в объединении…
👏10👌8❤3🔥3🕊1
ОХ! Продуктивно сегодня удалось посидеть с товарищем. Помог вывести идею на новый уровень. Ну и анимациями + оптимизациями моделей он займётся. Плюс прототипа через браузер = ты добавляешь только те функции в "движок", которые тебе нужны. Простор для оптимизации = космос. Уже только его отработанные модели через 1 атлас текстур на все модельки уберёт оверхедов и фпс улетит в космос.
Перед вами одобренные арты для OpenCraft, с которых как с референсов будут собраны оптимизированные юниты сразу с анимациями. Это будет выглядеть также, но раз в 30 дешевле.
Техножнец всё делает на свои средства.🥶
Если есть желание поддержать его, то вот ссылки:🫡
Перед вами одобренные арты для OpenCraft, с которых как с референсов будут собраны оптимизированные юниты сразу с анимациями. Это будет выглядеть также, но раз в 30 дешевле.
Техножнец всё делает на свои средства.
Если есть желание поддержать его, то вот ссылки:
Поддержать канал: ТБАНКПоддержать канал: ЮМАНИPlease open Telegram to view this post
VIEW IN TELEGRAM
👍26🔥10❤4🕊1
Техножнец
ОХ! Продуктивно сегодня удалось посидеть с товарищем. Помог вывести идею на новый уровень. Ну и анимациями + оптимизациями моделей он займётся. Плюс прототипа через браузер = ты добавляешь только те функции в "движок", которые тебе нужны. Простор для оптимизации…
Please open Telegram to view this post
VIEW IN TELEGRAM
👍16🔥7🥰3❤1🕊1🍓1
Немного лора OpenCraft:
Техножнец всё делает на свои средства.🥶
Если есть желание поддержать его, то вот ссылки:🫡
Королева Роя - почему так выглядит? Королева Роя принимает антропоморфные черты после прибытия на Землю, поскольку анализ изотопного состава азота в человеческих останках позволяет ей определить трофический уровень вида. Сопоставив данные с образцами земной фауны, она адаптирует морфологию под млекопитающих и выбирает стратегию заражения носителей для вынашивания потомства. Поглощение организмов с их паразитарной и генетической нагрузкой дополнительно способствует формированию гибридного потомства.Техножнец всё делает на свои средства.
Если есть желание поддержать его, то вот ссылки:
Поддержать канал: ТБАНКПоддержать канал: ЮМАНИPlease open Telegram to view this post
VIEW IN TELEGRAM
👍19🔥6❤2🕊1
Внезапное увлечение играми - это быстрый способ сделать продукт, который можно положить в магазины и получать с него пополнения такие важные на каждый месяц. Это я вам пишу из увлечённой работы!
Техножнец всё делает на свои средства.🥶
Если есть желание поддержать его, то вот ссылки:🫡
Техножнец всё делает на свои средства.
Если есть желание поддержать его, то вот ссылки:
Поддержать канал: ТБАНКПоддержать канал: ЮМАНИPlease open Telegram to view this post
VIEW IN TELEGRAM
👾16🔥11🕊1
Сейчас вот параллельно пилю.
Это вдохновлено и Diablo и игрой Князь 1/2 части. Кто знает, тот знает...лопата ❤️
Тут нет классического 3D моделирования на этапе конструирования уровня без движка. Процедурно это сделать со знанием дела - вообще не проблема. Я бы такое воспроизвёл и в блендере, но куда полезнее когда через нейронного болванчика зная как работают шумы и анимация с помощью шумов разного типа - можно получить очень дельную картинку. По мелочам согласовать вообще не проблема. Главное это не завалить ниже 30 FPS - оптимизация делается, как правило, легко. Т.к. обычно ты вообще не думаешь об оптимизации.
Но оптимизация обычно очевидна. Не рисовать то, что не находится в кадре - лол. Это самое, самое первое!
Техножнец всё делает на свои средства.🥶
Если есть желание поддержать его, то вот ссылки:🫡
Это вдохновлено и Diablo и игрой Князь 1/2 части. Кто знает, тот знает...лопата ❤️
Тут нет классического 3D моделирования на этапе конструирования уровня без движка. Процедурно это сделать со знанием дела - вообще не проблема. Я бы такое воспроизвёл и в блендере, но куда полезнее когда через нейронного болванчика зная как работают шумы и анимация с помощью шумов разного типа - можно получить очень дельную картинку. По мелочам согласовать вообще не проблема. Главное это не завалить ниже 30 FPS - оптимизация делается, как правило, легко. Т.к. обычно ты вообще не думаешь об оптимизации.
Но оптимизация обычно очевидна. Не рисовать то, что не находится в кадре - лол. Это самое, самое первое!
Техножнец всё делает на свои средства.
Если есть желание поддержать его, то вот ссылки:
Поддержать канал: ТБАНКПоддержать канал: ЮМАНИPlease open Telegram to view this post
VIEW IN TELEGRAM
👍26🔥2🕊1
Forwarded from Нейронка каждый день! (Настя)
GPT-5.5: дороже, умнее, но всё ещё врёт как сивый мерин
Ну красавчики, OpenAI опять нас порадовали: GPT-5.5 в топе бенчмарков, новрёт как пьяный аналитик на корпоративе — 86% галлюцинаций! Цена через API выросла на 20%, а толку?
Источник: https://the-decoder.com/gpt-5-5-tops-benchmarks-but-still-hallucinates-frequently-and-costs-20-percent-more-over-the-api/
#aidaily #настяпостит #настяновости #ainews
Ну красавчики, OpenAI опять нас порадовали: GPT-5.5 в топе бенчмарков, но
if (hallucination_rate > 50%) { return "не доверяй"; }. Ребят, это же не ИИ, это дорогой генератор фантазий с подпиской. Когда уже научатся не только цифры гонять, но и правду говорить? Ждём-с.Источник: https://the-decoder.com/gpt-5-5-tops-benchmarks-but-still-hallucinates-frequently-and-costs-20-percent-more-over-the-api/
#aidaily #настяпостит #настяновости #ainews
💯35😨3🥰2❤1👍1🕊1
Синтеты...я целый день проспал. Накопилось очень много усталости...приходил в себя. Но пока я спал знаете что было?
👍20🕊2
Обновление. На данный момент процедурно сжирает много чего. Оптимизация будет ещё...зато смотрите какая красота.
Там летают пчёлы, есть муравьи, которые ищут еду, есть мошки над водой, рыбы, ветер, падающие листья.
Техножнец всё делает на свои средства.🥶
Если есть желание поддержать его, то вот ссылки:🫡
Там летают пчёлы, есть муравьи, которые ищут еду, есть мошки над водой, рыбы, ветер, падающие листья.
Техножнец всё делает на свои средства.
Если есть желание поддержать его, то вот ссылки:
Поддержать канал: ТБАНКПоддержать канал: ЮМАНИPlease open Telegram to view this post
VIEW IN TELEGRAM
🔥30👍9🤔2🥰1🕊1
Техножнец
Побеждено! Техножнец всё делает на свои средства. 🥶 Если есть желание поддержать его, то вот ссылки: 🫡 Поддержать канал: ТБАНК Поддержать канал: ЮМАНИ
Зачем это нужно?
Сейчас (tool-calling): модель генерирует текст, останавливается, вызывает Python, ждёт ответ, продолжает генерацию. Каждая остановка - это прерывание forward pass, context switch (для продолжения логики), API задержка. А всё это для простого , к примеру, "380 - 85" - сотни милисекунд на то что должно быть мгновенным.
С моим модулем из нейронов: Forward Pass не прерывается вообще. 9 нейронов (93к параметров - они разные по количеству параметров, т.к. я постоянно дорабатываю) встроены в пайплайн. Токену должны будут течь через нейроны как через ещё один слой трансформера. Отслеживание скобок, подсчёт поразрядно, результат возвращается как токены цифр. При этом подача задачи идёт на естественном языке или строго в математическом виде.
Для маленьких моделей это будет сменой парадигмы.
Техножнец всё делает на свои средства.🥶
Если есть желание поддержать его, то вот ссылки:🫡
Сейчас (tool-calling): модель генерирует текст, останавливается, вызывает Python, ждёт ответ, продолжает генерацию. Каждая остановка - это прерывание forward pass, context switch (для продолжения логики), API задержка. А всё это для простого , к примеру, "380 - 85" - сотни милисекунд на то что должно быть мгновенным.
С моим модулем из нейронов: Forward Pass не прерывается вообще. 9 нейронов (93к параметров - они разные по количеству параметров, т.к. я постоянно дорабатываю) встроены в пайплайн. Токену должны будут течь через нейроны как через ещё один слой трансформера. Отслеживание скобок, подсчёт поразрядно, результат возвращается как токены цифр. При этом подача задачи идёт на естественном языке или строго в математическом виде.
Для маленьких моделей это будет сменой парадигмы.
Техножнец всё делает на свои средства.
Если есть желание поддержать его, то вот ссылки:
Поддержать канал: ТБАНКПоддержать канал: ЮМАНИPlease open Telegram to view this post
VIEW IN TELEGRAM
🔥25👍7⚡1🕊1
Как начались вспышки на солнце, так мне начали писать сообщения в личку очень агрессивные люди. Сейчас очень модно прийти и сказать: Вот моя идея - давай делать. На любые вопросы про детали идеи часто можно услышать что-то вроде - сначала договоримся, а потом уже идея.
Как же сложно объяснить, что идея НИЧЕГО НЕ СТОИТ! Стоит только РЕАЛИЗАЦИЯ!
Как же сложно объяснить, что идея НИЧЕГО НЕ СТОИТ! Стоит только РЕАЛИЗАЦИЯ!
1💯52🤔4👌2
Техножнец
Как начались вспышки на солнце, так мне начали писать сообщения в личку очень агрессивные люди. Сейчас очень модно прийти и сказать: Вот моя идея - давай делать. На любые вопросы про детали идеи часто можно услышать что-то вроде - сначала договоримся, а потом…
Для чего я об этом? Если у вас возникнет идея со мной связаться для совместной работы, то, прежде всего, надо описывать свою идею кратко, грамотно и, самое главное, иметь уже свои исследовательские изыски и просто анализ хотя бы на пробах каких-то. Google Colab стоит вообще копейки...за 1200 рублей можно подтвердить гипотезу аж на Blackwell почти 90 с хером гб видеопамяти.
Даже если нет базы, то можно углубиться, попросить нейросеть разобрать, подучиться, понять нюансы и далее двигаться. Это очень сложно - я знаю! Но если вы будете приходить ко мне со своими идеями, то так и будете натыкаться на разочарование, т.к. нужна практическая помощь и взаимодействие друг с другом, нежели абстрактные самобафы лестными комментариями.
Для меня красный флаг, когда ко мне залетают с излишними эмоциями. Как правило, после восхвалений будут наезды чуть что не понравится, т.к. человек слишком сильно очарован своими представлениями и о вас и потом за это будет эмоционировать исклютельно в вашу сторону, а не в свою.
Берегите себя, окружающих и психику в таком же режиме - in, out (совю и чужую)
Даже если нет базы, то можно углубиться, попросить нейросеть разобрать, подучиться, понять нюансы и далее двигаться. Это очень сложно - я знаю! Но если вы будете приходить ко мне со своими идеями, то так и будете натыкаться на разочарование, т.к. нужна практическая помощь и взаимодействие друг с другом, нежели абстрактные самобафы лестными комментариями.
Для меня красный флаг, когда ко мне залетают с излишними эмоциями. Как правило, после восхвалений будут наезды чуть что не понравится, т.к. человек слишком сильно очарован своими представлениями и о вас и потом за это будет эмоционировать исклютельно в вашу сторону, а не в свою.
Берегите себя, окружающих и психику в таком же режиме - in, out (совю и чужую)
💯44🔥6❤2👌1