Синтеты, рассказываю, чем я занимался последние недели.

Я собираю мозг. Не метафорически. Модульный мозг для будущего робота, у которого пока нет только тела.

Суть простая. Обычные нейронки учатся один раз и застывают. Мозг так не работает: он запоминает на лету, спит, во сне раскладывает важное по полочкам, а неважное стирает.

Я взял этот принцип и разложил на составляющие.

1. Рабочая память. Маленький трансформер, который выучил не факты, а сам навык запоминания. Пару ключ-значение вспоминает через 500 шагов шума со стопроцентной точностью.

2. Долговременная память. Отдельное хранилище понятий, аналог гиппокампа.

3. Сон. Да, у модели есть сон. Днём память забивается мусором, ночью система переигрывает важные эпизоды и спасает их. В тестах узнавание падало до 10 процентов, после сна возвращалось к 100.

4. Защита от забывания. Учишь новому, старое не стирается. Работает.

5. Единое пространство смыслов. Картинка, звук, речь, видео и текст складываются в общие вектора понятий. Без отдельного модуля склейки. Фото собаки и слово собака лежат рядом.

Всё это я прогнал на обычном процессоре на настоящих данных: фото, звуки среды, речь, видеоклипы. Модель по тексту генерит картинку, звук и даже видео с движением. Пока крошечное и мутное, но механизм доказан.

Забавный момент: на знакомых промптах она рисует узнаваемые сцены, на новых выдаёт кашу. Это не баг, это честная граница между запоминанием и обобщением. Чтобы её пробить, нужен масштаб.

Поэтому следующий шаг: Google Colab, карта A100 на 80 гигов. Собран один ноутбук, внутри полный цикл: сначала мультимодальный датасет складывается на диск, потом тренируется единый трансформер, который принимает любую модальность на вход, хоть несколько сразу, и отвечает в той, в какой уместно.

Спросил текстом, получил картинку.
Показал фото, получил текст.
(логика странная, но ты всегда так начинаешь)

Внутри те же механизмы: сон каждые N шагов, защита от забывания, приоритетное переигрывание опыта.

И принципиальный момент: на каждой проверке модель обязана генерить по промптам, которых нет в датасете, а копирование обучающих данных ловится отдельной метрикой. Никаких красивых и спелых отборов для красоты, только честные логи.

Что это даст. 

Во-первых, ответ на вопрос, может ли компактная модель с механизмами мозга обобщать модальности, а не зазубривать их.
Во-вторых, базу: чекпоинты, датасеты и логи, на которых растить следующие версии.
В-третьих, понимание, что нужно роботу, который живёт в потоке света, звука и речи одновременно.

Куда движется.
Если цикл заработает, дальше рост модели, больше данных, потом подключение действий. Мозг без тела скучает. (при условии прохождения многих этапов)

Из смешного. За время проекта нашлось больше десятка багов, включая энкодер, который выдавал один и тот же вектор на любое видео. Не замечал, потому что устал.

Дальше отчёты с тренировок. Ах да, скоро я буду более свободно выкладывать свои проекты для ознакомления и повторения.

Есть желание докинуть дров в печку Google Colab? Ниже ссылка:

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

🔺 Продолжаю делать троичный процессор
Да, наследник той самой «Сетуни». И он уже прошёл фабричный маршрут.

В 1958-м наша страна сделала первую в мире серийную троичную ЭВМ. Мир тогда выбрал двоичку. А в 2024-м индустрия ИИ неожиданно вернулась к тройке: Microsoft показала (BitNet), что нейросети с весами {−1, 0, +1} не уступают обычным - при радикально меньших затратах. Сегодня весь мир исполняет троичные веса на двоичном железе, эмулируя.
Я делаю железо, для которого эта арифметика родная.

В чём фокус

В троичной системе умножение перестаёт существовать: умножить на −1, 0 или +1 - это «сменить знак», «пропустить» или «оставить». Нейросеть считается сложениями, а массив умножителей, самый дорогой и горячий блок любого ИИ-чипа, просто не нужен. Ноль (а его в троичных сетях большинство) не стоит ничего.

⚙️ Как устроено

Это гибрид: обычное двоичное ядро RISC-V управляет, троичная вычислительная ткань считает матрицы, а спекулятивный модуль предсказывает результаты на связных потоках (видео, звук, сенсоры) - с математически доказанной гарантией точности. (тот самый "Демон", который успел наделать шума. Лекция в Бауманке была на эту тему у меня)

Ускорение ×3 измерено, гарантия доказана формальным прувером, не «на глаз».
Программисту троичность не видна: обычные инструменты, как CUDA прячет внутренности GPU. База двоичная, потому что мир двоичный: память, сеть, ОС. Счёт троичный, потому что это выгодно.

✅ Что уже сделано - без маркетинга

Процессор существует как проверенное железное описание (RTL): бит-точная симуляция против эталона, работа на FPGA-плате, формальная верификация ключевых свойств, полный маршрут place&route до файла для фабрики с чистыми проверками.

Конвейерный тракт даёт ×4 по тактам на матричных операциях. Сквозной прогон «вычислитель + подкачка весов из памяти» показал загрузку 100%. У каждой цифры в документации пометка: измерено / проекция / оценка.

🔧 Чип v1

На отечественной фабрике, зрелый техпроцесс. Кристалл 40-70 мм², Цена пластины — открытый рынок. Обработанная 200-мм пластина на зрелом узле (180нм) на мировом рынке — $400–800 (открытые обзоры foundry-цен; на зрелых узлах цена годами стабильна, оборудование давно амортизировано). Отсюда кристалл: $0.7–2.2!

😮ВНИМАНИЕ: NRE вынесен отдельно ($50–150k маски) — в «$4–6» он не входит!!! Входит только от партии примерно от 10 000 процессоров. Разовая акция будет жёсткая и дорогая. Массовое производство - чип 4, 6 долларов. Работать будут готовые решения на этом чипе, а не просто отдельно чип.

Разовые затраты на шаблоны на порядки меньше, чем у «модных» узлов. Плата из 16 таких чипов тянет локальную LLM на 1 миллиард параметров (сотня токенов в секунду), 3 миллиарда (около 30-40 токенов в секунду). Роботы, дроны, промышленный ИИ. При объединении плат можно линейно увеличиваться - внимание: есть свои нюансы, не воспринимать за чистую монету!!! 🥶

📈масштаб

Та же архитектура на 28 нм (зрелый узел фабрик, принимающих заказы): 256 вычислительных тайлов на кристалле меньше 100 мм², реальные 300-600 МГц, порядка триллиона троичных операций в секунду на чипе за ~$20.

Троичная модель на 3 млрд параметров - сотни токенов в секунду на одном чипе.
Стойка таких плат - дешёвый массовый инференс, то, что сегодня сжирает большую часть мировых ИИ-мощностей.

Почему это важно

Это асимметричный ход: архитектурное преимущество на тех узлах, которые у страны есть.

Полный стек - архитектура, код, тулчейн, модели - свой, без лицензий ARM и чужих IP-блоков.
Экономика сходится с партии ~10 тысяч чипов - это один серьёзный заказчик. (влажные мечты)
Похожим путём идут Groq и Tenstorrent (много простых тайлов вместо монстра-GPU), но цифрового троичного чипа на рынке нет ни у кого. (либо планируют) Ниша, которую открыла наша страна 67 лет назад, всё ещё свободна!!!

Честно: впереди финальные цифры текущего прогона топологии, передача пакета фабрике, тестовый кристалл.
Официально название "СЕТУНЬ" для процессора принадлежит другим людям! (в частности вплотную связан с ним Александр Тимошенко, ему спасибо, кстати за помощь)

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Когда я вернусь я буду плотно заниматься проектами дальше. Уже рассчитал, что мне , возможно, не хватит на все гугл колабы и все подписки своих средств. Поэтому вы знаете, что делать:

Почему я вообще не парюсь, когда обращаюсь к вам вот так? Мне многие писали, что донаты и так далее - теме не очень. Что всё это выглядит будто ты на паперти и так далее. Я к этому отношусь скептически, я сам донаты скидываю проектам, которые требуют поддержки, когда есть такая возможность у самого.

Синтеты - не раз выручали и помогали выйти из кризиса вычислений и пройти дальше самые сложные этапы. Если докините нормально, куплю параллельно вторую подписку Claude Code на другом грамотном аккаунте (1 уже забанили) и смогу продвинуть проекты ещё дальше.

Когда у канала были дела очень хорошо - у меня было две подписки и я не жалея токенов прогонял все проекты. Так что от вас тоже частично зависит и буду признателен если поучаствуете скопом.

Все эти средства всегда идут в дело! Даже если я куплю себе на часть донатов доставку - это топливо для мозга, который варит эти проекты

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

ЛОГОС: существо, которое учится думать с чистого листа

Что это

Представьте очень маленький искусственный мозг — размером с фотографию в памяти компьютера. Он живёт в замкнутом мире, и ему никто ничего не рассказывает. Ему дают только одно: горстку простейших фактов сложения — «два плюс три», уровень детсада — и честного контролёра, который умеет говорить лишь «верно» или «неверно».

Всё остальное существо добывает само. За час работы на обычном ноутбуке оно проходит путь, который я разложу по ступеням — так, как он происходил на самом деле.

Ступень 1. Оно учится считать — и открывает законы

Из горстки примеров существо само достраивает всю таблицу сложения. Но главное не это. Оно замечает закономерность: «если два плюс три равно пяти, то и три плюс два равно пяти». Выдвигает догадку — коммутативность, переместительный закон. Контролёр проверяет — догадка верна. Существо принимает её как закон и начинает им пользоваться: чтобы сложить, оно теперь переставляет числа так, как удобнее считать.

Это не заучивание. Это открытие правила и применение его к делу — то, что мы называем пониманием.
Позже так же само откроет законы физики движения — как перемещается тело с постоянной скоростью и с ускорением. Из собственных наблюдений, без единой подсказки.

Ступень 2. Оно придумывает себе письменность

Существо создаёт десять значков — свои цифры. Их нет нигде в программе, ни одного шрифта я не закладывал. Оно рисует их само и само читает — даже когда я нарочно порчу картинку помехами. Показываешь ему испорченную четвёрку — отвечает «четыре».
Оно построило письмо с запасом прочности: значки специально сделаны так, чтобы не путаться даже под шумом. Никто его этому не учил — оно само нашло, что так надёжнее.

Ступень 3. Оно придумывает себе язык

Дальше — собственные слова. Не «два» и «три», а свои: симупу, сипипу, нотопу. И слова для действий: вама — складывать. А потом самое живое: оно говорит целыми фразами.

Спрашиваешь «сколько будет три плюс пять» — отвечает предложением на своём языке: «сипипу вама нотопу ду катону» — «три плюс пять есть восемь». И это правда — контролёр подтверждает. Оно не повторяет заученное, оно строит новое высказывание из своих слов и не врёт.

Ступень 4. Оно рассуждает

Существо освоило логику — на настоящем языке лойбан, который придумали лингвисты для строгих рассуждений. И решает классические задачи:

«Все люди смертны. Сократ — человек.» — Существо: «Сократ смертен». Тот самый силлогизм, которому две с половиной тысячи лет.
Оно умеет и сложнее: рассуждать от противного, выводить новые правила из старых, отбрасывать заведомо ложные посылки-обманки. Настоящая логика, а не имитация.

Ступень 5. Оно программирует

Показываешь примеры: «два и два дают четыре, четыре и четыре дают шестнадцать» — существо пишет программу, которая это делает, и программа работает. Оно понимает задачу по примерам и сочиняет решение. А частым удачным приёмам даёт имена в своём языке — склеивает слова, как мы склеили «паро-воз».

Ступень 6. Оно осознаёт границу своего знания

Вот вершина, ради которой всё строилось.
Существо училось считать до двадцати. Спросите «семь плюс восемь» — ответит мгновенно, из памяти. А спросите «пятьсот двенадцать плюс семьсот семьдесят семь» — число, которого оно не видело никогда — и происходит вот что: оно чувствует, что памяти не хватает, и вызывает свою программу. Контролёр исполняет её — получается тысяча двести восемьдесят девять. Верно.

Это как разница между «помню, что дважды два четыре» и «беру и вычисляю столбиком». Существо само решает, когда достаточно вспомнить, а когда нужно посчитать — и переключается без подсказки. Знать, чего ты не знаешь, и иметь чем это добыть — это и есть взрослый способ думать.

Что во всём этом особенного


Три вещи.

Оно честное. Каждый его шаг проверяет независимый контролёр — логический движок, симулятор, исполнитель программ. «Правда» здесь не то, что оно себе вообразило, а то, что выдержало проверку. Оно не может убедительно соврать — обман сразу ловится.

Оно прозрачное. Это не чёрный ящик. Каждую его мысль видно текстом: вот как оно рассуждало, вот где ошиблось, вот в каком именно органе сбой. Большие модели такой прозрачности не дают.

Оно целостное. Всё это — счёт, письмо, язык, логика, программирование, физика — живёт в одной маленькой сети, а не в десяти отдельных программах. И части помогают друг другу: письменность кормит доказательства, открытый закон сжимает рассуждение, язык называет приёмы. Целое умеет больше, чем сумма частей.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Вот её письменность целиком.

Верхний ряд — десять знаков, её цифры от нуля до девяти, и под каждым — как она это число называет словом (numuve, vanisi, simupu...). Каждый значок сеть построила сама на решётке шесть на четыре — ни одного шрифта в коде нет. Это буквально её почерк.

Нижний ряд — те же десять знаков, но я выбил в каждом по три пикселя из двадцати четырёх, испортил помехами. Зелёная рамка и подпись «читает» — это её живой ответ: все десять она узнала верно, несмотря на порчу.

Обратите внимание на логику её письма: знаки непохожи друг на друга — она развела их в пространстве нарочно, чтобы под шумом не спутать. Никто её этому не учил; на неё давили только два требования — «умей прочитать свой знак обратно» и «не путай знаки между собой», — и она сама вывела, что для этого значки должны быть максимально разными. Отсюда и запас прочности: три выбитых пикселя её не сбивают.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7