Синтеты, рассказываю, чем я занимался последние недели.

Я собираю мозг. Не метафорически. Модульный мозг для будущего робота, у которого пока нет только тела.

Суть простая. Обычные нейронки учатся один раз и застывают. Мозг так не работает: он запоминает на лету, спит, во сне раскладывает важное по полочкам, а неважное стирает.

Я взял этот принцип и разложил на составляющие.

1. Рабочая память. Маленький трансформер, который выучил не факты, а сам навык запоминания. Пару ключ-значение вспоминает через 500 шагов шума со стопроцентной точностью.

2. Долговременная память. Отдельное хранилище понятий, аналог гиппокампа.

3. Сон. Да, у модели есть сон. Днём память забивается мусором, ночью система переигрывает важные эпизоды и спасает их. В тестах узнавание падало до 10 процентов, после сна возвращалось к 100.

4. Защита от забывания. Учишь новому, старое не стирается. Работает.

5. Единое пространство смыслов. Картинка, звук, речь, видео и текст складываются в общие вектора понятий. Без отдельного модуля склейки. Фото собаки и слово собака лежат рядом.

Всё это я прогнал на обычном процессоре на настоящих данных: фото, звуки среды, речь, видеоклипы. Модель по тексту генерит картинку, звук и даже видео с движением. Пока крошечное и мутное, но механизм доказан.

Забавный момент: на знакомых промптах она рисует узнаваемые сцены, на новых выдаёт кашу. Это не баг, это честная граница между запоминанием и обобщением. Чтобы её пробить, нужен масштаб.

Поэтому следующий шаг: Google Colab, карта A100 на 80 гигов. Собран один ноутбук, внутри полный цикл: сначала мультимодальный датасет складывается на диск, потом тренируется единый трансформер, который принимает любую модальность на вход, хоть несколько сразу, и отвечает в той, в какой уместно.

Спросил текстом, получил картинку.
Показал фото, получил текст.
(логика странная, но ты всегда так начинаешь)

Внутри те же механизмы: сон каждые N шагов, защита от забывания, приоритетное переигрывание опыта.

И принципиальный момент: на каждой проверке модель обязана генерить по промптам, которых нет в датасете, а копирование обучающих данных ловится отдельной метрикой. Никаких красивых и спелых отборов для красоты, только честные логи.

Что это даст. 

Во-первых, ответ на вопрос, может ли компактная модель с механизмами мозга обобщать модальности, а не зазубривать их.
Во-вторых, базу: чекпоинты, датасеты и логи, на которых растить следующие версии.
В-третьих, понимание, что нужно роботу, который живёт в потоке света, звука и речи одновременно.

Куда движется.
Если цикл заработает, дальше рост модели, больше данных, потом подключение действий. Мозг без тела скучает. (при условии прохождения многих этапов)

Из смешного. За время проекта нашлось больше десятка багов, включая энкодер, который выдавал один и тот же вектор на любое видео. Не замечал, потому что устал.

Дальше отчёты с тренировок. Ах да, скоро я буду более свободно выкладывать свои проекты для ознакомления и повторения.

Есть желание докинуть дров в печку Google Colab? Ниже ссылка:

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

🔺 Продолжаю делать троичный процессор
Да, наследник той самой «Сетуни». И он уже прошёл фабричный маршрут.

В 1958-м наша страна сделала первую в мире серийную троичную ЭВМ. Мир тогда выбрал двоичку. А в 2024-м индустрия ИИ неожиданно вернулась к тройке: Microsoft показала (BitNet), что нейросети с весами {−1, 0, +1} не уступают обычным - при радикально меньших затратах. Сегодня весь мир исполняет троичные веса на двоичном железе, эмулируя.
Я делаю железо, для которого эта арифметика родная.

В чём фокус

В троичной системе умножение перестаёт существовать: умножить на −1, 0 или +1 - это «сменить знак», «пропустить» или «оставить». Нейросеть считается сложениями, а массив умножителей, самый дорогой и горячий блок любого ИИ-чипа, просто не нужен. Ноль (а его в троичных сетях большинство) не стоит ничего.

⚙️ Как устроено

Это гибрид: обычное двоичное ядро RISC-V управляет, троичная вычислительная ткань считает матрицы, а спекулятивный модуль предсказывает результаты на связных потоках (видео, звук, сенсоры) - с математически доказанной гарантией точности. (тот самый "Демон", который успел наделать шума. Лекция в Бауманке была на эту тему у меня)

Ускорение ×3 измерено, гарантия доказана формальным прувером, не «на глаз».
Программисту троичность не видна: обычные инструменты, как CUDA прячет внутренности GPU. База двоичная, потому что мир двоичный: память, сеть, ОС. Счёт троичный, потому что это выгодно.

✅ Что уже сделано - без маркетинга

Процессор существует как проверенное железное описание (RTL): бит-точная симуляция против эталона, работа на FPGA-плате, формальная верификация ключевых свойств, полный маршрут place&route до файла для фабрики с чистыми проверками.

Конвейерный тракт даёт ×4 по тактам на матричных операциях. Сквозной прогон «вычислитель + подкачка весов из памяти» показал загрузку 100%. У каждой цифры в документации пометка: измерено / проекция / оценка.

🔧 Чип v1

На отечественной фабрике, зрелый техпроцесс. Кристалл 40-70 мм², Цена пластины — открытый рынок. Обработанная 200-мм пластина на зрелом узле (180нм) на мировом рынке — $400–800 (открытые обзоры foundry-цен; на зрелых узлах цена годами стабильна, оборудование давно амортизировано). Отсюда кристалл: $0.7–2.2!

😮ВНИМАНИЕ: NRE вынесен отдельно ($50–150k маски) — в «$4–6» он не входит!!! Входит только от партии примерно от 10 000 процессоров. Разовая акция будет жёсткая и дорогая. Массовое производство - чип 4, 6 долларов. Работать будут готовые решения на этом чипе, а не просто отдельно чип.

Разовые затраты на шаблоны на порядки меньше, чем у «модных» узлов. Плата из 16 таких чипов тянет локальную LLM на 1 миллиард параметров (сотня токенов в секунду), 3 миллиарда (около 30-40 токенов в секунду). Роботы, дроны, промышленный ИИ. При объединении плат можно линейно увеличиваться - внимание: есть свои нюансы, не воспринимать за чистую монету!!! 🥶

📈масштаб

Та же архитектура на 28 нм (зрелый узел фабрик, принимающих заказы): 256 вычислительных тайлов на кристалле меньше 100 мм², реальные 300-600 МГц, порядка триллиона троичных операций в секунду на чипе за ~$20.

Троичная модель на 3 млрд параметров - сотни токенов в секунду на одном чипе.
Стойка таких плат - дешёвый массовый инференс, то, что сегодня сжирает большую часть мировых ИИ-мощностей.

Почему это важно

Это асимметричный ход: архитектурное преимущество на тех узлах, которые у страны есть.

Полный стек - архитектура, код, тулчейн, модели - свой, без лицензий ARM и чужих IP-блоков.
Экономика сходится с партии ~10 тысяч чипов - это один серьёзный заказчик. (влажные мечты)
Похожим путём идут Groq и Tenstorrent (много простых тайлов вместо монстра-GPU), но цифрового троичного чипа на рынке нет ни у кого. (либо планируют) Ниша, которую открыла наша страна 67 лет назад, всё ещё свободна!!!

Честно: впереди финальные цифры текущего прогона топологии, передача пакета фабрике, тестовый кристалл.
Официально название "СЕТУНЬ" для процессора принадлежит другим людям! (в частности вплотную связан с ним Александр Тимошенко, ему спасибо, кстати за помощь)

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Когда я вернусь я буду плотно заниматься проектами дальше. Уже рассчитал, что мне , возможно, не хватит на все гугл колабы и все подписки своих средств. Поэтому вы знаете, что делать:

Почему я вообще не парюсь, когда обращаюсь к вам вот так? Мне многие писали, что донаты и так далее - теме не очень. Что всё это выглядит будто ты на паперти и так далее. Я к этому отношусь скептически, я сам донаты скидываю проектам, которые требуют поддержки, когда есть такая возможность у самого.

Синтеты - не раз выручали и помогали выйти из кризиса вычислений и пройти дальше самые сложные этапы. Если докините нормально, куплю параллельно вторую подписку Claude Code на другом грамотном аккаунте (1 уже забанили) и смогу продвинуть проекты ещё дальше.

Когда у канала были дела очень хорошо - у меня было две подписки и я не жалея токенов прогонял все проекты. Так что от вас тоже частично зависит и буду признателен если поучаствуете скопом.

Все эти средства всегда идут в дело! Даже если я куплю себе на часть донатов доставку - это топливо для мозга, который варит эти проекты

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7