Как научить нейросеть говорить по-русски. RUKALLAMA.

Многие думают, у языковых моделей всё просто: больше данных, больше GPU - заговорит. На деле даже задача «научить нейросеть просто говорить по-русски» - без знания фактов, без рассуждения, просто грамматически связно - нетривиальна, как только выходишь за корпоративные стеки.

RUKALLAMA - русскоязычная модель, которую я обучаю на одной NVIDIA A100 40 ГБ в академическом масштабе. Это не Anthropic, не Сбер. Это размер, на котором каждое архитектурное решение приходится рассчитывать вручную - на ошибку нет ни времени, ни денег.

Архитектура - пионерская. Вместо стандартных полносвязных слоёв (MLP) я применил сети Колмогорова - Арнольда (KAN) с базисом Чебышёва. KAN до этого считались красивыми, но непрактичными: наивная реализация в 12 раз медленнее MLP. Моя версия TrueKAN K=3 работает в скомпилированном режиме на 38% быстрее эквивалентного nn.Linear. Насколько мне известно, это первое применение KAN к языковой модели миллионного класса, и точно первая русскоязычная KAN-модель.

Вторая нетривиальная штука - attention sink. В трансформерах с RoPE при наивной реализации внимания накапливается паразитный член, который через 24 слоя концентрирует внимание модели на первой позиции - модель буквально «застревает» на BOS-токене. Это пришлось разобрать формально: разложить Q·K с учётом смещений и поворота RoPE, выделить член, зависящий только от разности позиций (n − m), и устранить его архитектурно. Стабильных sink-голов было 4, после фикса - 0.

Третий пласт - токенизация. Русский в стандартных токенизаторах сжимается в 1,5-2 раза хуже английского. Свой токенизатор RUKANIZER (100 032 единицы) даёт 100% обратимость и побеждает ruGPT-3, mGPT, Saiga, ruBERT в 8 из 9 тестовых доменов.

И главное, что не видно со стороны: на этом этапе модель ещё не «отвечает» - она учится статистическому распределению русской речи. На 52% pretrain'а у неё уже идеальная грамматика, но факты плывут (Курская битва как «советско-германское сотрудничество», балет создан в 1984 году), а в длинных продолжениях ловит mode collapse - циклы вроде «Хорошо. Хорошо. Хорошо.» ×30. Это нормальная фаза. Дальше - SFT и DPO, GRPO и кое-какие новые в рамках этой архитектуры техники, которые превратят статистическую модель языка в модель, способную отвечать и работать с инструментами на компьютере.


🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Выбрал 1 вариант - прокачиваю его. Приближение #3 уже. Неплохо идёт, встраиваю демона Поповича чтобы работало адекватно.
Вот как обстоят дела:

◈ СЕТУНЬ-2 МОЗГ - процессор, который думает в трёх состояниях
В конце 1950-х в МГУ Николай Брусенцов собрал «Сетунь» - единственную в мире серийную троичную ЭВМ. Не два состояния, а три: ⊖ ⊙ ⊕. Проект закрыли, линию свернули.
Почти семьдесят лет спустя я собираю её наследника - под задачу, которой тогда ещё не было: искусственный интеллект.

◈ Что это
Троичный процессор, спроектированный с нуля.
На одном кристалле - три троичных вычислительных ядра и собственный матричный ускоритель. Ядра держат логику, ветвления, управление. Ускоритель перемалывает тяжёлую параллельную математику - ту, на которой стоят все нейросети.

◈ Почему он сразу и CPU, и GPU
В обычной машине процессор и видеокарта - две отдельные железки, и общаются они через медленную шину.
Здесь обе роли живут на одном куске кремния: ▸ троичные ядра - «голова»: думают, решают, управляют; ▸ матричный движок - «мышцы»: считают матрицы пачками.
Посредника между ними нет. Управление и тяжёлый счёт - в одном чипе, без потерь на перекладку данных туда-сюда.

◈ При чём тут троичность
Современный ИИ сам пришёл к трём состояниям: веса нейросетей всё чаще ужимают до минус один, ноль, плюс один. Это буквально язык «Сетуни».
И здесь вылезает красота. Умножить на такой вес - это уже не умножение, а «вычесть / пропустить / прибавить». Дорогой перемножитель не нужен. Меньше транзисторов, меньше энергии на ту же работу.
Троичность тут - не музейная экзотика, а естественная форма для математики ИИ. Ускоритель не приклеен сбоку - он растёт из самой логики чипа.

◈ Где это сейчас
Вычислительный элемент уже прошёл полную физическую верификацию на открытом техпроцессе: геометрия, электрика, тайминг - чисто. Кристалл состоятелен.

Сейчас - сборка процессора целиком. Я поднимаю его на FPGA: микросхеме, которая ведёт себя как будущий чип, но переписывается за минуты.

Железо на столе: ▸ плата Sipeed Tang Mega 138K Pro ▸ ПЛИС Gowin GW5AST-138 ▸ телеметрия по UART - плата каждые 10 мс сама рапортует, что внутри всё живо

Цикл «правка - сборка - прошивка - проверка» занимает минуты. На реальном кремнии одна такая итерация стоила бы полгода.

◈ Куда идём
Прототип - на открытом процессе. Цель - отечественная фабрика. Финал - кремний.

Путь сложен. Но кристалл - реален.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Когда читаю комментарии по теме компилятора. Дорогие мои - если мне удалось с помощью Claude Code в 1 лицо сделать целый фреймворк для работы на Эльбрусе, то , простите, в чём сложность будет усилиями командой энтузиастов собрать компилятор нужный и сделать кучу всего полезного?

Давайте мы уже очнёмся все вместе, оглядимся и сделаем нужные нам выводы по поводу происходящего и просто начнём уже делать, м?

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал USDT (trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

PromeTorch - А что там?

Ну как..вот ведь:

А: Распределённое обучение сразу на несколько процессоров для всей линейки Эльбрусов (частично дорабатывается)

Б: Своя ollama и llama.cpp ...только без ollama и llama.cpp и работает на Эльбрусах...называется PromeServe

В: Распределённый инференс сразу на множестве процессоров Эльбрус (в будущем не важно каких, может быть сборная солянка)

У тех у кого голова на месте, прочитайте, подумайте , что можно сделать хотя бы с теми, которые якобы списаны или считаются не нужными, но обретают жизнь как востребованные для обучения или инференса. (я про процессоры)

Думаем...размышляем.


🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com