Как научить нейросеть говорить по-русски. RUKALLAMA.

Многие думают, у языковых моделей всё просто: больше данных, больше GPU - заговорит. На деле даже задача «научить нейросеть просто говорить по-русски» - без знания фактов, без рассуждения, просто грамматически связно - нетривиальна, как только выходишь за корпоративные стеки.

RUKALLAMA - русскоязычная модель, которую я обучаю на одной NVIDIA A100 40 ГБ в академическом масштабе. Это не Anthropic, не Сбер. Это размер, на котором каждое архитектурное решение приходится рассчитывать вручную - на ошибку нет ни времени, ни денег.

Архитектура - пионерская. Вместо стандартных полносвязных слоёв (MLP) я применил сети Колмогорова - Арнольда (KAN) с базисом Чебышёва. KAN до этого считались красивыми, но непрактичными: наивная реализация в 12 раз медленнее MLP. Моя версия TrueKAN K=3 работает в скомпилированном режиме на 38% быстрее эквивалентного nn.Linear. Насколько мне известно, это первое применение KAN к языковой модели миллионного класса, и точно первая русскоязычная KAN-модель.

Вторая нетривиальная штука - attention sink. В трансформерах с RoPE при наивной реализации внимания накапливается паразитный член, который через 24 слоя концентрирует внимание модели на первой позиции - модель буквально «застревает» на BOS-токене. Это пришлось разобрать формально: разложить Q·K с учётом смещений и поворота RoPE, выделить член, зависящий только от разности позиций (n − m), и устранить его архитектурно. Стабильных sink-голов было 4, после фикса - 0.

Третий пласт - токенизация. Русский в стандартных токенизаторах сжимается в 1,5-2 раза хуже английского. Свой токенизатор RUKANIZER (100 032 единицы) даёт 100% обратимость и побеждает ruGPT-3, mGPT, Saiga, ruBERT в 8 из 9 тестовых доменов.

И главное, что не видно со стороны: на этом этапе модель ещё не «отвечает» - она учится статистическому распределению русской речи. На 52% pretrain'а у неё уже идеальная грамматика, но факты плывут (Курская битва как «советско-германское сотрудничество», балет создан в 1984 году), а в длинных продолжениях ловит mode collapse - циклы вроде «Хорошо. Хорошо. Хорошо.» ×30. Это нормальная фаза. Дальше - SFT и DPO, GRPO и кое-какие новые в рамках этой архитектуры техники, которые превратят статистическую модель языка в модель, способную отвечать и работать с инструментами на компьютере.


🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com