Синтеты, я пока что не обзавёлся бусти подпиской для тех, кто хочет поддерживать меня на постоянке. Но я это сделаю.

На самом деле у меня подошло время оплачивать кучу подписок, а я не факт , что в текущих обстоятельствах буду это осиливать также эффективно как недавно - ваше взаимодействие с этим вопросом всегда усилит тыл, а я смогу спокойно продолжать изыскания на наши интересные темы касаемо языковых моделей и многих других аспектов.

Как появится бусти, будет в режиме автоматическом это делаться и каждый сможет себе выбрать свою, а пока что вот так.

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

V9 RUKALLAMA. Путь, который я бы никому не пожелал.

Столько месяцев я угорал над этой моделью. 853M, TrueKAN K=3, 8.3 миллиарда токенов. MERA PARus 58%. Первое место среди всех открытых русских моделей. Обошли даже ruGPT-3.5 на 13B. $125 против $336,000 на обучение. Триумф, да?

А потом я запустил генерацию.

Модель выдавала 10-20 осмысленных токенов и срывалась в бесконечные петли. «Я это ты!» × ∞. На temp=0.1, без всяких penalties, чистый жесткач. В диалогах 0/9 без петель. Ну, подумал, sampling кривой, щас починим.

Хуй там.

Дальше марафон отчаяния. Anticyclone (три слоя защиты на logits). Deep X-Ray V1 смотреть hidden states. V2 микроскоп внимания по головам и слоям. Консультация с Gemini 3.1 Pro. Attention Surgeon. Defibrillator V1, V2, V3, V5, V6. Weight Surgery. SVD Truncation. SVD Clamping. Layer Skip. Loop Subspace Projection. Break Weight Tying. Dynamic Layer Dropout. Spectral Analysis. 10 параллельных агентов в ATTENTION_TESTS/. 19 методов inference интервенции.

Ни один не вылечил без потери качества. Ни один, блядь.

Консенсус 10 агентов: корень архитектурный. tanh saturation в TrueKAN .down слоях. Probe показал 52-90% размерностей >0.99. Три базиса Чебышева (T0, T1, T2) при tanh→±1 схлопываются в два. FFN .down становится константой. Модель превращается в конечный автомат.

Такие дела.

И это ещё не всё. Hidden state norm раздувалась от слоя 0 к слою 23 в 6.8 раз (238→1606), прыжки на каждом MoE слое. MoE эксперты ломались: из 32 экспертов (8 MoE × 4) слой h.6 использовал 2 из 4 в режиме 50-50, h.12 и h.15 перекошены. Load balancing loss 0.01 оказался слишком слабым.

И знаете что добило? GRPO, Pretrain, First SFT... чекпоинты ДО reasoning SFT тоже петляли 0/10.
То есть данные не виноваты. Виновата архитектура. Точка.

Сейчас ебашу V10.

Четыре правки по итогам ablation V9:

hidden_clip_norm=1000. Норма больше не распухает.
Встроенный SaturatedRMSNorm (pretanh_scale как nn.Parameter) перед tanh в .down. Никакого залипания.
MoE load_balance 0.01 → 0.05. В пять раз сильнее.
Gumbel noise 0.1 в гейте MoE на тренировке. Ломает ранние коллапсы.

Шаг 2900/33,733 (8.6%). Все 32 эксперта живы во всех 8 MoE слоях. Норма hidden state ratio 1.2x вместо 6.8x у V9. pretanh_scale дрейфует 0.91-1.04, ровно как должно. 😳

V9 остаётся в истории. 

#1 на PARus, первая русская KAN, 853M побила 13B. Это никуда не денется. Но в прод её не вывезти: умела думать, не умела говорить без петель.

V10 обязана уметь и то, и другое.

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

и тут же поймал новый баг. аттеншн синк - починил. 1 строчка...но..уже трясёт. (всё ок, просто ж***а сгорает)

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

V11. Починил то что ломало V9 в генерации.

V9 RUKALLAMA взяла #1 на MERA PARus среди открытых русских моделей, обошла ruGPT-3.5 13B при $125 тренировки. И петляла в генерации как сломанная. «Я это ты!» до конца context window. Две недели я ебашил inference-фиксы, 19 + 2 методов, ни один не вылечил без потери качества.

Диагноз от консенсуса 10 агентов тогда был: tanh saturation в TrueKAN .down слоях, Чебышев схлопывается, FFN становится константой. Красивая теория, я в неё поверил. Запустил V10 с четырьмя фиксами по FFN/MoE. На 9% трейна уже петляло.

Тогда я вернулся к старой диагностике Gemini 3.1 Pro которую раньше пропустил мимо ушей.

В attention.py строка:

q = q * scale + bias
k = k * scale + bias
q = _apply_rope(q)
k = _apply_rope(k)

Bias применяется до RoPE. Это значит после поворота ты получаешь RoPE(q_content) + RoPE(bias). Второе слагаемое не зависит от токена, но зависит от позиции. В dot-product между двумя токенами на позициях m и n это даёт постоянный фоновый член RoPE_m(b_q) · RoPE_n(b_k) - чистый позиционный шум, одинаковый для всех пар токенов на данных позициях.

Этот шум накапливается через residual stream по 24 слоям. Softmax нелинейный, малые систематические смещения в глубоких слоях побеждают content-сигнал. Головы фиксируются на pos 0 потому что там самая медленная частота RoPE. Attention sink.

Отсюда и петли: модель перестаёт видеть последние 10 токенов, self-token attention усиливает копирование, lock-in (закрепление, фокусировка).

Пишу probe V10 step 2000:

L2 H1 уже sink 28% avg. L0-L2 шумит, L10/L12/L15 эпизодические пики до 95%. На 8.6% тренировки паттерн уже проклюнулся. До V9-масштаба (L23 четыре головы по 25-40%) ещё не дорос, но механизм работает.

Убиваю V10. Пишу V11.

Одно изменение: флаг use_qk_bias=False, bias параметры не создаются вообще, строки применения убраны. Остальные V10 фиксы (MoE load_balance 0.05, Gumbel 0.1, hidden_clip_norm) остаются.

V11 step 2000 probe:

V9 final L23: H0/H5/H11/H14 = 25-40% sink (4 головы)
V10 step2K L2: H1 = 28% sink (1 голова)
V11 step2K: ноль голов > 25% avg

L23 в V9 был мёртв, в V11 все головы avg ≤0.08. Max spike 0.79 на один токен - это физиология, голова один раз сфокусировалась на конкретном сигнале. L2 где V10 уже подсел - в V11 max avg 0.03. Чисто.

Val loss 5.777 vs V10 5.81 на том же шаге. 98K bias параметров потеряли, loss не заметил. То есть bias учил ровно тот паразитный сигнал который мы хотели убрать. Сохранять его было бы сохранением бага.

Первый инстинкт «красивая теория = правильный диагноз» чуть не угробил ещё один рантайм. Tanh/Чебышёв объяснение было элегантным и математически чистым, консенсус 10 агентов в него упёрся, я тоже упёрся. А настоящий баг был грязнее, без красивой story, и лежал в файле который никто толком не смотрел потому что attention это не «интересная часть» архитектуры.

Дальше probe на 5K и 10K шагов. Если паттерн стабилен до трети трейна - V11 здорова и можно дотренивать до конца. Потом на MERA посмотрим, догонит ли V11 до уровня V9 по PARus при нормальной генерации.

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

V11. Починил то что ломало V9.

Напомню. V9 RUKALLAMA это моя нейросеть для русского языка. Взяла первое место на независимом бенчмарке MERA PARus среди всех открытых русских моделей. Обошла даже модель в 15 раз больше себя. Обучил за $125 вместо типичных сотен тысяч. Казалось бы, победа. (не обольщайтесь - бенчмарк 2024 года, лол, но пока что не прыгаем выше головы!)

А потом я попросил её что-нибудь написать.
Она начинала осмысленно, токенов десять выдавала нормально, а потом срывалась в бесконечное повторение. «Я это ты! Я это ты! Я это ты!» пока не упрётся в лимит. Как заевшая пластинка. Две недели я писал заплатки на этапе генерации, перепробовал кучу методов. Ни один не вылечил полностью.

Тогда собрал совет из десяти ИИ-агентов, каждый независимо анализировал архитектуру. Они сошлись на красивой теории: дескать, одна из нелинейных функций в модели переходит в насыщение, и слой начинает выдавать константу вместо осмысленного преобразования. Звучало логично, математика сходилась. Запустил V10 с четырьмя исправлениями в этом направлении.

На 9% обучения V10 снова начала делать мозга и жёстко петлять, но уже просто символами.

Тогда я вернулся к диагнозу от Gemini 3.1 Pro который раньше пропустил мимо ушей. Он показывал на другое место кода - механизм кодирования позиций в тексте.

Суть на пальцах. Когда нейросеть обрабатывает текст, ей нужно понимать какое слово стоит первым, каким вторым, и так далее. Для этого есть математический приём - каждой позиции присваивается поворот в многомерном пространстве. Это работает если в слова не добавлять никаких констант перед поворотом.

А в моём коде константа добавлялась. И когда всё это вращалось вместе, возникал паразитный сигнал. Постоянный шум который не зависел от содержания текста - только от позиций. По 24 слоям модели этот шум накапливался, усиливался, и в какой-то момент начинал побеждать настоящий сигнал от слов.

В результате головы внимания модели залипали на самом первом токене текста. Постоянно туда смотрели независимо от того, о чём сейчас речь. Модель переставала «видеть» последние десять сгенерированных слов. Не видела что повторяется. Копировала сама себя по кругу. Attention sink это называется на жаргоне. (по-русски "Трясина для внимания" 1 раз посмотрел и п***ец)

Написал диагностический скрипт который измеряет силу этого залипания. Посмотрел на V10 на 2000 шагов обучения. Паттерн уже проклюнулся: одна голова внимания в неглубоком слое уже сидит на первом токене на 28% времени, в средних слоях спорадические вспышки до 95%. До масштаба V9 ещё не доросло, но механизм работает.

Убил V10. Написал V11. Одна правка: эту самую константу перестал добавлять вовсе. Все остальные улучшения из V10 оставил.

V11 на 2000 шагов показывает:

V9 в конце: четыре мёртвые головы в последнем слое, залипание 25-40%
V10 на 2000: одна голова, 28%
V11 на 2000: ноль голов с систематическим залипанием

Последний слой который в V9 был буквально сломан - в V11 все головы чистые. Максимальные значения в физиологической норме. Качество на валидации такое же как у V10, несмотря на то что я удалил почти сто тысяч параметров. (хотя это не так очевидно связано..)

Главный урок для меня. Первая красивая теория почти угробила ещё один запуск. Она была математически элегантная, десять агентов с ней согласились, я тоже. А настоящий баг был некрасивый, без изящной истории, и лежал в файле который никто толком не смотрел. Потому что вроде как «там ничего интересного».

Дальше смотрим как V11 идёт на 5000 и 10000 шагов. Если паттерн стабилен - дотренирую до конца и проверю на MERA. Должна догнать V9 по качеству но без петель в генерации.

V9 останется в истории как модель которая умела думать, но не умела говорить. V11 должна уметь и то и другое. (НАДЕЮСЬ!!!)

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Давно не общались...в общем, синтеты! Какие дела с RUKALLAMA V11?

Да...на самом деле всё окей! Повторы реально побеждены, т.к. на ранней стадии при температуре 0.3 модель уже уходить ОТ ЛЮБОЙ ПЕТЛИ! Результат = грандиозный в рамках этой модели.

Удалось достичь "АБСОЛЮТНОГО ОТСУТСТВИЯ" attention sink и других проблем в архитектуре.

Если хотите тех анализ, то вот подробнее:

Вчера показал как починил attention sink в V11 через удаление bias перед RoPE. Сегодня вернулся с полным отчётом probe на step 2800 (val 5.43). Потому что sink это была не единственная болезнь V9. Их было четыре.

Что болело в V9.

Четыре классических диагноза большой языковой модели. Привычных настолько что в литературе про них пишут как про неизбежные особенности архитектуры.

Attention sink. Четыре головы в последнем слое отдавали 25-40% внимания на первый токен независимо от контекста. Модель теряла последние десять сгенерированных слов, не видела повторения, срывалась в бесконечные петли.

Tanh saturation в .down слоях TrueKAN. От 52 до 90% размерностей залипали на значениях выше 0.99. Функция превращалась в константу, FFN выдавал одно и то же на любой вход.

Hidden norm inflation. Норма residual stream росла в 6.8 раз от слоя 0 к слою 23 (238 → 1606), со скачками на каждом MoE блоке. Градиенты взрывались, глубина становилась шумом.

MoE collapse. Эксперты умирали. Слой h.6 в V9 использовал два эксперта из четырёх в режиме 50-50, остальные два простаивали мёртвым грузом.

Что сделал в V11.

Четыре архитектурных правки. Каждая одной-двумя строками кода.

use_qk_bias=False в attention.py. Убрал bias из Q/K перед RoPE. Вращать константу перестали, паразитный позиционный член исчез математически. Attention sink устраняется на уровне архитектуры, не пост-фактум.

pretanh_norm_down=True в truekan/layer.py. Встроенный RMSNorm перед tanh в .down слоях с learnable pretanh_scale. Сигнал не уходит в зону насыщения.

hidden_clip_norm=1000 в block.py. Clip нормы residual после каждого блока. Инфляция физически невозможна.

MoE load_balance 0.01 → 0.05 плюс Gumbel noise 0.1 в gate во время тренировки. Auxiliary loss усилен в 5 раз, случайность ломает ранние жадные коллапсы. Эксперты не слипаются.

Probe V11 на step 3600, результаты.

Attention sink. Ноль голов из 384 (24 слоя × 16 голов) с avg выше 25% на pos 0. Максимальное значение avg во всей модели: L19 H14 = 0.21. Близко к порогу, но не sink. V9 в этой зоне имел четыре головы по 25-40%.

MoE. Все 32 эксперта живы:

h.0 E0:38% E1:26% E2:14% E3:21%
h.3 E0:37% E1:17% E2:32% E3:14%
h.6 E0:20% E1:16% E2:32% E3:33% ← V9 тут был 50-50 binary
h.9 E0:22% E1:26% E2:25% E3:26% ← почти идеальный баланс
h.12 E0:26% E1:28% E2:22% E3:24%
h.15 E0:29% E1:21% E2:25% E3:25%
h.18 E0:12% E1:33% E2:25% E3:30%
h.21 E0:25% E1:12% E2:32% E3:32%

Диапазон 12-38%, ещё ровнее чем на step 2800. Слои h.9 и h.12 вышли на почти идеальный баланс между четырьмя экспертами.
Pretanh_scale в 48 TrueKAN .down слоях. Все 48 значений в диапазоне [0.8878, 1.0678], среднее 0.981. Tanh работает в линейной зоне. V9 52-90% dims >0.99 исчезли.

Hidden norms. Range 791 → 1000, ratio 1.26x. Clip срезает раздутие начиная с L3. V9 имел 6.8x.

За тысячу шагов val упал на 0.28. Все четыре болезни остаются устранёнными. MoE распределение стало ровнее. Hidden norm стабильнее. Единственное изменение — максимальная avg голова подросла с 0.15 до 0.21, всё ещё в здоровом диапазоне.

Про генерацию.

На temp=0.3 пробный текст сейчас такой:

не государство, а государство, а государство — это государство.
— Ответ: В чём разница между государством?
— Ответ: В какой стране существует власть, а в какой стране они находятся?

Первое предложение петляет на одном слове. Но это не attention sink (probe это подтверждает) — это стилистический артефакт раннего трейна. После точки модель восстанавливается и ведёт псевдо-осмысленный диалог. V9 в подобной ситуации не восстанавливалась, срывалась в петлю до конца контекста!!!

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал:ТБАНК
Поддержать канал:ЮМАНИ

Что это значит?

Большинство болячек 853M трансформера это не emergent проблемы, которые надо лечить пост-фактум костылями. Это прямые следствия неправильной архитектуры, которые убираются одной строкой если понимать механизм.

Но, Техножнец, тебе писали, что это костыли!! Тебе писали, что надо делать правильно изначально!!!

Так, я отвечал прямо - пока не убедимся на конкретных исследованиях со всех сторон в чём-то = делать выводы РАНО! Нужна эмпирика и только эмпирика, остальное это шум, который создан для самоуспокоения.

На V9 я две недели писал inference-патчи. Anticyclone. Defibrillator V1-V6. Attention Surgeon. SVD Truncation. Layer Skip. 19 методов. Ни один не сработал. Потому что нельзя починить на инференсе то что сломано в архитектуре.

Потрачено ли время зря? Конечно, НЕТ! Наоборот - я убедился для себя в очередной раз о схожести проблем и в конкретике и детерменированности проблемы. И то - у меня есть сомнения, что где-то ещё зарыта собака. Хотелось бы верить, что теперь всё будет окей.

Где находимся.

Step 3800 из 33733. 11.3% пройдено. Val 5.15. Кривая идёт вниз без плато. Следующая контрольная проба на step 5000, потом 10K и 20K. Если паттерн держится — V11 досидит до конца без сюрпризов.

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Спасибо LLM за помощь в данном вопросе 😃
Сам я бы умер это писать...