Вот моя любимая страничка из этого журнала. На новогодний утренник я уговорил маму сделать мне через знакомых на заказ костюм скорпиона.

Это было эффектно. Больше такого тогда никто не повторял.

Первый косплейер на деревне.

Фоток не сохранилось, соррян.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Фух, ну и денёк. Сегодня разбирался с проектом моего ученика\студента (правда он старше меня, но ничего).
У него своя реализация KAN языковой модели, свой движок интересный и свои подходы ОЧЕНЬ перспективные.

Вот разбирался с его контентом и продакшеном. Очень интересно...поэтому особо не отвечал. в замороче был.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Эпоха 2 RUKALLAMA V11. Болезни вылечены, эксперты живут, всё едет.

Что показал probe.

Норма скрытого состояния. Проблема V9 — внутренний сигнал в модели раздувался проходя через слои. Норма росла в 6.8 раза от первого слоя до последнего. Это значит градиенты при обучении взрывались, модель глохла в шуме на глубине.
В V11 поставил жёсткий потолок — clip на 1000.

И вот что вижу:

— слои 0-2: норма растёт естественно (593 → 760 → 933). Это нормальный физиологический рост, модель собирает контекст. — слои 3-23: норма упирается в 1000 и держится. Clip работает, инфляции нет.
Размах от 593 до 1000, отношение 1.7×. Для сравнения — было 6.8×.
В четыре раза стабильнее. Сигнал больше не разваливается на глубине.

Эксперты MoE — все 32 живые. В V9 эксперты умирали — 2 из 4 в слое работали в режиме 50/50, остальные 2 простаивали мёртвым грузом. Это значит половина мощности модели лежала без дела.

В V11 я поднял auxiliary loss балансировки в 5 раз и добавил Gumbel шум в gate во время тренировки. Результат: все 32 эксперта по всем слоям активны. Знания распределяются по всей модели, а не концентрируются в двух популярных кладовках.
tanh saturation — больше нет.

В V9 функция активации tanh в .down слоях TrueKAN залипала на 0.99 у 52-90% размерностей. Это превращало FFN в константу — что бы ни приходило на вход, выход одинаковый. Модель глохла.

В V11 поставил RMSNorm перед tanh с обучаемым pretanh_scale. Сигнал нормализуется до того как попадает в насыщающуюся часть. Saturation исчезла. Активации работают как должны — реагируют на разный вход разным выходом.

Attention. Один stable sink в L21.
Sink — это когда голова внимания залипает на первом токене независимо от контекста и не видит остальное. В V9 их было четыре, и из-за них модель срывалась в бесконечные петли.

В V11 на эпохе 2 — один умеренный sink в слое 21. Это не катастрофа. Литература по трансформерам говорит что 1-2 stable sink — норма, потому что модели нужен «сборный буфер» куда сваливать неиспользованное внимание. Эта роль естественно эмерджирует и она полезна.
Что произошло: я поднял learning rate с 1e-4 до 3e-4 на warmup. Высокий LR расшатал attention в моменте, и в L21 эмерджентно укрепился один sink как стабилизирующая функция. Просадка временная и контролируемая, не системная как в V9.


🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Что-то устал. Сейчас пойду в chillябинск лежать. (от слова - chill / чилл)

С демоном интересные движения, с космологией тоже - я поделюсь скоро. Туго идёт.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

блин...кажется удалось ускорить обучение LLM на 300%

[Once upon a time]

"Once upon a time, there was a little girl up on the bird cars on and and said, 'I was so happy year and the broor before. It was beathy were came to runch thing sothen in the bear. I was a big fanliding garde.'"

[Once upon a time, temp=0.8]  

"Once upon a time, but the crow. They letty said to trried to love to eit. One day, Timmy see could thrings and said, 'That I sorry. It went friend, Tom, so he waves and freed and Beby.'"

[A little girl named Lily]

"A little girl named Lily. Tom and Jimmy was the corried that gave. When the looked a lot like the parks and his cits appletearn sho felt. Everying on the beathing on the troo would told in playing with toes."

[The cat sat on]

"The cat sat on the other were toy opether. Lily was so happy, Lily more took. Sam is the try and somethings of butterstor. The bus too thought it went tooks to joil and the rum sure. Then, she kids took a blow."

[One day,]

"One day, Ey and said, the man a bird forgo tally and mom sad. He could not find the bannces to hell me of found listorry Sas for on sort. Aled and happy in her felt so epped beach in her frient. He safe a blanall in the picklom. He was so happy."

[One day, temp=0.9]

"One day, when make some was things girl. He loves to growat and book, it was playing in the rabbig birds and shinue. It looked of love to mex."

И стоит это всё каких-то детских флопсов...буду щас думать.


🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

блин, родные...синтеты. Ну что же вы так ведётесь на мотивационные высказывания LLM! хосспади...ну увольте уже их с этой должности, поставьте их на должность "тупорез нейрослоп" и используйте правильно. Ужас...я иногда в комментах такое читаю, что просто адок.


🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com