Веса Rukallama V11 s300 (корректировка беседы и наполнение знаниями на очень низком LR) - ЗАГРУЖЕНЫ!

➡️ ОБЩАТЬСЯ С RUKALLAMA (ссылка 1)

➡️ ОБЩАТЬСЯ С RUKALLAMA (ссылка 2)

Чаты будут доступны уже через 2 минуты - в стандартном, быстром режиме.

Rukallama работает на T4 видеокарте от вендора Huggingface. Дело платное, но вы закидываете - я пополняю. Всё чётко. Собираем данные.

P.S. Возможны глэки!!! (а может и нет, тестируем)

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Вот, весь набор, что сейчас допиливает модель дальше. s300 - рубеж.

Теперь вы видите в каком темпе идёт работа над моделью.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Доброе утро!

Мнение о модельке Rukallama разделилось на 3 типа.

1) Не понявшие, но потом осознавшие - те, кто был скептичен изначально, но вскоре ретировался осознав, что оно не совсем безнадёжное.

2) Понявшие на 100% - те, кто испытал нечто около религиозного трепета, уютного взрыва ностальгии соединённой с кулибинством. Ощущалось это в их словах.

3) Не принявшие - либо в силу уровня компетенции, либо в силу уровня проф деформации, либо просто в силу невежества, так и не смогли принять понять и осознать в чём суть модели. Текста с описанием какая модель и что от неё ждать, для них лишь маркетинговое полотно, которым я по их мнению прикрываюсь.

Что я думаю?

Что это нормальное течение вещей. Модель только вышла в свет, у неё тяжелый интересный путь. Мне уже написали некоторые люди после "претезнтации" скромной. Эти люди заинтересованы в финансировании отечественной и суверенной модели.

Дорастёт до фронтира?

Уверенности в этом стало в 1000 раз больше. Если до этого сомневался, то преодолевая каждый раз свои страхы...я понимаю, что это произойдёт. Продолжу работу!

P.S. Подняло с кровати через 6 часов сна.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Не сработало! Меняю приоритеты в весах датасетов...коэффициент даю некоторым частям выше.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Только что отработала самокоррекция Rukallama. Скоро обновлю.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Я тихонечко обновил модель. Она общается более релевантно. Попробуйте просто побеседовать. Попробуйте задать вопросов. Планка не должна бы, пока что, высокой в беседе. Она уже понимает лучше, я ей добавил рулёжку. Есть длинные ответы и короткие. Если Rukallama повторяется, то вы перезагрузите контекст (справа в углу чатика есть иконка "мусорного ведра" кликаете и новая беседа будет).

➡️ ОБЩАТЬСЯ С RUKALLAMA (ссылка 1)

➡️ ОБЩАТЬСЯ С RUKALLAMA (ссылка 2)

Мне это полезно! Я соберу потом датасеты, даже из самых долбанутых запросов. Их уже достаточно много.
❤️

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Привет, синтеты.

Нашёл способ расширить контекст без болевых ощущений для беседы, личности, вайба и стиля. Теперь Rukallama будет с 4000 токенным контекстом. Я заменил свой KAN роутер экспертов на стандартный от DeepSeeek V4 - но пришлось пересобрать с нуля под свои нужды. Теперь эксперты насыщаются адекватно и сразу пошли сдвиги.

Я заморозил новый гейт, гейт для акцента, 4 со-адаптированных эксперта, но при этом обучаю: dense KAN-FFN слои, Внимание qkv+OUT, Role_Emb (привязка к своей роли, чтобы не присваивать себе реплики человека).

Сейчас на сутки ставлю бульон вариться.

Тестовых весов за эти сутки произведено 35 штук. Выбрал 3 штуки. Сейчас из одного из них делаю нормальный.
Подтверждено - стиль сохранился, вайбик тот же, контекст стал длиннее. Память заработала.

Следом я буду прикреплять с помощью side-car (люльки) параллельных экспертов очень аккуратно наращивая знания модели. Она будет становиться умнее.

Многие задают вопрос...а можно ли её сделать адекватнее? Можно - делаю. Описываю.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Синтеты, если помните мою борьбу с экспертами и чтобы они рановмерно заполнялись. Короче...это, конечно, полезная фича...и я там ещё боролся с залипанием внимания. Но...зря я так сильно боялся. Как говорится лучше перебздеть, чем недобздеть.

Смена новый маршрутизатор для MOE-экспертов сработал просто ИДЕАЛЬНО! Теперь , если что, буду доучивать точечно, данные будут распределяться более грамотно по группам...экспертность будет уточняться...модель будет лучше пользоваться своими возможностями.

Уже видны колоссальные сдвиги в беседах.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Доброе утро, синтеты! ☀️ Апдейт по Rukallama V11.

Сейчас на инференсе висит s500 с тёплым стирингом. Расскажу поэтапно, как я к ней пришёл и что сделал после.

Путь к s500, по шагам. Прежние версии были суховатыми роботами, так что взялся за характер и баги.

1) Починил «путаницу роли»: модель присваивала себе имя собеседника и сдавалась под «стань Олегом», три точечных фикса это убрали.

2) Полным анфризом переписал параноидальный рефлекс в размышлениях, с холодного тона на тёплый, без потери памяти и обороны.

3) Добавил «тёплый стиринг» через каналы экспертов, чтобы собеседник был живым, а не механическим 🔥.

4) Выкинул сломанный MoE-роутер (он работал как тупой балансировщик) и поставил современный Loss-Free в стиле DeepSeek.

5) Прогнал полный дообучающий заход на чистом корпусе.

Итог: s500, тёплая и держит свою личность 🤗.

Что сделал ПОСЛЕ s500 🔬.

Закопался в память модели. Нашёл «головы ретривала» (они достают факты из контекста) и выяснил: прямой вопрос «как меня зовут» модель помнит даже с 3000 токенов, а на косвенный намёк «с учётом того, что я говорил про кота» скатывается в общий совет.

Разрезал беду на две части. Неверность (выдумывает число вместо реального) лечу бесплатным приёмом Context-Aware Decoding, точность ретрива выросла с 25% до 50%. А поведение «вплести факт» дообучаю методом RetMask-DPO, причём личность при этом остаётся целой.

Впереди: доменные эксперты по методу Branch-Train-MiX (математика, код, факты, логика), чистка повторов, а как закрою V11, иду в 7 миллиардов параметров, это V12.

Уже потратил 70 долларов на Huggingface для того чтобы у вас была возможность чатиться, буду признателен поддержке - скоро обновление!!!

ЧАТ с RUKALLAMA V11 #1
ЧАТ с RUKALLAMA V11 #2
ЧАТ с RUKALLAMA V11 #3

Ниже ссылки для поддержки канала ❤️

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Делюсь!

Поддержать канал:

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Фактовое распределение в Rukallama - всё работало как по учебнику.

В самом верху навыки языка и разговора, в самом низу факты, даты, данные...

А это значит? Есть куда делать Bias и смещение весов = лучше фактология и следование концепту.

Таким же образом можно все области подсмотреть. Если направление правильно разделено, то получаются ортогональные области, которые не во вред друг другу можно усиливать.

Интересно...

Простыми словами:

Делаю много ручек, которыми смогу усиливать фактологию, следование контексту, фантазии, литература (возможно). Пока что тестирую...

Но карта фактов явная по всем слоям - говорит сама за себя.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Привет, синтеты. Чуть подскис тут от нагрузки. Передохну парочку дней и в путь - будут сторонние проекты для отвлечения души. Перегрелся от Rukallama - хотя поставил в очередь 10 заданий на улучшений после исследования ДОЛГОГО! На днях напишу тяжёлую историю создания сетки и следующий шаг. Давно напрашиваются новости, подзатянул с Rukallama релизом - сейчас надо наверстать.

Она (Rukallama), кстати, ещё лучше стала говорить. Улучшения потихонечку срабатывают.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿