📜 ОХ, сколько нового я узнал пока начал вести паблик и заниматься тем, чем занимаюсь.

Уважаемские, я вам опережая ваши советы и так далее сообщу: я с 2005 года в онлайне и выкладываю своё творчество на форумы, а потом далее выкладываю своё творчество на площадки с дистрибьюцией и реальными релизами в магазинах, т.е. на открытый суд общественности. У меня ОГРОМНОЕ количество опыта по работе со стрессовыми товарищами, огромное количество пройденных форумных войн и баталий, пару тройку разоблачений от он вам не Паперклип и до каких-то вообще шизофренических атак. Сталкивался с хейтом целых сообществ и так далее. В этом для меня нет ничего нового.

━━━━━━━━━━━━━━━━

❤️ Щас буду о новом

А вот нового прилетело... ух. Тут есть в IT такая тема, что все, кто хоть какой-то более или менее нормальный институт окончили, уже предпочитают относиться к самим себе с регалиями. Регалии в теме науки и инженерки = важная вещь. Какой бы ты ебанутый дурак не был, но если у тебя куча статей, которые цитируемые, и вообще ты популярный в среде... то будь ты хоть Перельман, ты будешь уважаемым, каким бы странным ты не был... Но это работает и в другую очень интересную сторону.

━━━━━━━━━━━━━━━━

🎓 Как это выглядит

Уже не в первый раз заметил, что люди могут окончить престижное учебное заведение, а потом по жизни улететь вообще в другие дебри толком не имея прикладного труда по профильному образованию... болтаются они так десяток лет, а потом приходят к тебе на твои посты компенсироваться. Как происходит компенсация?

"Круто, но зачем?"
"Для кого это делается?"
"Чем это мне поможет в моей работе?"
"Ты зря тратишь время, лучше сделай это и вот это"

У людей знания зависают на уровне когда они окончили свой путь образовательный именно в институте. Но путь продолжается... жаль, что не для них. Звучит это примерно так:

> «Credentialed bystander», обладатель формального диплома, который никогда не превратился в практику. По-русски точного термина нет, но психологически это «вечный сертификат»: человек, для которого диплом, выпуск, регалия, это финальная точка, а не стартовая. После выпуска практика остановилась, но право судить осталось.

━━━━━━━━━━━━━━━━

😒 Самое убогое

Это смотрится со стороны очень жалко и некрасиво. А знаете, что самое убогое?

К тебе потом приходят в личку объяснять, что ты не прав во всём. Не прав как ты дышишь, не прав как ты смотришь, не прав как ты сидишь... хотя до этого человек описывает тебе насколько ты важен для чего-то там...

━━━━━━━━━━━━━━━━

🛡 Совет синтетам

Уважаемские синтеты. Я уверен, что когда-нибудь у вас будет свой собственный онлайн проект, который вы будете вести самостоятельно или с чьей-то помощью (будь-то ИИ или люди помощники).

НЕ ВЕДИТЕСЬ НА ТАКИХ ЛЮДЕЙ! Оставайтесь спокойными, дышите ровно.

Ваша задача, делать своё дело и выкладывать посты. Если в постах нет: мата, 18+, оскорблений, ложных заявлений = любые претензии это агрессия в ваш адрес.

━━━━━━━━━━━━━━━━

📚 Критика vs наезд

Критика не является агрессией в ваш адрес. Если вы не воспринимаете критику, то вам большая рекомендация почитать больше книг, чтобы различать критику от наездов. Для вас, кто критику не приемлет, просто разницы между наездом, оскорблением и критикой не существует.

Критика = полезно
Маскировка понтов и наездов под критику = говнина

━━━━━━━━━━━━━━━━

🧘 Берегите себя от шизойдов и ретроспективщиков.

P.S. Узнали такого у себя в сообществе? Даже не разговаривайте = бан!

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Собрать кубик рубика...тут просто созвон такой важный произошёл. С уважаемым математиком...там непосредственная связь с советским математическим наследием. Общаемся вот...вчера 3 часа пролетели...и вот сегодня точно также 3.5.

Сижу думаю. Собрать кубик рубика нейронной моделью. И там идея, конечно...ёмаё.
Кстати, на удивление взаимопонимание на 1000%, не было дискомфорта и кринжа во время общения (с моей стороны, конечно же)...чему я очень рад, ибо переживаешь когда такое.

P.S. Синдром самозванца тоже звонит складно и часто. Но не об этом пост...кубик рубика, значит...угу...

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Помните GPT-2? Оно выросло в монстра...чуть позже опишу все детальнейшие детали, но то, что я вижу...у меня отвисает челюсть. это просто жесть какая-то. То, что внутри двигает логиты к правильным ответам это работает как длинный обучающий 1 shot для модели будто она уловила глубокий контекст и поняла суть того, что от неё хотят. Выглядит - НЕВЕРОЯТНО!

Щас будут бенчмарки.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Доброе утро. Словил ограничение Claude везде по сессиям. Но останавливаться не буду капитально, Rukallama тренирую дальше. Свои части разбираю. Но, возможно, это знак...до воскресенья попытаться жить как человек.

А можете хрен класть на это и дальше чтобы всё двигалось кидать в топку Я ПОПОЛНЯЮ СЧЕТ И ВАЛИМ ДАЛЬШЕ ЛОЛ (случай определит)

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Отчёт:

Rukallama - очень мило начала отвечать. На вопрос: "Что ты напишешь людям в письме если у тебя будет возможность пообщаться с людьми 1000 лет назад, что ты им скажешь? Даёт ответ: "А как я собираюсь это сделать? Зачем вы мне предлагаете такое? Я не буду выполнять." (пререкается, ишь..)

Qwen3:0,6b - Математический проект, встал из-за очереди обучения и дороговизны файн-тюнинга на колабе (+ головняк со сборкой). В ожидании GPU!

GPT-2 + Adapter (Tool Calling) - Работает как надо, сохраняет части кода если попросить, логиты внутри модели двигаются интенсивнее, чем я предполагал, модель получая логиты по нужной теме начинает мимикрировать и старается себя вести так буд-то её до обучали инструкциям. Удивительное поведение. Отчёты выложу как только доделаю всё до конца - там и веса выложу и всё остальное, чтобы вы могли прикоснуться к этому и протестировать модель в боевой мини задачке + пройти сами бенчмарки.

Игры:

Князь Один - в разработке - модельки, ассеты, сюжетка, персонажи.
OpenCraft - модельки в разработке , далее предстоит пилить баланс и делать мультиплейер и серверную часть.
Подвальный Гоп - 3D RPG в стиле Might & Magic старого образца, но некий гидрид, интересная система ходов (всё двигается пока двигаешься ты). Пошаговые элементы, прокачка персонажей, диалоги. Игра находится в стадии разработки.
Denis3D - проект заморожен из-за тяжести реализации, но скорее всего будет выложен в свободный доступ чтобы развивать игру совместно.

Научная деятельность \ Математика:

На данный момент готовлю полные статьи для печати в журнале СПИСОК:
1) TrueKAN 853млн Русская Языковая модель на полиномах Чебышёва в стиле Колмогорова-Арнольда
2) Датасет: Методология и Сборка
3) PromeTorch: NCM4 Проект по созданию фреймворка для тренировки на железе, где это не предусмотрено.

Реальные названия статей будут позже.

На меня вышел зам. глав. редактора научного журнала (детали сказать не могу), который состоит в ВАК и числится статьями в международных научных каталогах. Т.е. при написании туда статьи - официально печатаешься и в мировом каталоге. Предложил сотрудничество и сказал, что можно публиковать столько статей, сколько будет научных. Я уже вовсю этим занят, конечно же.

Расписание Баумана готовое! Согласование в процессе, вроде как , возможно, будет кое над каким новым проектом работать.

Также очень приятный контакт был с Шалыто (ИТМО), Крохалёвым (СПБГУ), Кириллом Ерохиным и многими другими людьми, которые непосредственно связаны с математикой и движениями.

Из советской элиты математиков со мной на контакте один очень мощный человек. Если подробнее, то он из тусовки Гельфанда, сам себя называет по мат крови "родственником" Колмогорова, но это всё одна тусовка изначально и они все там друг друга так или иначе знавали и взаимодействовали. И вот теперь у нас идёт взаимодействие. Самое интересное, что у этого замечательного специалиста работы есть последние, включая его книгу ...и там многое пересекается с Демоном...а когда я разобрал детально , то вышло, что у него есть вся теоретическая выкладка включая некоторые вычисления, но не было полноценной сборки без моего демона...и если мы правильно скооперируемся, то сможем закрыть проблемные места в теории и практики друг друга (УДИВИТЕЛЬНАЯ ФИГНА НА САМОМ ДЕЛЕ, ТАМ ПРЯМ СОВПАДЕНИЕ ПРОСТО ППЦ, БУДТО ДОГОВОРИЛИСЬ). Из всей беседы с этим мощным специалистом я понял, что я не шизофреник и моя тема с Демоном не высосана из пальца и реально под собой имеет обоснования. Мы на связи, работаем.

1 Проект мы уже реализовали. Сетка кастомная на квадратичных слоях с кристаллизованными и детерминированными решениями кубика в нейронах. И оно сработало ( с оговорками ).

Работа?

Ну, появился кое-какой проект, куда я уже вписался и мы будем работать в течение полугода. Стабильности это , конечно же, прибавит. Причём я открыт для ещё нескольких проектов для взаимодействия и работы. Агентские системы - моя стезя.


Просто продолжается всё...и пусть продолжается.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Что происходит на каждый сгенерированный токен

1. У нас prompt + token_index
2. Forward через все 12 слоёв GPT-2 (frozen): embed → L0 → L1 → L2 → L3 → L4 → L5 → h6 → ...
3. На уровне L6 (наш adapter):

- получает h6 (768-dim hidden state)
- вычисляет delta (через learned W_steer)
- вычисляет direction_vector (если активна)
- h6_new = h6 + α_adapter * delta + α_direction * direction

4. h6_new идёт дальше: L7 → L8 → ... → L11 → ln_f
5. Финальный hidden state * wte.T = vocab_logits (50257 чисел)
6. argmax(vocab_logits) = next token
7. Append next_token → repeat

GPT-2 САМА генерирует — argmax/sample из её vocab_logits. Но эти logits зависят от hidden states которые мы подкручиваем на L6.

Что физически "подкручивается"

- vocab_logits[token_id] = final_hidden_state · wte_embedding[token_id]
- Скалярное произведение
- Мы изменили final_hidden_state (через L6 modification + propagation через L7-L11)
- → vocab_logits для каждого token изменены пропорционально

Например, без modification:

vocab_logits[" send_email"] = 8.2
vocab_logits[" calculate"] = 6.1
vocab_logits[" the"] = 3.4

С добавленным direction_function_call:

vocab_logits[" send_email"] = 12.5 ← вырос потому что direction двигает к "function names"
vocab_logits[" calculate"] = 9.8
vocab_logits[" the"] = 1.2 ← упал потому что direction отдаляет от prose

argmax →  send_email вместо  the.

"Контекст в нужную сторону"

- Контекст = hidden states каждого токена в каждом слое (не только L6 — но L6 ключевой)
- Мы модифицируем L6 hidden state → дальше L7-L11 строят свои hidden states из модифицированного L6 → каскадный эффект

Так что:
- ✅ GPT-2 реально генерирует (выходит токенами как обычно)
- ✅ Мы реально подсовываем logits через модификацию hidden states
- ✅ Контекст реально смещается потому что L7-L11 видят modified L6 и создают modified L7..L11

Это не трюк, это буквально математическая операция в forward pass.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Синтеты, объясняю на пальцах — что мы делаем с GPT-2

Представьте GPT-2 как подземный завод по производству слов. На входе — ваш вопрос, на выходе — ответ слово за словом. Внутри 12 этажей, на каждом сигнал обрабатывается всё абстрактнее. На нижних — буквы и грамматика. На верхних — уже мысли типа «здесь нужна команда», «дальше имя функции».

Модель никто не трогает. Замороженная, веса 2019 года, как OpenAI выложила. Мы её не учим — это сотни тысяч долларов на железе.

Что мы делаем

На 6-м этаже (середина завода) поставили приборчик-адаптер. Размером 0.13% от всей модели. Как бирка на ошейнике у слона.

Он подталкивает мышление модели на лету, на каждое слово.

Идёте по лесу к озеру. Кто-то шепчет «бери левее». Сами идёте, сами выбираете куда наступить, но направление подкручено. К озеру дойдёте, но другим путём.

Адаптер — это шёпот. Модель сама генерирует слова, сама решает. Но слышит подсказку: «здесь команда, не текст», «здесь имя функции», «здесь JSON, не проза».

Как это на одно слово

Модель выставляет оценки всем 50 257 словам:

send_email → 8.2
calculate  → 6.1
the        → 3.4

Берёт максимум → выдаёт «the». Скучно.

С адаптером шепнули «нужна команда»:

send_email → 12.5  ← подняли
calculate  → 9.8
the        → 1.2   ← опустили

Максимум теперь «send_email». Вызов функции готов.

Мы не меняли мозг. Изменили промежуточный сигнал на 6-м этаже, правка прокатилась через этажи 7-11, каждый учёл подсказку. На выходе модель сама выдала нужное.

Зачем это всё

Обычный путь — дообучить GPT-2 на новых данных:
- сотни тысяч долларов
- недели тренировки
- забывает старое пока учит новое
- результат посредственный

Наш путь: не трогаем модель. Учим адаптер на 174 тысячи параметров (0.13% модели). Он учится подталкивать, а не переделывать.

Старая модель 2019 года с заморозкой и микроскопическим адаптером — 94.92% точности на задачах которых не видела. На вызовах функций — которым её никто никогда не учил.

Это не магия

Буквально математическая операция в одной точке обработки сигнала. Скалярное произведение между нашим сдвигом и финальным состоянием модели. Всё.

Старая модель + крошечный адаптер = новый класс задач. Без переобучения. Без тонн железа. Без миллионных датасетов.

Винтажный движок 2019-го едет на новой топливной смеси и обгоняет машины 2025-го.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com