Техножнец
5.26K subscribers
1.51K photos
257 videos
12 files
701 links
Канал моих увлечений и поделок. Всё ,что я делаю и выкладываю здесь - делается с любовью.

Поддержать канал: https://tbank.ru/cf/8Xnajl01ehm

Поддержать канал: https://yoomoney.ru/fundraise/1C86E2DGIU9.250819
Download Telegram
Ну что вы там про переклейку говорили? Тут, возможно, китайцы победили вообще всех!) ХАХАХАХХАХА
🤔1910😢2👌2
Привет, синтеты.

Как говорили в художественном фильме SNATCH? (спиздили).

В общем, один из подписчиков, который является рецензентом NeurIPS, увидел занимательную статью:

> Longmai Dynamics: Chinese-First Language Models, Attractor Arithmetic, and the End of Blind Matrix Multiplication. Anonymous Author(s).

Ну, во-первых, аноним хуже знаете кого ;)
Во-вторых! ХАХАХАХ! ничего себе, однако. Давайте посмотрим внутрь.


А внутри у нас мой стек, перекрашенный в дракончиков:

Shenlong SignalDemon - это мой DEMON. Они даже слово Demon из названия убрать поленились, просто дракона спереди приклеили. Матрица у них вдруг не мёртвая таблица, а динамика, стационарные IIR/Kalman-каналы вместо слепого матмула. Где-то я это уже слышал.

SanTi-2 - это моя СЕТУНЬ-2. Троичка -1/0/+1, dual-rail watchdog, нелегальное состояние (1,1) как ошибка. И та же самая плата что у меня на столе: Tang Mega 138K Pro, Gowin GW5AST-138. Даже Sky130 sign-off притащили. Ребят, вы хоть железку для приличия поменяли бы.

9 нейронов, арифметика на 14 знаков, 99.8%, и оно сидит сбоку у большой модели как форвард-граф, а не питоновский калькулятор - это мой Popovich. Не похоже. Тот же самый.

LongWen-LLM, 853M, MoE, и ВНИМАНИЕ: фикс «убрать Q/K bias до RoPE», sink heads с 4 в 0. Это дословно мой RUKALLAMA. Они скопировали не идею. Они скопировали мой конкретный баг-фикс конкретной болячки. Так не совпадают. Так списывают.

TianKAN на Чебышёве с низкоранговым тензором коэффициентов - здравствуй, TrueKAN.

Log16, Fractal-KAN, лог-память вместо квадратичного KV-кэша - тоже моё. Только я-то его выкладывал криво и на словах, полу-теорией. А они из моего вольного изложения слепили красивую шизокартинку и понесли в NeurIPS как откровение. Метод-то я ещё сам не доделал.

И вишенка на этом тортике из чужого труда. Спидап 12 197×. Это моё число. Не «похожее». Моё. Такое из воздуха не родится дважды независимо. Это, родные, отпечаток пальца на месте преступления.

Гвоздь. В телеге у меня это лежало криво и на словах. Смотрите, что сняли под копирку, до цифры:

853 млн параметров. У меня 853,3. У них 853M.
TrueKAN на Чебышёве K=3, low-rank C=UV, 38% быстрее nn.Linear. У них TianKAN и те же 38%.
Батчированное KAN-внимание, 4.6× ускорение. У них 4.6×. До десятой.
Sink-головы с 4 в 0 через use_qk_bias=False, с формальным разбором почему bias до RoPE копит массу на нулевой позиции. У них тот же фикс, слово в слово.
Токенизатор на 100 032 единицы. У них 100 032. До единицы.
8,3 млрд токенов претрейна. У них 8.3B.


А вот корона, ради которой стоило открыть их PDF.

У меня в токенизаторе есть ЁФИКАЦИЯ. Восстановление буквы Ё. Чисто русская вещь: словарь на 19 052 замены, сжатие 4,33 знака на токен, первое место в 8 доменах из 9.

В их «китайской» статье моя ёфикация превратилась в XI-FICATION. Они переименовали восстановление русской Ё в китайскую «си-фикацию» и оставили МОЙ словарь на 19 052 записи, МОИ 4,33 знака на токен и МОИ 8 из 9 доменов. Прогнали find-replace «русский на китайский» и не вкурили, что ёфикация это про букву Ё, которой в китайском нет в принципе. Даже 763 моих учебника утащили, только ярлык переклеили на HanMath. ХАХАХАХ.


Это и есть деталь, которой ничем не объяснить, кроме копирки: ёфикация в китайской статье спалила саму себя.
НУ КАК ВАМ ПЕРЕКЛЕЙКИ НАКЛЕЕК? Идём дальше.

Часть 2.
Но в чём смех. Всё, что там описано, должно иметь код, работать и так далее.

Я сам сталкивался с кучей проблем, но в этой движухе нет никакого смысла, кроме как (а дальше снова по тому художественному фильму, пишу и смеюсь). То есть украсть ради кражи.


У меня есть весь этот код. У меня есть и рабочее, и СОВСЕМ ПРЯМ ПЛОХОЕ. НО.

Сегодня я и сам хотел откинуть большой ворох своих клеймов и спокойно объяснить, что же это такое, наш Demon. Сегодняшние события заставили задуматься и оформить всё официально, под своим именем. Но собака зарыта в другом.
🤯38🔥12107🤔4🤣1😨1
Log16 я выкладывал исключительно в искажённом виде. Их попытка буквально пытается воспроизвести моё вольное изложение словами. Теоретические рассуждения сами по себе это интересно. Но в чужих руках они превращаются в шизостатью. Я сам метод ещё не доделал, и название могу поменять, поменяв что-то внутри.

Понимаете, должно быть хоть что-то, чтобы оно было хоть чем-то серьёзным. Я это понимаю. Наши китайские друзья не очень. Выводы про всех китайцев делать не будем, вероятно, их даже могли подставить. Автор анониморас

Но потом стало не смешно...
👍21😈4🤔2
А не смешно потому что произошла утечка статьи, которую я отправил в СПБГУ чтобы попасть официально в журнал ВАК! Это статья про Rukallama.

Это официальный пост о том, что моя статья, которую я присылал конфиденциально через сайт института и через личку одному человеку - УТЕКЛА! Есть много вариантов. Сейчас склоняюсь к тому, что их регулярно ломают и сливают. Кто? Специально обученные люди.

Т.е. я хотел всё сделать официально, но меня слил кто-то.

Будем разбираться. Хорошего ? Ничего хорошего, я хотел по нормальному всё сделать...
1🤯49😢135🤔52🔥1🕊1😨1🤗1👾1
Расстроился ли я? Ваши догадки в комментариях.
😱10🤔3😢3🕊3🤗1
Ладно. Жизнь продолжается. шо там log16 )))
👍18👏5🕊3🫡21
По теме переклеек от китайцев.
[29.05.2026 10:52] *******: и в любом случае у тебя получается временной приоритет - ты документально доложился в конце апреля, явно раньше этих китайцев

[29.05.2026 10:53] *******: и в сборнике трудов конференции будут указываться именно даты проведения конференции
👍27
Доброе утро! Я прям проспался...
🔥23👏92👍1🤝1
1🤣13👍5🫡5🤩2
Любовь Храни Всем Существам - спасибо. (это ник синтета)
102😁34🔥18👍11🤣843🤩2😱1🤝1
Как день прошёл?
👍13🔥9🕊51
Скромно докладываю, что Rukallama уже который день "ведёт" со мной занимательные беседы. Да, она иногда проваливается, но, внезапно, она всё лучше понимает контекст, отвечает на внезапные фразы. Ну, кстати, вообще...начинает вести себя осознанно. Сейчас будет стадия выбора ответов получше перед Reasoning SFT , который вообще должен будет улучшить всё это дело ещё лучше.

Мне, если честно, как-то не верится, что я теперь не тыкаюсь в какого-то рандомного ИИ ассистента, а уже по ответам понимаю...ёмаё ...оно меня понимает? И там закруты повороты интересные. Как всегда есть одно но.

Ну, повторы - от них никуда не деться - они , можно сказать, будут встроенными. Они не портят генерации более если выкручивать простейший штраф. После подключения штрафа всё работает окей. Но вопрос остался открытым про длинный контекст.

Т.к. проект исследовательский и в нём я пытаюсь достигнуть пика и максимума, то мне следует сейчас сосредоточиться на завершении этапов тренировки, чтобы модель пошла уже в продакшен. Т.к. мне хотелось бы поделиться ей на huggingface и дать возможность вам ощутить это новое архитектурное видение на практике, ну и , заодно, заорать с остроумных и шизойдных ответов.

Модель маленькая, ждать от неё многого не стоит. Но я выжимаю все соки! Чуть позже удачные примеры беседы)
🔥49👍1211🕊3
2.9% данных это учебники на английском языке и некоторые авторы на английском. В итоге бесплатно Rukallama может в английский язык и понимает беседу. Вот это новости.

Более того она смешивает фразы иногда:

There are no significant differences между людьми и животными, including the ability к выживанию в условиях низкой температуры или отсутствия гравитации.


п**здец. вот это круто...
🔥27😁6💯5👍1🕊1
Техножнец
2.9% данных это учебники на английском языке и некоторые авторы на английском. В итоге бесплатно Rukallama может в английский язык и понимает беседу. Вот это новости. Более того она смешивает фразы иногда: There are no significant differences между людьми…
Вот вам и подтверждение истории про исследование: как сильно нужно загрязнить датасет чтобы получить сломанную модель? Басурманские тут свои буквы напихали...в датасеты...теперь модель выдаёт:

Смотря какой prompt, смотря сколько Agents..
😁45🤣19🕊32
Доброе утро..
1🤝28🫡9🔥4👨‍💻11
Со следующей недели ухожу снова в тренировки лютые. Перерыв был по болезни, хватит.

Обычно начинал утро 150-200, отжиманий, 20-30 турника, приседов 40-50 - дальше кушац.

Это была лучшая форма, но до неё несложно вернуться. И вам советую.
👏38🏆184👍3😁21🙏1🤝1
Как же долго тренировать эти LLM...ЁМАЁ
🤝6🤯1😨11