🔬 PromeTorch на Эльбрус 8C2: 10 LLM, ускорение ×3-6 над llama.cpp

Закончил отчёт по запуску современных языковых моделей на отечественном процессоре.

━━━━━━━━━━━━━━━━

🖥 Платформа

Эльбрус-8С2 от МЦСТ — VLIW-процессор, 8 ядер на 1.5 ГГц, 4 канала DDR4 по NUMA-узлам, 125 ГБ. Своя система команд e2k, компилятор LCC, SIMD через интринсики. Никакого x86, никакого AVX2. Из готового — проприетарная EML для линейной алгебры.

━━━━━━━━━━━━━━━━

📜 Что было до

Один публичный порт LLM — llama.cpp-e2k от alexmihalyk23. Только legacy: LLaMA-1, Vicuna, Pygmalion (≤2023). qwen3, gemma3, phi3 (2024-2025) не поддерживаются.

Smart Engines делают CV для Эльбруса (паспорт, томография), но не LLM. На Habr 752138 в 2023 показывали Stable Diffusion на 8СВ, но через GPU-fallback на Radeon.

Современные LLM на CPU Эльбруса публично не запускались никем.

━━━━━━━━━━━━━━━━

⚙️ Что сделано

PromeTorch — header-only C++17 inference под e2k, ~95 тыс. строк. GGUF Q4_K/Q5_K/Q6_K/Q8_0, zero-copy mmap, GEMV, RoPE (NORM/NeoX), KV-cache, attention с GQA и SWA, 4-процессное тензорное распараллеливание через POSIX shared memory AllReduce, speculative decode.

Запущены 10 моделей 2024-2025: qwen3 1.7B/4B/8B/14B, qwen2.5-7B, mistral-7B, gemma3-4B, phi3.5-mini, llama3-8B, deepseek-coder-7B.

━━━━━━━━━━━━━━━━

📊 Цифры на 8С2

qwen3-1.7B   TP-4   17.1 ток/с   ×6.3
qwen3-4B     TP-4   10.9 ток/с   ×6.0
gemma3-4B    TP-4    6.7 ток/с   ×5.2
mistral-7B   TP-4    8.5 ток/с   ×4.9
phi3.5-mini  TP-4    6.4 ток/с   ×3.1

Сравнение честное — то же железо, baseline llama.cpp v3 с numactl --interleave=all, 32 потока. Русский сохранён везде, qwen3-4B/14B держат CoT.

━━━━━━━━━━━━━━━━

🚀 Побочное

NUMA-aware распределение поднимает EML matmul с 324 до 1840 GFLOPS — 92% теоретического пика DDR4. Прирост ×5.7 за счёт node-local привязки.

━━━━━━━━━━━━━━━━

🤝 Сотрудничество

Работу разобрал Константин Трушкин (МЦСТ). Предложил расширить в архитектурное моделирование: снять профиль и через симуляцию посчитать эффект от введения в будущие Эльбрусы нативной арифметики int4/int8 и спецопераций.

Отдельный трек — сравнение классики с KAN-нейронами (Колмогоров-Арнольд) на той же задаче. По KAN у меня отдельная линия работ.

━━━━━━━━━━━━━━━━

📦 Открытое

github.com/barometech/PromeTorch

Open source, без проприетарного кроме EML (есть SIMD-fallback с ~30% деградацией). Скрипты регрессии, флаги воспроизведения, 10 GGUF верифицированы.

━━━━━━━━━━━━━━━━

Спасибо МЦСТ за платформу, alexmihalyk23 за предыдущий порт, авторам Habr 752138 за точку отсчёта. Отдельно Константину Трушкину.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
На СБП? В личку: ЛИЧКА

на данном этапе я этот вопрос немножко отпускаю. обновления будут чуть пореже по PromeTorch. Итак непрерывно работал с агентами более чем полтора месяца. У меня всё отсыхает наглухо уже всё...включая мозги. Надо перевести дух!

Я вернул Rukallama вновь в тренировку. Все изыскания, которые вы видели это были - Виртуальная Машина + Моя рабочая станция + ЦПУ! Сейчас на рабочей станции всё, что касается проектов с QWEN Математикой и GPT-2 На стеройдах переведено на CPU - поэтому обновления будут чуть дольше.

Зато у нас будет подрастать Rukallama со здравыми весами V11 и мы снова будем видеть интерактивности с ней.
Я сам уже очень хочу довести до конца, постараюсь не отвлекаться - но мне сложно (смотрите какие полезные вещи появляются).

P.S. Следующее будет адаптация отечественных моделей под Эльбрусы, НТЦ Нейроматриксы и , возможно, других производителей.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

📜 ОХ, сколько нового я узнал пока начал вести паблик и заниматься тем, чем занимаюсь.

Уважаемские, я вам опережая ваши советы и так далее сообщу: я с 2005 года в онлайне и выкладываю своё творчество на форумы, а потом далее выкладываю своё творчество на площадки с дистрибьюцией и реальными релизами в магазинах, т.е. на открытый суд общественности. У меня ОГРОМНОЕ количество опыта по работе со стрессовыми товарищами, огромное количество пройденных форумных войн и баталий, пару тройку разоблачений от он вам не Паперклип и до каких-то вообще шизофренических атак. Сталкивался с хейтом целых сообществ и так далее. В этом для меня нет ничего нового.

━━━━━━━━━━━━━━━━

❤️ Щас буду о новом

А вот нового прилетело... ух. Тут есть в IT такая тема, что все, кто хоть какой-то более или менее нормальный институт окончили, уже предпочитают относиться к самим себе с регалиями. Регалии в теме науки и инженерки = важная вещь. Какой бы ты ебанутый дурак не был, но если у тебя куча статей, которые цитируемые, и вообще ты популярный в среде... то будь ты хоть Перельман, ты будешь уважаемым, каким бы странным ты не был... Но это работает и в другую очень интересную сторону.

━━━━━━━━━━━━━━━━

🎓 Как это выглядит

Уже не в первый раз заметил, что люди могут окончить престижное учебное заведение, а потом по жизни улететь вообще в другие дебри толком не имея прикладного труда по профильному образованию... болтаются они так десяток лет, а потом приходят к тебе на твои посты компенсироваться. Как происходит компенсация?

"Круто, но зачем?"
"Для кого это делается?"
"Чем это мне поможет в моей работе?"
"Ты зря тратишь время, лучше сделай это и вот это"

У людей знания зависают на уровне когда они окончили свой путь образовательный именно в институте. Но путь продолжается... жаль, что не для них. Звучит это примерно так:

> «Credentialed bystander», обладатель формального диплома, который никогда не превратился в практику. По-русски точного термина нет, но психологически это «вечный сертификат»: человек, для которого диплом, выпуск, регалия, это финальная точка, а не стартовая. После выпуска практика остановилась, но право судить осталось.

━━━━━━━━━━━━━━━━

😒 Самое убогое

Это смотрится со стороны очень жалко и некрасиво. А знаете, что самое убогое?

К тебе потом приходят в личку объяснять, что ты не прав во всём. Не прав как ты дышишь, не прав как ты смотришь, не прав как ты сидишь... хотя до этого человек описывает тебе насколько ты важен для чего-то там...

━━━━━━━━━━━━━━━━

🛡 Совет синтетам

Уважаемские синтеты. Я уверен, что когда-нибудь у вас будет свой собственный онлайн проект, который вы будете вести самостоятельно или с чьей-то помощью (будь-то ИИ или люди помощники).

НЕ ВЕДИТЕСЬ НА ТАКИХ ЛЮДЕЙ! Оставайтесь спокойными, дышите ровно.

Ваша задача, делать своё дело и выкладывать посты. Если в постах нет: мата, 18+, оскорблений, ложных заявлений = любые претензии это агрессия в ваш адрес.

━━━━━━━━━━━━━━━━

📚 Критика vs наезд

Критика не является агрессией в ваш адрес. Если вы не воспринимаете критику, то вам большая рекомендация почитать больше книг, чтобы различать критику от наездов. Для вас, кто критику не приемлет, просто разницы между наездом, оскорблением и критикой не существует.

Критика = полезно
Маскировка понтов и наездов под критику = говнина

━━━━━━━━━━━━━━━━

🧘 Берегите себя от шизойдов и ретроспективщиков.

P.S. Узнали такого у себя в сообществе? Даже не разговаривайте = бан!

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Собрать кубик рубика...тут просто созвон такой важный произошёл. С уважаемым математиком...там непосредственная связь с советским математическим наследием. Общаемся вот...вчера 3 часа пролетели...и вот сегодня точно также 3.5.

Сижу думаю. Собрать кубик рубика нейронной моделью. И там идея, конечно...ёмаё.
Кстати, на удивление взаимопонимание на 1000%, не было дискомфорта и кринжа во время общения (с моей стороны, конечно же)...чему я очень рад, ибо переживаешь когда такое.

P.S. Синдром самозванца тоже звонит складно и часто. Но не об этом пост...кубик рубика, значит...угу...

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Помните GPT-2? Оно выросло в монстра...чуть позже опишу все детальнейшие детали, но то, что я вижу...у меня отвисает челюсть. это просто жесть какая-то. То, что внутри двигает логиты к правильным ответам это работает как длинный обучающий 1 shot для модели будто она уловила глубокий контекст и поняла суть того, что от неё хотят. Выглядит - НЕВЕРОЯТНО!

Щас будут бенчмарки.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Доброе утро. Словил ограничение Claude везде по сессиям. Но останавливаться не буду капитально, Rukallama тренирую дальше. Свои части разбираю. Но, возможно, это знак...до воскресенья попытаться жить как человек.

А можете хрен класть на это и дальше чтобы всё двигалось кидать в топку Я ПОПОЛНЯЮ СЧЕТ И ВАЛИМ ДАЛЬШЕ ЛОЛ (случай определит)

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Отчёт:

Rukallama - очень мило начала отвечать. На вопрос: "Что ты напишешь людям в письме если у тебя будет возможность пообщаться с людьми 1000 лет назад, что ты им скажешь? Даёт ответ: "А как я собираюсь это сделать? Зачем вы мне предлагаете такое? Я не буду выполнять." (пререкается, ишь..)

Qwen3:0,6b - Математический проект, встал из-за очереди обучения и дороговизны файн-тюнинга на колабе (+ головняк со сборкой). В ожидании GPU!

GPT-2 + Adapter (Tool Calling) - Работает как надо, сохраняет части кода если попросить, логиты внутри модели двигаются интенсивнее, чем я предполагал, модель получая логиты по нужной теме начинает мимикрировать и старается себя вести так буд-то её до обучали инструкциям. Удивительное поведение. Отчёты выложу как только доделаю всё до конца - там и веса выложу и всё остальное, чтобы вы могли прикоснуться к этому и протестировать модель в боевой мини задачке + пройти сами бенчмарки.

Игры:

Князь Один - в разработке - модельки, ассеты, сюжетка, персонажи.
OpenCraft - модельки в разработке , далее предстоит пилить баланс и делать мультиплейер и серверную часть.
Подвальный Гоп - 3D RPG в стиле Might & Magic старого образца, но некий гидрид, интересная система ходов (всё двигается пока двигаешься ты). Пошаговые элементы, прокачка персонажей, диалоги. Игра находится в стадии разработки.
Denis3D - проект заморожен из-за тяжести реализации, но скорее всего будет выложен в свободный доступ чтобы развивать игру совместно.

Научная деятельность \ Математика:

На данный момент готовлю полные статьи для печати в журнале СПИСОК:
1) TrueKAN 853млн Русская Языковая модель на полиномах Чебышёва в стиле Колмогорова-Арнольда
2) Датасет: Методология и Сборка
3) PromeTorch: NCM4 Проект по созданию фреймворка для тренировки на железе, где это не предусмотрено.

Реальные названия статей будут позже.

На меня вышел зам. глав. редактора научного журнала (детали сказать не могу), который состоит в ВАК и числится статьями в международных научных каталогах. Т.е. при написании туда статьи - официально печатаешься и в мировом каталоге. Предложил сотрудничество и сказал, что можно публиковать столько статей, сколько будет научных. Я уже вовсю этим занят, конечно же.

Расписание Баумана готовое! Согласование в процессе, вроде как , возможно, будет кое над каким новым проектом работать.

Также очень приятный контакт был с Шалыто (ИТМО), Крохалёвым (СПБГУ), Кириллом Ерохиным и многими другими людьми, которые непосредственно связаны с математикой и движениями.

Из советской элиты математиков со мной на контакте один очень мощный человек. Если подробнее, то он из тусовки Гельфанда, сам себя называет по мат крови "родственником" Колмогорова, но это всё одна тусовка изначально и они все там друг друга так или иначе знавали и взаимодействовали. И вот теперь у нас идёт взаимодействие. Самое интересное, что у этого замечательного специалиста работы есть последние, включая его книгу ...и там многое пересекается с Демоном...а когда я разобрал детально , то вышло, что у него есть вся теоретическая выкладка включая некоторые вычисления, но не было полноценной сборки без моего демона...и если мы правильно скооперируемся, то сможем закрыть проблемные места в теории и практики друг друга (УДИВИТЕЛЬНАЯ ФИГНА НА САМОМ ДЕЛЕ, ТАМ ПРЯМ СОВПАДЕНИЕ ПРОСТО ППЦ, БУДТО ДОГОВОРИЛИСЬ). Из всей беседы с этим мощным специалистом я понял, что я не шизофреник и моя тема с Демоном не высосана из пальца и реально под собой имеет обоснования. Мы на связи, работаем.

1 Проект мы уже реализовали. Сетка кастомная на квадратичных слоях с кристаллизованными и детерминированными решениями кубика в нейронах. И оно сработало ( с оговорками ).

Работа?

Ну, появился кое-какой проект, куда я уже вписался и мы будем работать в течение полугода. Стабильности это , конечно же, прибавит. Причём я открыт для ещё нескольких проектов для взаимодействия и работы. Агентские системы - моя стезя.


Просто продолжается всё...и пусть продолжается.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com