🔥 PromeTorch — свой PyTorch с нуля за 5 недель

🔗 GitHub: github.com/barometech/PromeTorch

Один разработчик. Россия. C++17/CUDA. 137 000 строк. Нативно собирается и работает на Эльбрус E8C2 (VLIW), НТЦ Модуль NM Card Mini и NVIDIA A100.

━━━━━━━━━━━━━━━━━━━━

TL;DR для простых людей:
Если коротко — это альтернатива PyTorch. На ней можно обучать нейросети и запускать LLM. Главное: работает на российских чипах. Не эмуляция, не обёртка — нативная сборка, верифицированная на железе.

TL;DR для спецов:
~35–45% практической площади PyTorch, runtime-verified на реальном железе. Real BFS autograd (не trace-based), 119 backward functions, forward-mode AD, vmap, double backward, gradient checkpointing, hooks. 16 оптимизаторов, 16 LR schedulers, 64+ NN модулей. 720+ gtest.

━━━━━━━━━━━━━━━━━━━━

📊 Inference на A100-SXM4-40GB (Ollama-compatible)

qwen3:4b 82.6 tok/s (50% от Ollama)
gemma3:4b 81.4 tok/s (56%)
deepseek-r1:8b 51.1 tok/s (40%)

10-мин stress: 46.5 tok/s ±0.19. Peak 25.4 GB VRAM / 135 W.

📊 Training на CPU vs PyTorch 2.6 (10 задач)

Все MNIST — match within 0.5pp. LSTM seq cls +1.56pp. VAE MNIST 50 эпох — на 0.35 nats tighter чем PyTorch на identical arch.

📊 Российское железо

- Эльбрус E8C2 — production, MNIST 6.1× быстрее PyTorch 2.7.1 на этой задаче, EML_MT BLAS 1840 GFLOPS (92% пика), NUMA-aware, 4 процесса × 8 ядер Local SGD. 38/38 тестов.
- NM Card Mini K1879VM8YA — emulator production + 1-core real, MNIST MLP 88.94% на Q16.16 fixed-point. 32/32 тестов.
- NM Quad (4×NM6408, 64 NMC4) — 16 cores stable, 100× SIMD.
- Байкал-М/С — cross-compile готов.

🧩 Стек

Ядро: c10 (Allocator/Device/Storage/TensorImpl) + ATen ~150 tensor ops. Dtype dispatch: FP32/64, Half, BFloat16, FP8 e4m3fn/e5m2, Complex, Bool, int8-64.

Autograd: real BFS engine, 119 backward functions, register_hook, anomaly detection, create_graph=True, forward-mode AD (dual numbers + JVP), single-axis bit-exact vmap.

NN (64+): Linear/Bilinear/LazyLinear, Conv1d/2d/3d + ConvTranspose2d, 20+ активаций, BatchNorm/LayerNorm/RMSNorm/GroupNorm/InstanceNorm, RNN/LSTM/GRU, TransformerEncoder/Decoder/MultiheadAttention, 12 loss functions (включая полный CTC Graves DP), PIR architecture (Mamba-родственник).

Optim: SGD, Adam, AdamW, RMSprop, Adagrad, Adadelta, Adamax, AdamKiller, ASGD, Lion, SophiaG, LAMB, Adafactor, NAdam, RAdam, LBFGS + ParamGroups + EMA + clip_grad.

Distributed: real TCP DDP, FSDP/ZeRO-3 bit-exact, TensorParallel, Pipeline (GPipe + 1F1B), DDP.no_sync, ZeRO-Offload.

Export/interop: ONNX (zero-dep manual protobuf, проходит onnx.checker), MLIR (tosa + linalg), torch.jit.compile (trace + fusion + C++ codegen), bi-directional .pt I/O.

Shims: HuggingFace (AutoModel.from_pretrained для Bert/GPT2/Llama + safetensors), torchvision, torchaudio (STFT max |err| 1.79e-7), torchtext, Lightning Trainer.

Serving — PromeServe: Ollama-compatible API, GGUF loader (Q4_K_M, Q5_K_M, Q6_K, Q8_0, F16, F32), flash-decode + CUDA Graph + paged KV, production guardrails.

🗂 Что не закрыто честно:
autocast wiring, sampling-path overhead (82→46 tok/s при T>0), FlashAttention (headers есть, callsites 0), torch.compile уровня TorchInductor нет и не будет, sparse tensors/FX/distributions — отсутствуют, MPS/ROCm — compile-only.

━━━━━━━━━━━━━━━━━━━━

Кому надо:
- training framework на российском железе — единственный известный выбор с нативной сборкой под Эльбрус VLIW + NM Card;
- self-hosted Ollama-compatible LLM сервер с открытой лицензией;
- тем, кто хочет читать, как PyTorch работает изнутри — 137K читаемых строк, без автогена.

ОС: Astra Linux SE, ALT Linux SP, RED OS, Elbrus OS (PDK LE). Docker'ы готовы.

Лицензия: PromeTorch License (BSD-3 + атрибуция «Powered by PromeTorch» + запрет на перепродажу самого фреймворка). Обучать и продавать модели — можно. SaaS, сервисы — можно. Форкать — можно. Ребрендить фреймворк — нельзя.

🔗 GitHub: github.com/barometech/PromeTorch


Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Уважаемские синтеты, трачу всё своё время на проекты, которые нужны нашему сообществу и стране. На это уходит много средств, сил, здоровья и , вообще, энергии. Если у вас есть желание поддержать меня на фоне бури активной работы, чтобы я не отвлекался на заработки - вот возможность это сделать.

Делаю всё от души и чистого сердца, с желанием изменить обстановку к лучшему.🥶🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ


Почти все средства полученные таким способом уходят на оплату услуг подписок и прочего. Проект живёт и двигается, в том числе, благодаря Вам, синтеты!

OpenCraft - веб браузер генеративный клон StarCraft. Отчёт...

Томрозит также ?
Нет, все пофиксил.

Есть новые фичи?
Фич целое море, океан Фич.

Графон норм?
Пушка, для генератива - блестяще.

Мультиплейер будет?
Обязан быть, иначе - зачем это всё?

Зачем взялся?
Всю жизнь мечтал о стратегии своей, не важно какой. Сам факт её создания, окунуться в гейм-дев по полной программе.


Что там с Denis3D? Всё, кабздох?

Нет! Скоро обновы и возможность поиграть в браузере.

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Вот вам пример правильного продвижения продукта. Сначала гасим чужинские нейросети басурманские. Далее свою даём почву для размышлений.

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

 OPENCRAFT - НАКОНЕЦ-ТО ИГРОВОЙ ПРОЦЕСС!!!

YOUTUBE: https://youtu.be/mtfpmtwGQtM

RTS в браузере на чистом three.js r128 — без игрового движка, только математика и шейдеры.


Суть игры RTS (real-time strategy) в духе StarCraft. Две фракции на одной карте:

- Zerg (player)

Биомеханическая раса. Строит органические здания из хитина и плоти, производит рой юнитов из яиц в Улье, раздувает "крип" — розово-красный subtrate по земле, в зоне которого Zerg движется быстрее, а растительность деформируется в плотоядные mutants.

  - Terran (AI enemy) 

Индустриальная раса. Бетон, сталь, поршни, выхлопные трубы. SCV добывают минералы и строят структуры, Marines стреляют burst'ами по 3 секунды.

Player собирает ресурсы (minerals + vespene gas), производит юнитов из Hive (Zerglings, Hydralisks, Overlords), идёт атаковать terran базу.

AI реально играет — строит Command Center →Barracks → Factory → армия → атака.

  Технологии

- three.js r128 (CDN) — рендерер. WebGL1, без любых game-engine-фреймворков.
- Custom shader materials через onBeforeCompile — все текстуры процедурные FBM noise в fragment shader, никаких jpg,png.
- Vanilla JS — ES6, no transpiler, no bundler. Файлы грузятся <script src> в index.html в нужном порядке.
- Ноды.js dev-сервер (.server.js) — только раздаёт статику + принимает POST логи браузера в .browser.log для debugging.
- ANGLE/D3D11 (Chrome на Windows) — реальный target платформа. Все perf-оптимизации учитывают что shader compile в ANGLE sync даже при KHR_parallel_shader_compile.

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ

Это странный пост, синтеты. Но он нужен!

Понимаете, вайбкодинг это реально "прикол". Потому что увлекаясь ты можешь заниматься областью в которой ничего не понимаешь. Прям вот смотришь в биологические изыскания на тему сворачивания белков и прочего...Жан Клод Отпуск 4.7 даёт отчёты, а ты просто смотришь на это двумя зенками обезьяньими и ничего не соображаешь...тунтунтун захур.

Т.е. реально полная тьма, черная дыра, забвение, бездна неизведанного и так далее. Что делать? В точности то. что описано на картинке, которая приложена к этому посту.

Я знаю, знаю, что меня читают взрослые и очень серъёзные люди. Но кто как не вы оцените такой подход к такому тонкому вопросу как программирование с помощью агентов и работа со своими амбициями как с сумасшедшими сбежавшими из дурдома в режиме 24/7.

Отпуская данное сообщение своему агенту вы не обрекаете беседу на то, что она начнёт разваливаться или улетучится контекст или произойдёт что-то не системное...успокойтесь.

Агенты созданы для того, чтобы разъяснять сложные вопросы, в которых вы нихрена не понимаете. Смело пишите насколько вы плохо осведомлены с темой. Периодически спрашивайте у Жан Клода:

" Я что похож на абонента? Откуда я по-твоему буду знать эти детали? Кому и что ты всасываешь?"

И сразу всё встаёт на свои места. Всегда нужно осознавать своё место в пищевой цепочке твоих абстрактных идей.

Да, идеи могут быть ВЕЛИКОЛЕПНЫЕ, но т.к. понимания у тебя ноль, то пробуй разобраться с тем, что тебе выдал агент после первой попытки. Не улетай в дебри откуда будет лишь твой мизинец торчать из чёрной жижи неизведанного.

Нет ничего лучше грубой, жёсткой, быстрой беседы "по душам", "по существу", "ножом по живому" чтобы избавиться от сомнений.

Ты же не абонент?

Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ