🔥 PromeTorch — свой PyTorch с нуля за 5 недель

🔗 GitHub: github.com/barometech/PromeTorch

Один разработчик. Россия. C++17/CUDA. 137 000 строк. Нативно собирается и работает на Эльбрус E8C2 (VLIW), НТЦ Модуль NM Card Mini и NVIDIA A100.

━━━━━━━━━━━━━━━━━━━━

TL;DR для простых людей:
Если коротко — это альтернатива PyTorch. На ней можно обучать нейросети и запускать LLM. Главное: работает на российских чипах. Не эмуляция, не обёртка — нативная сборка, верифицированная на железе.

TL;DR для спецов:
~35–45% практической площади PyTorch, runtime-verified на реальном железе. Real BFS autograd (не trace-based), 119 backward functions, forward-mode AD, vmap, double backward, gradient checkpointing, hooks. 16 оптимизаторов, 16 LR schedulers, 64+ NN модулей. 720+ gtest.

━━━━━━━━━━━━━━━━━━━━

📊 Inference на A100-SXM4-40GB (Ollama-compatible)

qwen3:4b 82.6 tok/s (50% от Ollama)
gemma3:4b 81.4 tok/s (56%)
deepseek-r1:8b 51.1 tok/s (40%)

10-мин stress: 46.5 tok/s ±0.19. Peak 25.4 GB VRAM / 135 W.

📊 Training на CPU vs PyTorch 2.6 (10 задач)

Все MNIST — match within 0.5pp. LSTM seq cls +1.56pp. VAE MNIST 50 эпох — на 0.35 nats tighter чем PyTorch на identical arch.

📊 Российское железо

- Эльбрус E8C2 — production, MNIST 6.1× быстрее PyTorch 2.7.1 на этой задаче, EML_MT BLAS 1840 GFLOPS (92% пика), NUMA-aware, 4 процесса × 8 ядер Local SGD. 38/38 тестов.
- NM Card Mini K1879VM8YA — emulator production + 1-core real, MNIST MLP 88.94% на Q16.16 fixed-point. 32/32 тестов.
- NM Quad (4×NM6408, 64 NMC4) — 16 cores stable, 100× SIMD.
- Байкал-М/С — cross-compile готов.

🧩 Стек

Ядро: c10 (Allocator/Device/Storage/TensorImpl) + ATen ~150 tensor ops. Dtype dispatch: FP32/64, Half, BFloat16, FP8 e4m3fn/e5m2, Complex, Bool, int8-64.

Autograd: real BFS engine, 119 backward functions, register_hook, anomaly detection, create_graph=True, forward-mode AD (dual numbers + JVP), single-axis bit-exact vmap.

NN (64+): Linear/Bilinear/LazyLinear, Conv1d/2d/3d + ConvTranspose2d, 20+ активаций, BatchNorm/LayerNorm/RMSNorm/GroupNorm/InstanceNorm, RNN/LSTM/GRU, TransformerEncoder/Decoder/MultiheadAttention, 12 loss functions (включая полный CTC Graves DP), PIR architecture (Mamba-родственник).

Optim: SGD, Adam, AdamW, RMSprop, Adagrad, Adadelta, Adamax, AdamKiller, ASGD, Lion, SophiaG, LAMB, Adafactor, NAdam, RAdam, LBFGS + ParamGroups + EMA + clip_grad.

Distributed: real TCP DDP, FSDP/ZeRO-3 bit-exact, TensorParallel, Pipeline (GPipe + 1F1B), DDP.no_sync, ZeRO-Offload.

Export/interop: ONNX (zero-dep manual protobuf, проходит onnx.checker), MLIR (tosa + linalg), torch.jit.compile (trace + fusion + C++ codegen), bi-directional .pt I/O.

Shims: HuggingFace (AutoModel.from_pretrained для Bert/GPT2/Llama + safetensors), torchvision, torchaudio (STFT max |err| 1.79e-7), torchtext, Lightning Trainer.

Serving — PromeServe: Ollama-compatible API, GGUF loader (Q4_K_M, Q5_K_M, Q6_K, Q8_0, F16, F32), flash-decode + CUDA Graph + paged KV, production guardrails.

🗂 Что не закрыто честно:
autocast wiring, sampling-path overhead (82→46 tok/s при T>0), FlashAttention (headers есть, callsites 0), torch.compile уровня TorchInductor нет и не будет, sparse tensors/FX/distributions — отсутствуют, MPS/ROCm — compile-only.

━━━━━━━━━━━━━━━━━━━━

Кому надо:
- training framework на российском железе — единственный известный выбор с нативной сборкой под Эльбрус VLIW + NM Card;
- self-hosted Ollama-compatible LLM сервер с открытой лицензией;
- тем, кто хочет читать, как PyTorch работает изнутри — 137K читаемых строк, без автогена.

ОС: Astra Linux SE, ALT Linux SP, RED OS, Elbrus OS (PDK LE). Docker'ы готовы.

Лицензия: PromeTorch License (BSD-3 + атрибуция «Powered by PromeTorch» + запрет на перепродажу самого фреймворка). Обучать и продавать модели — можно. SaaS, сервисы — можно. Форкать — можно. Ребрендить фреймворк — нельзя.

🔗 GitHub: github.com/barometech/PromeTorch


Техножнец всё делает на свои средства. 🥶
Если есть желание поддержать его, то вот ссылки: 🫡

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ