Ожидается, что DeadCode будет очень тесно интегрирован с нейронными сетями.
Я потратил почти неделю на изучение материала и написание своей библиотеки для инференса моделей. Моей целью было решение проблем оверхэда от DJL, который используется, например в LiquidBounce. А также избавление от CUDA, поскольку, несмотря на его производительность, с ним не получится охватить большую аудиторию из-за отсутствия поддержки устройств не от NVIDIA.
На бенчмарках моя библиотека в сравнении с PyTorch:
DeadCode (ALUminium):
Pr: 256
Cft: 22.7483
IPS: 36973.06268361285
Latency: 0.027046718
PyTorch (Python - CUDA):
Device: cuda
IPS: 23290.4788522
Latency: 0.042936 ms
Вывод незначительно отличается из-за валидационных проверок, главный показатель - IPS (Inferences Per Second).
Я потратил почти неделю на изучение материала и написание своей библиотеки для инференса моделей. Моей целью было решение проблем оверхэда от DJL, который используется, например в LiquidBounce. А также избавление от CUDA, поскольку, несмотря на его производительность, с ним не получится охватить большую аудиторию из-за отсутствия поддержки устройств не от NVIDIA.
На бенчмарках моя библиотека в сравнении с PyTorch:
DeadCode (ALUminium):
Pr: 256
Cft: 22.7483
IPS: 36973.06268361285
Latency: 0.027046718
PyTorch (Python - CUDA):
Device: cuda
IPS: 23290.4788522
Latency: 0.042936 ms
Вывод незначительно отличается из-за валидационных проверок, главный показатель - IPS (Inferences Per Second).
🤯7❤3💩2