#ml #cpu #inference #tflight #paddlepaddle #onnx #openvino #tvm
По итогу рекомендуют onnx runtime, ускорение прогнозов в среднем от 20% до 400%. TVM интересен поддержкой множества форматов и компиляцией моделек напрямую в системные .dll и .so файлы.
https://www.youtube.com/watch?v=FHt0QtqQpxE
По итогу рекомендуют onnx runtime, ускорение прогнозов в среднем от 20% до 400%. TVM интересен поддержкой множества форматов и компиляцией моделек напрямую в системные .dll и .so файлы.
https://www.youtube.com/watch?v=FHt0QtqQpxE
YouTube
Артём Земляк | Лёгкие пути оптимизации инференса ML моделей на CPU
Data Fest Siberia 3 & Halloween 2022:https://ods.ai/tracks/groups/data-fest-siberia-3-halloweenТрек MLOps:https://ods.ai/tracks/sibfest3-mlopsНаши соц.сети:T...