专栏算法工具链关于HB_ONNXRuntime是否可以设置在GPU上运行,从而提升推理速度的问题。

关于HB_ONNXRuntime是否可以设置在GPU上运行,从而提升推理速度的问题。

Apin2023-09-23
36
1
1.芯片型号:J5
2.天工开物开发包OpenExplorer版本:J5_OE_1.1.62等
3.问题定位:HB_ONNXRuntime使用问题
4.问题具体描述:修改官方例程中目标检测yoloV5X来计算量化后的yolov8m_quantized.onnx(已量化)的map等指标。但是在使用HB_ONNXRuntime对量化后的模型进行推理时速度很慢,yolov8_quantized通过HB_ONNXRuntime输出1000张图片的结果需要2.5小时。而对于原始模型(yolov8_original_onnx),只需要5分钟。查看yolov8_quantized通过HB_ONNXRuntime输出结果时系统资源使用情况,似乎是在通过使用CPU单核推理,没有在GPU上推理,是否支持ONNXRuntime-GPU那样在GPU上推理呢?从而提高速度,不然每次都要等很久(囧)。我没有找到相关的说明,在(https://developer.horizon.cc/forumDetail/173442425216488452)中也只找到使用例程。如果有HB_ONNXRuntime相关使用说明,能否分享一份呢?谢谢!!!
算法工具链
评论1
0/1000
  • 颜值即正义
    Lv.2

    你好,由于gpu版本未经过系统性的全量测试,因此并未在手册和文章中体现,如果有相关加速需求的话,可以尝试如下操作:

    在docker中安装horizon-nn-gpu版本(ddk/package/host/ai_toolchain/horizon_nn_gpu-0.20.1-cp38-cp38-linux_x86_64.whl),在代码中添加

    sess = HB_ONNXRuntime(model_file=model)

    sess.set_providers(['CUDAExecutionProvider'])

    尝试加速

    2023-09-25
    0
    0