请问hb_DNNInfer在执行推理的时候是默认在BPU上运行吗?我将工具链5.1.3节的示例代码改为循环运行infer,通过hrut_somstatus查看BPU使用率一直为0,请问这是什么原因?
你打印下你的hbm模型信息,看下节点数据类型是否是INT8
只可以是.hbm么?我现在用的是PTQ量化后的bin格式模型文件
可以是bin的 j5里面的是bin,j6是hbm
ouput里面应该会同步生成一个prototxt文件 你可以用netron打开看下
ptq量化后输出只有onnx和bin格式的吧
hrut_bpuprofile -b 2 -r 0 用这个命令再试下呢
这个也一样
好的我尝试一下。再问您一下,J5有什么方法可以指定模型运行在哪一个bpu上嘛
有的,可以看下hrt_model_exec工具的介绍,有个core_id设置,你自己写代码的话可以看下BPU SDK API的ctrl param那块的介绍,也有个配置参数