专栏算法工具链输入输出节点在CPU上执行

输入输出节点在CPU上执行

已解决
yanglinxia2023-04-24
46
2

用户您好，请详细描述您所遇到的问题，这会帮助我们快速定位问题~

1.芯片型号：J5
2.天工开物开发包OpenExplorer版本：J5_OE_1.1.40
3.问题定位：板端部署等
4.问题具体描述：PTQ模型导出bin,输入输出一定要在CPU上执行吗？我的模型输入输出节点在CPU上耗时占推理50%；若QAT导出，输入输出是不是在BPU上执行？
算法工具链
评论2
0/1000
  • 颜值即正义
    Lv.2
    您好，建议您查看一下用户手册的 算子支持与约束列表，对应节点是否满足BPU的约束限制，满足的话，可以在yaml中配置run_on_bpu参数，将其强制跑在BPU上。

    如果输入输出节点为量化反量化节点，您可以将其删除，合入前后处理中。

    并不是说QAT导出输入输出就在BPU上运行哈。

    2023-04-24
    0
    0
  • 颜值即正义
    Lv.2
    2023-04-24
    0
    0