专栏算法工具链模型分开编译量化组合

模型分开编译量化组合

已解决
Oops2024-12-18
55
4
1.芯片型号:j6m
2. 板卡类型:天准J6M
3. 天工开物开发包 OpenExplorer 版本:v3.0.22
4. 问题定位:模型量化合并
5. 问题具体描述:
我有一个模型,模型存在一部分后处理,还有另外一部分需要量化为int16.请问是否支持分开量化编译后,将这些模型合并为一个hbm。或者在量化时可以配置某一段全部为cpu或者int16.
算法工具链
征程6
评论1
0/1000
  • Jade-self
    Lv.5
    建议:
    1. 尝试将所谓的后处理编译到模型中,若BPU不支持,会运行到CPU上。
    2. 若中间的后处理运行在BPU上精度不满足预期,可通过在后处理的输入位置插入反量化节点,在后处理结束的位置插入量化节点,从而实现这一段运行在CPU上。
    3. 拆分成两个模型部署。
    2024-12-24
    0
    1
    • Oops回复Jade-self:

      好的,感谢支持

      2024-12-24
      0