专栏算法工具链QAT与PTQ量化方式对版端部署差异

QAT与PTQ量化方式对版端部署差异

已解决
yy12342023-04-21
94
3
1.芯片型号：J5
2.天工开物开发包OpenExplorer版本：J5_OE_1.1.29
3.问题定位：模型转换、板端部署
4.问题具体描述：请问QAT与PTQ两种量化方式，分别对应生成的hbm与bin文件，在板端推理时使用的接口相同吗？
示例代码中看到都是调用hbDNNInfer实现推理，若将ai_forward_view_sample中fcos_efficientnetb0_mscoco.hbm替换为fcos_efficientnetb0_512x512_nv12.bin，只需要修改后处理代码就可以吗？

另外看到这两个模型的output count数量不一样，hbm模型是5，bin模型是15。这是同一个模型的两种量化方式的结果吗？

算法工具链
征程5
评论3
0/1000
  • 颜值即正义
    Lv.2

    推理接口是一样的，但输入输出需要根据模型自身去准备哈，关于两者更多的细节区别可参考这篇文章：https://developer.horizon.ai/forumDetail/118364000835765839

    量化方式不会改变模型的结构哈，结构不同说明他们模型本身结构是有区别的

    2023-04-22
    0
    0
  • 颜值即正义
    Lv.2

    此外，工具链我们也在持续迭代，目前J5的OE已经释放到OE1.1.45了，欢迎使用新版工具链，获取方式就在工具链板块的置顶贴中

    2023-04-22
    0
    0
  • 颜值即正义
    Lv.2
    2023-04-24
    0
    0