专栏算法工具链J5工具链尝试PTQ量化时不支持Conv算子int16输入输出

J5工具链尝试PTQ量化时不支持Conv算子int16输入输出

已解决
默认478722025-07-28
39
5

目前尝试部署一个基于yolov9的停车位检测模型，工具链版本为horizon_j5_open_explorer_v1.1.68-py38_20231014

首先按照精度debug工具走流程现已得知对激活的量化对模型误差影响较大，

并且已按敏感度排序激活校准节点，并且对余弦相似度较低的激活激活节点尝试解除量化后发现模型误差有明显好转：

现尝试对激活现在准备对激活校准节点后的卷积节点进行int16输入输出量化：

但在量化编译时工具链输出不支持conv输入输出为int16：

请问这是什么原因？我的yml文件如附件所示，配置了所有的卷积输入输出为int16：

算法工具链
征程5技术深度解析
评论1
0/1000
  • Huanghui
    Lv.5

    你好， 算法工具链目前只在模型尾部支持Conv算子以int32高精度输出，其他算子都只能以int8低精度输出。

    2025-07-28
    0
    4
    • 默认47872回复Huanghui:
      感谢回答，我有几个问题：
      1.我在这个链接看到的示例为什么说J5工具链 OpenExplorer V1.1.49b及其之后版本的工具链开发包能够支持指定Conv算子进行int16量化呢：PTQ精度调优手段—设置Int16量化 - 应用开发 / 算法工具链 - 地瓜机器人论坛 ；
      2.目前PTQ量化后感觉模型精度损失较多，采用了per-channal量化感觉精度仍不达预期，现在除了将量化敏感节点run on CPU还有其它的什么调优手段吗，恳请大佬解答leimu_org.svg
      2025-07-28
      0
    • DR_KAN回复Huanghui:

      conv能支持int16输入输出的吧

      2025-07-28
      0
    • Huanghui回复默认47872:

      你好，是支持int16数据类型的，你看下是否能用精度DeBug工具分析一下

      2025-07-28
      0
    • 默认47872回复DR_KAN:
      我仔细看了一下log打印的警告，是有一些conv节点的某一个输入或输出不支持int16，比如下图这个conv节点的input2：
      2025-07-28
      0