专栏算法工具链模型量化后,如何指定模型输出结果类型(INT8)?

模型量化后,如何指定模型输出结果类型(INT8)?

已解决
Zhaojin2025-01-02
43
2

1.芯片型号:J3

3.天工开物开发包OpenExplorer版本:horizon_xj3_open_explorer_v1.16.4-py38_202403119

4.问题定位:模型转换

5. 题 具 体 描 述 模 型 量 化 出 是 tensortype:HB_DNN_TENSOR_TYPE_S64,如何设置才能使输出格式为tensor type: HB_DNN_TENSOR_TYPE_S8?

算法工具链
征程3技术深度解析
评论1
0/1000
  • Huanghui
    Lv.5

    你好，检查一下：

    1. 原始onnx模型的输出是什么类型的，工具链默认会将量化后模型的输出对齐到 原始模型。

    2. 如果原始就是 S64，而你希望是S8的，同时后处理也能很好适配，那么看看S64的具体来源吧，看看是不是在尾部存在CAST节点，将S8等转成了S64，如果是，那么通过配置文件的 remove_node_type:Cast 配置项将CAST移除就OK了

    2025-01-03
    0
    1
    • Zhaojin回复Huanghui:

      好的，谢谢，已经解决了！

      2025-01-03
      0