专栏算法工具链J6M模型量化输入输出数据格式问题

J6M模型量化输入输出数据格式问题

已解决
wuhen_1232025-06-20
37
2

芯片型号:J6M

工具链版本:horizon_j6_open_explorer_v3.0.31

问题:

1. 该版本工具链文档中,只有input_layout_train指定原始模型输入数据排布,没有input_layout_rt指定上板模型的输入数据排布。使用该版本工具链只能依赖自动生成的上板模型数据排布,无法指定吗?
2.量化后的上板模型默认float32输出,如何指定int8输出?如果int8输出,如何获取对应的缩放参数把输出再转成float?
算法工具链
征程6
评论1
0/1000
  • DR_KAN
    Lv.4

    输入侧确实无法指定layout rt,输出想int类型的话,可以在yaml配置remove node参数删除反量化节点(可以看下手册描述),在后处理可以通过ucp的api接口获取scale,自行做反量化

    2025-06-20
    0
    1
    • wuhen_123回复DR_KAN:

      好的,谢谢

      2025-06-20
      0