专栏底层软件量化部署问题

量化部署问题

已解决
xiaoming2023-04-25
59
2

新人翻看ai benchmark代码中，有几个问题:

1. hbDNNTensor中的properties变量里，发现相同通道具有相同的scale,这个理解对吗;

2. 手册里说，scale量化需要减去推理值减去zero_points，然后再乘以scale,但代码中没有减去zero_points,这是为什么啊

3. 板子上模型推理的结果，都是NHWC排布吗

底层软件
征程3
评论1
0/1000
  • Horizon_guosheng
    Lv.1

    scale可以不一致，和训练的预处理逻辑相关，操作本身可以集成在模型中，所我不需要进行手动写代码，推理的结果排布和你的操作相关

    2023-04-26
    0
    1
    • xiaoming回复Horizon_guosheng:

      还有疑问:

      1. 我这里说的scale是指网络输出时的反量化过程，代码里没有减去zero_points;

      2. 推理结果的排布，我问的更具体的操作吧: 比如我原始的onnx模型输出的是nchw的结果，可以通过设置量化的配置参数，使得输出变为nhwc吗，如果有，请问是哪个设置，在我的手册版本里没有这一选项;

      3. 我又check了下，输出的数据排布，量化方式，和bin模型强相关。想确认下，在pc端对bin执行hb_perf时产生的结构图中，有输出的layout和数据格式，这个数据格式和layout和部署时模型推理的实际结果是一致的吗

      2023-04-26
      0