专栏算法工具链AI toolchain 怎么把onnx模型的输出转为量化的类型啊，好像默认输出都是浮点型

AI toolchain 怎么把onnx模型的输出转为量化的类型啊，好像默认输出都是浮点型

已解决
smartsmallboy2021-12-03
111
5

想转成8bit量化的输出，后处理直接根据zeropoing和scale定点打表

算法工具链
评论1
0/1000
  • Horizon_guosheng
    Lv.1

    您好，bpu加速计算都是int8形式的，浮点类型是最后的softymax之类的层，需要保留较高精度，因此还原到float，否则目标检测之类的坐标还原会出问题

    2021-12-03
    2
    4
    • smartsmallboy回复Horizon_guosheng:

      好的，谢谢，想再问下是网络层里只要有reshape，模型就会到cpu上吗，这中间是不是要定点转float，比较耗时

      2021-12-05
      0
    • Horizon_guosheng回复smartsmallboy:

      支持reshape的，也在bpu上哈，频繁出现cpu bpu算子会比较耗时，涉及到内存数据的转移

      2021-12-06
      0
    • smartsmallboy回复Horizon_guosheng:

      那正常的conv后直接输出的可以不输出float吗，直接输出int8，我现在转的总是CONV后加个Dequantize层输出浮点数据

      2021-12-11
      0
    • Horizon_guosheng回复smartsmallboy:

      conv之后都是int8啊、、、可以查看下转化的时候模型的输出层运行在cpu上还是bpu上

      2021-12-13
      0