专栏算法工具链J3 模型尾部结果反量化

J3 模型尾部结果反量化

红鲤鱼绿鲤鱼与驴2026-05-09
25
2

各位大佬好：

1. 请问在yaml文件中移除尾部的反量化算子之后，自己在CPU上做反量化运行速度会不会更快？

2.地平线采用对称量化，所以zeropoint的数值肯定是0，但是scale的数值是从量化的int8的onnx中自己粘贴复制到代码中去吗，有没有什么办法直接从bin/hbm类型的权重文件中读取，如果有的话，对应的函数接口在哪？

麻烦各位大佬帮忙解答一下，谢谢啦！

算法工具链
技术深度解析征程3
评论2
0/1000
  • DR_KAN
    Lv.4

    可以看下BPU SDK API手册，最终用到的是hbDNNQuantiScale结构体的float *scaleData数据

    8小时前
    0
    0
  • YCJ
    Lv.4
    1.单从反量化这个过程来看，模型里做反量化和模型外做都是遍历，运行时间都差不多。
    但多数模型在后处理中需要对推理结果进行遍历，可以在后处理遍历结果的时候顺便进行反量化，这样把反量化拿到模型外面做可以省一次遍历时间。因此建议将反量化拿到cpu上做。
    2.可以查看手册，通过scaleData索引数值
    5小时前
    0
    0