专栏算法工具链关于Calibrated Cosine和Quantized Cosine的问题

关于Calibrated Cosine和Quantized Cosine的问题

Mercury2026-01-06
62
2
芯片型号：J6 天工开物开发包 OpenExplorer 版本：3.5.0 天工开物开发包 docker镜像名称：openexplorer/ai_toolchain_ubuntu_22_j6_gpu:v3.5.0
现在我在对sparse4d进行ptq量化编译，我感觉cls和anchor问题不大，主要问题是quality（如有错误请指正），结果附件1.png

我对onnx进行了可视化，发现original、optimized和calibrated是没有问题的，到了ptq_model.onnx就出现了问题
附件是我的配置文件，主要的工作是将一些敏感算子放到cpu上，以及将一些算子设为float16，结果是 quality 的校准cosine从0.82提升到了0.97，但是定点cosine从0.81掉到了0.69
我现在的问题如下：
1、Calibrated Cosine和Quantized Cosine的区别是什么？
2、我现在该往那些方向去优化才能提高我的 Quantized Cosine 值？
附件:
算法工具链
征程6技术深度解析
评论2
0/1000
  • YCJ
    Lv.4

    您好！先回答您的第一个问题。Calibration 阶段是伪量化阶段，float数据先要经过伪量化为int数据再反量化回float，所以这里的 Calibrated Cosine 实际上是原始onnx（float）和 Calibrated （ float ）之间的 Cosine 。而 Quantized阶段是定点量化， Quantized Cosine 是 原始onnx（float）和Quantized （ int ）之间的 Cosine 。我们一般以 Quantized Cosine为主。

    2026-01-09
    0
    0
  • YCJ
    Lv.4

    回答您的第二个问题。我查看了您的config，您把大多数算子都放在了cpu上，这样确定没有性能问题？我建议的是转 QAT 吧，PTQ大概率满足不了您的需求。

    2026-01-09
    0
    0