专栏算法工具链J5量化后quanti模型结果和float模型结果不一致

J5量化后quanti模型结果和float模型结果不一致

已解决
NINOWEN2025-12-15
49
4

使用OE包1.1.77量化模型，将所有节点转成INT16，量化前的onnx模型和量化后的onnx模型，推理结果都正常。

但是一旦使用Int8量化，余弦相似度还是很高0.99左右，量化前的onnx模型结果也没有问题，量化后的onnx模型输出不正确。

地平线量化工具感觉有问题。应该如何定位具体的问题？

算法工具链
征程5
评论4
0/1000
  • Vincent
    Lv.4

    您好，这个量化后的onnx模型指的是hbm吗还是bc？

    2025-12-15
    0
    0
  • Vincent
    Lv.4

    另外您说使用 使用Int8量化，余弦相似度还是很高0.99左右 ，那么int16呢余弦相似度怎么样

    2025-12-15
    0
    0
  • Vincent
    Lv.4

    另外量化后的输出如果跟onnx余弦相似度在0.99，说明输出都非常接近，你可以将实际的量化模型推理输出跟onnx模型进行一个人工对比 ，看下相似度如果相似度很高，那就说明是因为后处理的问题

    2025-12-15
    0
    0
  • YCJ
    Lv.4

    客户您好，鉴于长时间未收到你的答复，我们暂将该问题做关闭处理，如您仍有相同问题，请在新的帖子中重新发起提问，祝您工作愉快！

    2025-12-31
    0
    0