专栏算法工具链PTQ过程中相似度出现nan

PTQ过程中相似度出现nan

已解决
UtGA6SPbn2024-10-31
34
1

模型量化后,推理结果有明显误差

1. 芯片型号:X3

2. 天工开物开发包 OpenExplorer 版本:2.6.6

3. 问题定位:模型转换

4. 问题具体描述:模型ptq前后多出的 /Div_reciprocal  该节点后相似度降低到0.2附近;把相似度为nan的节点调整为run_on_cpu后相似度变为nan

量化过程中添加的 /Div_reciprocal 是否可以删除修改?

下面是一些尝试过程中的最后部分相似度

这是开始的相似度信息

调整部分节点后:/Div_reciprocal /Div_mul

这是全部改为run_on_cpu后


算法工具链
征程3
评论1
0/1000
  • Huanghui
    Lv.5
    收到,但是鉴于X系列板卡与J系列板卡存在工具链版本和技术支持上的差别,该论坛仅对J系列板卡使用问题提供支持,X3问题您可在地平线开发者社区首页 (horizon.ai) 寻求帮助,感谢您的理解,祝工作愉快!
    2024-10-31
    0
    0