1.域控:J6-M
2.工具链版本:OE_v3.8.1
3.问题描述:在模型导出使用caliberation(全int16)后的fake_quant模型(精度基本无损);但是经过compile导出后的模型直接损失很大了;cls cos
主体模型是pointpillars
2.工具链版本:OE_v3.8.1
3.问题描述:在模型导出使用caliberation(全int16)后的fake_quant模型(精度基本无损);但是经过compile导出后的模型直接损失很大了;cls cos
主体模型是pointpillars
阶段 | cls COS | 说明 |
|---|---|---|
Float (基准) | 1.000 | 正确 |
Calib fake_quant | 0.999 | 量化参数正确 |
全INT8 real_quant | 0.22 | 全损 |
全INT16 real_quant | 0.49 | 稍好;但完全不能用 |
附件中有可以复现当前问题的脚本;具体情况参考readme
麻烦跟进,迫切希望回复,感谢
麻烦跟进,迫切希望回复,感谢