请问下,在J6模型量化时碰到了非法的阈值,是什么原因,如何避免呢?
在量化后的模型做推理时,结果跟浮点模型误差比较大
可以先检查下你代码中参数的阈值设置的是多少,是不是配置文件搞错了
这个warning通常不用管,可以量化后推理下看看结果怎么样,以量化相似度和精度评测的指标为准
单纯当作精度问题来处理就行,可以参考各种精度调优资料
客户您好,长时间未收到你的答复,相信问题已解。如对此尚存疑问欢迎新帖讨论,感谢您的参与!