专栏算法工具链模型中出现全0的问题

模型中出现全0的问题

已解决
长城上贴瓷砖2025-01-03
44
2
请问文档里（下面3张图贴了）PTQ常见问题有“ 在转换流程中，hb_compile打印日志中Calibrated Cosine列出现nan的几种情况以及导致此类问题的原因？”，里面说 模型中出现全 0 tensor 会导致。

  1. 说tensor不能为全0，0是非法阈值的原因是什么？

  2. 这个说模型里不能在某个节点的tensor为全0，是说所有校验数据在这个节点都全为0不行，还是说只要出现某一条校验数据在模型里这个节点全0就不行？

  3. 如果模型里一定有全0的tensor怎么办？

  4. 这个问题是只在PTQ中有还是QAT中也有？

 

 

 

 

附件:
算法工具链
征程6
评论2
0/1000
  • Huanghui
    Lv.5

    我的理解是：校准过程统计计算得到的阈值最终是为了计算量化参数scale值，而我们知道量化scale=阈值 /(qmax-qmin)，得到的scale是推理量化时： qx = clamp(round(x / scale) + zero_point, -128, 127)。如果 阈值 为0就会导致除数为0，这肯定就不行了呀。

    2025-01-07
    0
    0
  • Huanghui
    Lv.5

    客户您好，长时间未收到你的答复，相信问题已解。如对此尚存疑问欢迎新帖讨论，感谢您的参与！

    2025-01-15
    0
    0