专栏算法工具链J6M PTQ量化Softmax算子量化精度问题

J6M PTQ量化Softmax算子量化精度问题

已解决
wuhen_1232025-07-08
50
2
芯片型号：J6M
工具链版本：horizon_j6_open_explorer_v3.0.31

问题：如下图所示，Softmax算子量化后余弦相似度很低，需要如何解决？调整配置算子放到CPU上也没有改善。

 

算法工具链
征程6
评论2
0/1000
  • Huanghui
    Lv.5

    你好，Softmax是查表算子，数值是固定的，没办法改，或者另一种就是你把它放在cpu上

    2025-07-08
    0
    0
  • DR_KAN
    Lv.4
    1、先通过技术支持获取3.2.0的工具链版本，精度可能有改善
    2、跑一下精度debug，如果单个softmax配置cpu精度提不上来，可能是前面其他算子精度掉的太多了，看一下激活的敏感度排序，靠前的算子都试试int16或者cpu
    2025-07-09
    0
    0