专栏算法工具链关于QAT异构量化的疑问

关于QAT异构量化的疑问

已解决
YUANYI2025-08-27
43
4

【J5】


关于QAT异构量化，通过配置hybrid=True可以开启异构模式。

 

例如Softmax，配置hybrid=True后模型中所有的Softmax算子都会自动分配在CPU上计算，但如果只需要设置单独某一个Softmax算子在CPU上计算的话，该如何操作呢？暂未查询到相关说明。

算法工具链
征程5技术深度解析
评论1
0/1000
  • Huanghui
    Lv.5
    你好，你可以参考下这个， 可以通过设置 hybrid_dict 参数来强制指定某些 BPU 支持的算子跑在CPU 上。
    2025-08-27
    0
    3
    • YUANYI回复Huanghui:

      你好，我理解的是hybrid_dict 是用于指定 BPU 支持的算子跑在CPU上，与我这边的诉求相反。因为设置hybrid=True之后所有的Softmax都跑在CPU上了，而我不需要让所有的Softmax都跑在CPU上。

      2025-08-27
      0
    • YUANYI回复Huanghui:

      请问J5支持相关的操作吗，我看J6似乎有类似的操作

      2025-08-27
      0
    • Huanghui回复YUANYI:

      您可以将需要跑在cpu上的算子精度设置成fp32 这样就自动跑在cpu上了 ，您这边先在文档内部找下

      2025-09-01
      0