专栏算法工具链量化时，Softmax跑在CPU上

量化时，Softmax跑在CPU上

已解决
皮卡丘2024-11-19
293
8

1. 芯片型号：J6M

2. 板卡类型：天准J6M

3. 天工开物开发包 OpenExplorer 版本：v3.0.22

4. 问题定位：模型转换

5. 问题具体描述：hb_compile --config config.yaml

量化完成后，大量Softmax算子跑在CPU上，严重影响模型效率

 

我想要了解，Softmax算子在底层，跑在BPU上的那一块，VPU还是TAE，我应该如何做，能让它跑在BPU上

附件:
算法工具链
征程6技术深度解析
+1
评论4
0/1000
  • 皮卡丘
    Lv.2
    通过网盘分享的文件：config.yaml等5个文件
    链接: https://pan.baidu.com/s/1HbjYerqUyaM9xlu5guZP-A?pwd=tffa 提取码: tffa
    --来自百度网盘超级会员v4的分享
    2024-11-19
    0
    0
  • J6标定问题
    Lv.1

    收到

    2024-11-19
    0
    0
  • DR_KAN
    Lv.4

    试一下给optimization添加参数

    2024-11-19
    0
    2
    • DR_KAN回复DR_KAN:

      参考 https://developer.horizon.auto/bbsdetail?bid=646533934758879232

      2024-11-19
      0
    • DR_KAN回复DR_KAN:
      @皮卡丘
      问题我已经反馈给社区了，等他们修改吧，应该是触发了什么BUG
      私信我也看不见，我在这里继续回复你
      那两个参数是在optimization里写的，不仅可以写int8，也可以写int16
      如果softmax在最后一层，那么softmax以int类型输出后，尾部会被额外添加一个反量化算子，所以最终的输出还是float32
      2024-11-19
      0
  • 皮卡丘
    Lv.2
    已解决。
    quant_config.json 配置 "op_config": {"Softmax": {"qtype": "float16"}} 无效果
    配置"op_config": {"Softmax": {"qtype": "int16"}} 成功使Softmax运行在BPU上
    2024-11-20
    0
    2
    • yy1234回复皮卡丘:

      请问是op_config": {"Softmax": {"qtype": "float16"}}这样配置的话， softmax运行在cpu了吗

      2024-11-20
      0
    • 皮卡丘回复yy1234:

      是的

      2024-11-21
      0