专栏算法工具链J6B怎么消除int64类型的CPU的cast算子

J6B怎么消除int64类型的CPU的cast算子

已解决
刃木2025-12-30
60
6

OE版本3.7/3.4

J6B的TopK算子返回的indices的int64类型,这个类型后面接了乘以浮点类型的运算,会引入cast的CPU算子,查看手册J6B目前的cast BPU算子最多只支持int32,有什么方法能消除这个cpu 的cast算子?

Onnx算子如下图

算法工具链
征程6
评论2
0/1000
  • YCJ
    Lv.4

    您好!您可以在yaml文件的模型参数组 remove_node_type 字段配置"Cast" ,这样在生成hbm模型的时候,工具链会自动帮您去除模型开头或者末尾 cast算子

    2025-12-30
    0
    4
    • 刃木回复YCJ:

      cast算子不在模型开头和结尾,而是模型中间的topK算子的 索引得到的indices数据,和浮点相差的时候会引入cast转换

      2025-12-30
      0
    • YCJ回复刃木:

      您方便分享模型吗?您的onnx模型和yaml校准文件,我这边复现一下

      2025-12-30
      0
    • YCJ:

      方便的话可以发邮箱到873651674@qq.com

      2025-12-30
      0
    • 刃木回复YCJ:

      发送过去了,出问题的相关onnx算子的截图也添加在上面的问题描述里面了

      2025-12-30
      0
  • Huanghui
    Lv.5

    你好,注意到您是在 J6B 上进行业务开发,J6B应该是有专门工具链得同事进行对接支持得,我们对J6B使用较少,请联系一下接口人员获得帮助呢,感谢理解。

    2025-12-30
    0
    0