专栏算法工具链【J5】matmul算子是否只支持int8输入

【J5】matmul算子是否只支持int8输入

已解决
YUANYI2025-10-30
46
2
平台:J5
问题:请问不论是PTQ还是QAT,matmul算子是不是只支持in8类型的输入?(在QTA流程中编译HBM模型的时候,会提示matmul算子的输入类型必须是int8,否则将会报错)
算法工具链
征程5技术深度解析
评论1
0/1000
  • DR_KAN
    Lv.4

    是的,双输入和输出均只支持int8

    2025-10-30
    0
    1
    • YUANYI回复DR_KAN:

      感谢解答。请问这个算子导致掉点较多是否有优化方向呢~

      2025-10-30
      0