专栏算法工具链hbm模型相关问题咨询

hbm模型相关问题咨询

已解决
默认383362025-04-23
70
7

您好，对于qat量化得到的hbm模型，有如下问题想咨询：

  1. hbm模型里是既可以有cpu上运行的算子也有bpu上运行的算子么？

  2. hbm模型里可以包含浮点运算吗，还是只能是int？

  3. j5平台有什么可以查看hbm模型各个算子信息（如数据精度等）的命令？ hrt_model_info 这个命令在我的oe包中没有。

 

算法工具链
征程5
评论3
0/1000
  • Huanghui
    Lv.5

    第三个问题：进入镜像了吗？ hrt_model_exec model_info --model_file 呢

    2025-04-24
    0
    1
    • 默认38336回复Huanghui:

      进入了，是j5的1.1.68镜像。这个命令是不是j6的？ hrt_model_exec model_info --model_file只有输入输出信息，我想看下模型内部各个算子的信息

      2025-04-24
      0
  • Huanghui
    Lv.5

    你好，不好意思，之前认为成J6的了。

    1.J5的异构模型是bin的，hbm模型是qat的过程产生的，算子应该都是在BPU上的，跑的是int8, int16的计算。

    2. hbm模型是编译后的产物，是作为一个整体的节点出现的，没法查看逐个算子的请情况。

    2025-04-24
    0
    2
    • 默认38336回复Huanghui:

      那qat过程中对于不支持在BPU上的算子是如何处理的？

      2025-04-24
      0
    • Huanghui回复默认38336:

      那就只能跑cpu了

      2025-07-08
      0
  • DR_KAN
    Lv.4

    你用hbm模型，那应该是QAT吧，QAT流程有专门的python api可以生成量化后的模型可视化结构图的，可以看下手册介绍哈，有个 horizon_plugin_pytorch.quantization.visualize_model

    2025-05-26
    0
    0