专栏算法工具链板端工具hrt_model_exe与hrt_bin_dump的使用与区别

板端工具hrt_model_exe与hrt_bin_dump的使用与区别

已解决
StoneZ2024-07-03
39
3
板端使用hrt_model_exec infer 子命令,参数--dump_intermediate=2可以得到模型每一层的输出。
工具hrt_bin_dump使用编译的debug模型,配置conv_mapping_file,也可以获取模型的每一层输出。

这两个工具获得模型的每一层输出会有区别吗?为什么后者需要使用debug模型?

算法工具链
征程5
评论1
0/1000
  • kotei左文亮
    Lv.3
    hrt_model_exec 是一个模型执行工具,可直接在开发板上评测模型的推理性能、获取模型信息。 一方面可以让用户拿到模型时实际了解模型真实性能;

    另一方面也可以帮助用户了解模型可以做到的速度极限,对于应用调优的目标极限具有指导意义。

    dump模型每一层输入和输出

    dump_intermediate=0 时,默认dump功能关闭。
    dump_intermediate=1 时,模型中每一层节点输入数据输出数据以 bin 方式保存, 其中 BPU 节点输出为 aligned 数据。
    dump_intermediate=2 时,模型中每一层节点输入数据和输出数据以 bin 和 txt 两种方式保存,其中 BPU 节点输出为 aligned 数据。
    dump_intermediate=3 时,模型中每一层节点输入数据和输出数据以 bin 和 txt 两种方式保存,其中 BPU 节点输出为 valid 数据。
    hrt_bin_dump 是 ptq debug模型的layer dump工具,工具的输出文件为二进制文件。模型layer配置文件,配置文件中标明了模型各层信息,在模型编译
    过程中生成。文件名称一般为: model_name_quantized_model_conv_output_map.json。
    2024-07-03
    0
    2
    • StoneZ回复kotei左文亮:

      感谢您的回复。我这里还有一些不明白,ptq debug模型与普通runtime模型有啥区别吗?


      2024-07-03
      0
    • kotei左文亮回复StoneZ:
      ptq debug模型里有很多layer配置信息,方便查看模型layer信息。而runtime使用的优化之后的bin模型效率会更高,实际部署用的是后者。
      2024-07-04
      0