hrt_model_exec 是一个模型执行工具,可直接在开发板上评测模型的推理性能、获取模型信息。 一方面可以让用户拿到模型时实际了解模型真实性能;
另一方面也可以帮助用户了解模型可以做到的速度极限,对于应用调优的目标极限具有指导意义。
dump模型每一层输入和输出
dump_intermediate=0 时,默认dump功能关闭。
dump_intermediate=1 时,模型中每一层节点输入数据输出数据以 bin 方式保存, 其中 BPU 节点输出为 aligned 数据。
dump_intermediate=2 时,模型中每一层节点输入数据和输出数据以 bin 和 txt 两种方式保存,其中 BPU 节点输出为 aligned 数据。
dump_intermediate=3 时,模型中每一层节点输入数据和输出数据以 bin 和 txt 两种方式保存,其中 BPU 节点输出为 valid 数据。
hrt_bin_dump 是 ptq debug模型的layer dump工具,工具的输出文件为二进制文件。模型layer配置文件,配置文件中标明了模型各层信息,在模型编译
过程中生成。文件名称一般为: model_name_quantized_model_conv_output_map.json。