专栏算法工具链用hbm模型推理最终的输出结果

用hbm模型推理最终的输出结果

已解决
Vincent2025-01-15
82
1

在用hbm模型用hbruntime推理之后 ,输出的结果类型是什么呢,也是经过量化后的结果还是保持f32呢,我用hbruntime推了一下  看了下output类型  是f32的,但是不确定结果是不是本就该这个类型

算法工具链
征程6
评论1
0/1000
  • Huanghui
    Lv.5

    1. 直接从模型角度上看就OK了, hbm模型的输入输出相关信息通过hrt_model_exec model_info --model_file model就可以看具体输入输出的个数,shape以及数据类型等信息,这些信息可以为模型的输入准备,输出处理提供依据。

    2. 影响模型输入输出类型的配置是由模型转换过程决定的,PTQ流程中配置项 remove_node_type 以及QAT过程脚本scripts/tools/compile_perf_hbir.py中的 remove_quant_dequant 都会对hbm模型的输入输出产生影响。

    2025-01-15
    0
    0