在用hbm模型用hbruntime推理之后 ,输出的结果类型是什么呢,也是经过量化后的结果还是保持f32呢,我用hbruntime推了一下 看了下output类型 是f32的,但是不确定结果是不是本就该这个类型
1. 直接从模型角度上看就OK了, hbm模型的输入输出相关信息通过hrt_model_exec model_info --model_file model就可以看具体输入输出的个数,shape以及数据类型等信息,这些信息可以为模型的输入准备,输出处理提供依据。2. 影响模型输入输出类型的配置是由模型转换过程决定的,PTQ流程中配置项 remove_node_type 以及QAT过程脚本scripts/tools/compile_perf_hbir.py中的 remove_quant_dequant 都会对hbm模型的输入输出产生影响。