j6 hrt_model_exec工具infer接口对大尺寸输出不完整问题

已解决

yy12342025-03-25

您好，

工具版本：

[UCP]: log level = 3 [UCP]: UCP ve -vrsion = 3.2.3 [VP]: log level = 3 [DNN]: log level = 3 [HPL]: log level = 3 [UCPT]: log level = 6 [DSP]: log level = 3 [DNN] HBTL_EXT_DNN log level:6

模型输出信息：

output[0]: name: _output_0

valid shape: (1,200,200,16,18,)

aligned byte size: 20480000

tensor type: HB_DNN_TENSOR_TYPE_S8

quanti type: SCALE

stride: (20480000,102400,512,32,1,)

scale data: 0.446663,

zero_point data: ,

使用以下命令进行推理：./hrt_model_exec infer --model_file model_0318.hbm --input_file ...input... --enable_dump=true --dequantize_process=true --dump_format bin

其中--dequantize_process=true或false时保存的bin文件大小均为20480000字节，字节数和模型实际应该输出的字节不符合，请问是因为模型输出太大，超过保存bin文件的上限了吗？

--dequantize_process=true --dump_format txt时，保存的输出txt文件统计下来共含有5120000个浮点数字；

--dequantize_process=false时，保存的输出txt文件，有20480000个整形数字。

共尝试是否进行反量化操作及保存为bin或txt四种方式，看起来输出txt中数字的个数或bin文件通过字节数算出的数字个数只有 --dequantize_process=false，输出txt文件时的输出个数是对的，和 aligned byte size一致，其他三种方式为什么不对呢？

请教这个问题是发现pc与板端不一致，排查时发现的。模型输出的valid_shape(1,200,200,16,18,)应该是硬件对齐到了 (1,200,200,16,32,)，因此 aligned byte size: 20480000 ，那我在与pc端结果对比时 valid_data取自 aligned_data[:,:,:,:,0:18]就应该可以了吧

算法工具链

征程6

0/1000

Huanghui
Lv.5
你好，dequantize_preprocess为false，dump_format为bin时候，这里bin保存的就是int8量化数据吧，没进行反量化说明直接以int8类型保存，int8类型占一个字节，所以bin文件字节个数也是20480000吧，跟txt一样
2025-03-26
0
0
Huanghui
Lv.5
当dequantize_preprocess为true，进行反量化会float32，是int8类型的四倍字节个数，所以txt输出是20480000/4个浮点个数
2025-03-26
0
2
- Huanghui回复Huanghui:
  5120000
  2025-03-26
  0
  回复
- yy1234回复Huanghui:
  您说的和工具推理的一致。但是模型的 valid shape: (1,200,200,16,18,) ，aligned shape : (1,200,200,16,32,) ，反量化后实际不是应该输出200x200x16x32 = 20480000 个浮点数字吗？现在输出的字节数是这么大，四个字节代表一个fp32数据，浮点数的个数 5120000 就减少到了四分之一。反量化不应该是对每一个整形数乘以scale获取的吗，为什么数量还减少了呢
  2025-03-26
  0
  回复
Huanghui
Lv.5
这个问题解决了吗？ valid_data取自 aligned_data[:,:,:,:,0:18]可以吗？
2025-07-09
0
0