J6M
OE包 3.031
问题:模型转换
hb_compile工具转hbm文件时,是否支持配置动态abtch?如果支持能否给个yaml的例子

J6M
OE包 3.031
问题:模型转换
hb_compile工具转hbm文件时,是否支持配置动态abtch?如果支持能否给个yaml的例子




你好,你的onnx模型的输入batch大小是怎么样的,你这里就需要准备同样维度的数据。举个例子就比如,你的onnx模型输入是8*3*224*224,那你在准备校准集时候直接把八张图像cat在一起作为一个sample输入,转换成hbm模型之后,推理数据也需要八张八张的送进去推理。如果你的onnx是1*3*224*224,而yaml里面你的batch设置的是8,那么校准集就不要cat在一起就单独准备1*3*224*224(这里不需要在unsqueeze了直接就单张图像J就ok,内部会unsqueeze成1*3*224*224),但是推理仍然要八张八张准备(8*3*224*224)。