j6m ptq 时候能否将calib batch 设置大一点

谢谢， 我使用hb_compile 方式基于onnx 量化的， onnx目前的输入为 4*3*800*1024，10*128*128， 4*4*4 这种，实际batch size =1, 请问我怎样增大calib batch， 是将onnx 导出成动态batch吗 ，或者还有其他方式？

是的 可以在导出onnx时候将其设置成动态输入的

重新导出下onnx你先试下

或者修改你的ptq配置文件也可以

在input_parameter参数组，里面有个key是input_batch 你将其设置成4在试下

谢谢， 我这里 输入 4*3*800*1024 ，4*4*4 这些实际组成一组（4个相机图像作为一次推理输入） ，即 1*4*3*800*1024，1*4*4*4， 如果改成dynamic batch 那就要拓展一个batch维度？

你就看你的onnx模型是怎么输入的 ，batch是多大 ，你调整input_batch就可以了 , 确保跟你的onnx输入对上,你这个四个相机输入的，那在模型入口应该有四个不同input吧？因为每个相机图像有不同的含义。你用netron看下你的模型输入是怎么样的。如果是四个分开的input，那你就需要改你的config文件，校准集四个输入对应的不同路径，剩下的参数也需要复制成一样的。你可以直接用hb_config_generator生成一样模板config然后在对其参数进行i需改。

类似 这样， 5个周视相机进行同步 作为一组

那这样还是只有一个input单输入模型 ，你把你的数据，五个相机的数据，数据前处理时候 在dim=0维度concat在一起就可以了 ，作为一个输入，不过要注意concat的顺序 ，

也就是说， 我的onnx 不用重新生成， 只需要保证输入数据连接好，修改input_parameter中的input_batch参数，如 input_batch = 4， 即将4个 5*3*256*704的数据cat 组成1个npy，其他输入类似处理？

应该不用将四个样本链接在一起吧只需要 5*3*256*704然后把input_batch设置成4他从校准集读取样本的时候就会默认四个为一批的去校准

多谢~，我试一试

嗯呢 ，你先试下。如果不型的话。那说明还是得从onnx输入上面改动 ，加一维，然后加的这一维度设置成batch数量，

好

input_batch为转换后上板hbm模型输入batch数量而我这边依然希望上板推理也是5*3*256*704 数据 （5个相机各取一帧的数据， 这些数据在网络中有交互），所以修改input_batch 不行

因为你的onnx模型输入已经固定了即 5*3*256*704，所以 你传入的数据也只能是这样的，你可以试着将前面两个维度展平变成(15,256,704)然后扩展维度（batch，15，256，704），这样的话你的原始模型可能要重新训练重新导出onnx

好， 这样就是改的网络结构比较多，要空出一个batch维度贯穿整个网络。

是的 ，因为目前常见的数据维度都是（B,C,H,W）,一般都是四个维度。所以咱们也尽量遵循这样使用，

这里面C,H,W就相当于你的一个完整样本(五个相机各取一帧)。然后再加一个B维度，就可以以bchw格式输入了。不过挺有意思的是看你这个onnx输入这五帧图像不是分开输入，而是作为一个batch整体为一个样本输入。但是您要求在加一个batch。相当于对一叠图像（一个批量），在叠成一叠，就好像是(B,B,C,H,W)一样

如果在数据前处理阶段将8张3x224x224 图片在dim=0维度拼接在一起呢 作为一个batch，这样是否可以呢

然后 separate_batch : False

提示的什么

那如果你导出来onnx时候直接指定输入是8 ，3 ，224 ，244 呢

现在你的onnx模型图输入是8，3。224。224吗

@huanghui, 我这边仅仅希望在ptq 校准的时候使用 多batch， 而推理的时候还是使用单batch

刚和他们讨论了一下，onnx模型batch需要指定为1，他在推理时候，会优先使用batch 8，到那时遇到特殊情况 会回退到1.

你如果不设置input batch参数呢，这个好像是他默认会优先使用batch为8的批量，

纠正下，是在校准时候会优先使用batch为8的批量

推理时候就是一张一张推理的

明白了， 这个8 是hb_compile 里面写死了（我刚刚跑了一下，onnx 导出的dim_0 =1,在config里面 input batch 不设置），和你说的是一致的，再次谢谢。

如果还想增大校准时期的batch size,是否有方法修改这个默认的 batch 8 呢

可以调大的，但是校准集个数必须是batch的整数倍。比如你将batchsize设置16，那么你的校准集个数就必须能除尽16