采用原生yolo的pt模型进行迁移问题

已解决

浮浮浮2025-12-15

155

目的：进行yolo模型移植到j6m板子

yolo模型是v11的，模型是个pose模型，有13个通道，1到4是box，5是置信度，剩下8个通道表示4个点。

1088的模型检测的时候，看结果剩下的12个通道都有数据输出。下面的两个yaml是我用来转换onnx->hbm的yaml

问题：

用的原生的yolo的pt模型是1088*1088的，我将其转换成640*640的onnx，再转换成640*640的hbm，放在板子上运行，

这个hbm是能正常工作的。

但是我将该pt模型转成1088*1088的onnx(1088*1088的onnx是经过py验证是ok的)，再转成1088*1088的hbm后，

在板子上运行，置信度的通道消失了，输出全是0了。

该问题有几种排查方向。

附件:

yaml.zip

算法工具链

征程6

0/1000

Vincent
Lv.4
你好，问题具体是什么呢，我看问题描述里面没有提到
2025-12-15
0
9
- 浮浮浮回复Vincent:
  原生yolo模型输入是 1088*1088 ，做了转换，转换成两种hbm，一个 640*640 ，一个 1088*1088 ，在板端推理的时候， 1088*1088 的hbm置信度为0。您那边还需要哪些其他的额外信息，我补充进来。
  2025-12-15
  0
  回复
- Vincent回复浮浮浮:
  这个模型是yolo哪个版本的？另外640得没有问题吗？1088的是检测不出来东西？
  2025-12-15
  0
  回复
- 浮浮浮回复Vincent:
  yolo模型是v11的，模型是个pose模型，有13个通道，1到4是box，5是置信度，剩下8个通道表示4个点。1088的模型检测的时候，看结果剩下的12个通道都有数据输出。我更新两个yaml用来转换onnx->hbm的yaml
  2025-12-15
  0
  回复
- 浮浮浮回复Vincent:
  2025-12-15
  0
  回复
- Vincent回复浮浮浮:
  这个1088的模型你在主机端用hb_runtime推理情况是怎样的？
  2025-12-16
  0
  回复
- Vincent回复浮浮浮:
  另外这个置信度通道全为0，这个是模型直接输出未经过过滤的检测结果吗？
  2025-12-16
  0
  回复
- Vincent回复浮浮浮:
  如果可以的话是否可以将模型文件打包过来呢？
  2025-12-16
  0
  回复
- Vincent回复浮浮浮:
  另外这个oe版本麻烦告诉我下
  2025-12-16
  0
  回复
- 浮浮浮回复Vincent:
  3.2.0
  2025-12-22
  0
  回复
浮浮浮
Lv.1
感谢支持。根据您的回复我们将进行尝试，后续有问题在沟通。
您的回复：重新发的包里面的onnx（两次包onnx的md5值不一样，以最新的这个包为准），复现出来置信度不是全为0，也有值但是置信度比较低。原因在于准备校准集时图像没有归一化处理。所以需要加上归一化重新准备校准集。
您的建议：先加上归一化后重新量化编译一个模型出来。然后在板端使用hrt工具去推理，把结果保存下来。看看是否置信度比较高。
您的复现结果：重新加上归一化准备的校准集，并用新的校准集量化出的hbm模型。这是拿图像在板端使用hrt工具推理的结果。置信度是很高的，相较于原始onnx模型几乎没有损失。
2025-12-31
0
0
浮浮浮
Lv.1
大佬能提供一个邮箱吗？我发模型过去
2025-12-22
0
10
- YCJ回复浮浮浮:
  您好！您可以把onnx模型、校准集、yaml文件以及板端推理工程打包发到873651674@qq.com。我们这边帮你复现一下问题。（板端推理您是使用hrt工具推理的还是自己写代码推理的？如果是后者就把板端推理工程代码也打包！）
  2025-12-26
  0
  回复
- 浮浮浮回复YCJ:
  已发送，使用的hrt
  2025-12-26
  0
  回复
- YCJ回复浮浮浮:
  您好，你没有给我校准集，您给的是原始图片。我现在还需要的是：1.您用py验证onnx的推理脚本。2.您的前处理的代码逻辑（也就是您准备校准集的脚本）
  2025-12-26
  0
  回复
- 浮浮浮回复YCJ:
  calibration_raw_images.zip
  链接: https://pan.baidu.com/s/1IS6DMoF98mZ1N40OZk7sdQ?pwd=ts5j 提取码: ts5j
  2025-12-26
  0
  回复
- 浮浮浮回复YCJ:
  resize的py脚本已发送邮件
  2025-12-26
  0
  回复
- YCJ回复浮浮浮:
  您板端推理数据需要准备nv12类型的数据。您准备nv12的数据和脚本也需要发我一下。
  2025-12-26
  0
  回复
- 浮浮浮回复YCJ:
  发送的py脚本就是准备nv12数据的
  2025-12-26
  0
  回复
- YCJ回复浮浮浮:
  您再仔细检查一下呢，我收到的是 prepare_npy_1088.py准备校准数据的文件。我还需要的是您板端推理使用的nv12数据
  2025-12-26
  0
  回复
- 浮浮浮回复YCJ:
  nv12数据可能没法提供，因为是直接接的视频流，脚本稍等一下
  2025-12-26
  0
  回复
- 浮浮浮回复YCJ:
  infer_folder_hbm_yolo.py：在docker开发环境里面远程调用板子算力然后在docker识别的py脚本
  new.cc：是我直接在板子上编译的cpp文件
  这两个是我用来测试的脚本，识别的是rgb的图片，不是nv12
  2025-12-26
  0
  回复