专栏算法工具链多输入模型的部署输入问题

多输入模型的部署输入问题

已解决
默认696002025-12-22
63
3

芯片：J6

工具链：3.2.0

模型：八输入头-目标检测模型

问题背景：目前已经得到了量化后的hbm模型，hbm模型总共有八个输入头；在进行模型量化时，已经得到了作为校准数据集的8份npy文件，对应着onnx的八个输入头；onnx模型和hbm模型的输入如下图所示。

问题描述：请问这八份npy文件能否直接作为部署时hbm模型的输入数据？如果可以的话，应该如何在部署代码中加载这些npy文件呢？目前在oe包中，只找到了单输入头模型的部署代码文件，无法作为参考

算法工具链
征程6
评论1
0/1000
  • YCJ
    Lv.4

    您好，首先您的八份npy文件是可以直接作为部署时hbm模型的输入数据的。在板端部署时，您可以使用cnpy库去加载您的npy文件（OE包里有这个库，目录在horizon_j6_open_explorer_v3.2.0-py310_20250616/samples/ucp_tutorial/tools/hrt_model_exec/src/cnpy），然后将它们对应拷贝到每个输入头的地址上。但要注意stride空间对齐问题（该问题可参考https://developer.horizon.auto/blog/13210）

    2025-12-23
    0
    2
    • 默认69600回复YCJ:
      感谢答疑zuoyi_org.svg；我看了这个stride空间对齐的帖子后，用 HBRuntime推理库 试了下onnx和bc模型的推理，发现二者的推理结果相差极大，烦请您移步新帖https://developer.horizon.auto/forum/13259，非常感谢
      2025-12-23
      0
    • YCJ回复默认69600:

      ok，那这个帖子我先关了！

      2025-12-26
      0