专栏算法工具链hbm模型推理

hbm模型推理

已解决
老超20242024-10-12
254
14

您好，问题如下，~Thanks♪(･ω･)ﾉ

1. 芯片型号：j6e

2.计算平台: x86仿真环境

2. 天工开物开发包 OpenExplorer 版本：v3.0.22

3. 问题定位：模型推理

4. 问题具体描述：模型在PTQ转换时，由于模型第一个输入的第一维不为1，根据开发文档将相应input_type_train， input_type_rt置为featuremap。

转换结束后成功后生成hbm模型。使用hrt_model_exec工具查看model_info有如下结果：

目前存在两个问题需要请教一下：

  1. 在X86仿真环境中基于C++对hbm模型进行推理时，input.1的格式要求是featuremap，请问在设置这个输入时是否可以直接使用一个简单的卷积网络将6张图片转换为6x3*256*704的featuremap，还是有其他特殊操作？

  2. 工作目录：samples/ucp_tutorial/dnn/sparse4d/code/00_quick_start，依据modelinfo提供的四个输入，按照维度设置简单输入，执行运行脚本后，一直出现以下log，可以成功推理但推理时间很长，请问导致以上问题出现的原因可以从哪些方面排查？
算法工具链
征程6
评论1
0/1000
  • Huanghui
    Lv.5

    你好，该问请参考（释放材料中）以下信息：

    由于PTQ方案batchn Pyramid的支持方案还在设计中，因此用户暂时无法通过配置yaml文件中的相关参数直接编译出可上板推理的batchn Pyramid模型。因此若您的模型输入shape第一维不等于1，请务必将input_type_train和input_type_rt参数配置为featuremap。

    在PTQ方案中，如果希望部署时每个batch的数据可以来源于不同的内存地址，可先使用hb_compile工具生成*ptq_model.onnx 之后通过如下代码将模型输入沿batch维度拆开，并插入前处理节点和格式转换节点：

    随后，使用hb_compile工具，将yaml文件中的model路径改为quantized.bc的路径，完成删除节点和模型编译的过程。

    2024-10-12
    1
    13
    • 老超2024回复Huanghui:
      您好，感谢回复！这段材料已经参考了。模型输入shape第一维不等于1，请务必将input_type_train和input_type_rt参数配置为featuremap。

      仅参考这一条，PTQ可以成功转换。

      目前没有对模型输入沿batch维度拆分，请问第二个问题中推理耗时时间较长跟没有沿batch拆分有关系吗？

      2024-10-12
      0
    • Huanghui回复老超2024:

      这个我目前的判断是跟拆分与否是没有关系的，而是仿真环境才有的日志，原因的话应该是模型比较大而仿真效率目前还不够高导致的，如果有板子可以去板子上在搞一下看看是不是还有同样的提示。另外那个知识一个日志提示，你也不必过于在意，有日志打印总比啥都不输入就让你干巴巴的等待要好很多，至少不会让人认为内部卡死了。

      2024-10-12
      0
    • 老超2024回复Huanghui:

      好的，谢谢


      2024-10-12
      0
    • 老超2024回复Huanghui:

      您好，在使用上述代码模块对模型输入沿batch维度拆分时出现以下报错，请问该报错跟hbdk4的版本相关吗？

      2024-10-14
      0
    • Huanghui回复老超2024:

      你好，模型可以发一下不，还有你的yaml文件

      2024-10-14
      0
    • 老超2024回复Huanghui:

      您好，由于模型较大无法直接上传，现已上传百度网盘。链接如下：

      链接: https://pan.baidu.com/s/1si1RNrp6YhdNKHlEreeIUQ?pwd=1234 提取码: 1234

      2024-10-14
      0
    • Huanghui回复老超2024:

      收到，附件有点大，我下载了复现一下看看哈

      2024-10-15
      0
    • 老超2024回复Huanghui:

      好的，非常感谢！

      2024-10-15
      0
    • 老超2024回复Huanghui:

      您好，我使用python脚本 samples/ai_toolchain/horizon_model_train_sample/scripts/tools/infer_hbir.py 对PTQ量化得到的bc模型进行可视化推理时存在以下报错，请问该问题与模型PTQ量化时的配置有关吗？使用的量化yaml文件同上。

      2024-10-15
      0
    • Huanghui回复老超2024:

      这样，你通过另一个帖子来跟踪这个量化后测试的这个问题，该帖子用与跟踪模型编译转换的就OK了，尽量不在同一帖子中跟踪多个问题


      2024-10-15
      0
    • 老超2024回复Huanghui:

      好的，那我新开一个贴子吧

      2024-10-15
      0
    • Huanghui回复老超2024:

      Hello，我看你给的是个PTQ的程序要。PTQ的原始float.onnx可以分享一下吗？你给的这个没法进行后面步骤

      2024-10-15
      0
    • 老超2024回复Huanghui:

      感谢您的帮助！ float.onnx已上传至百度网盘，链接: https://pan.baidu.com/s/15iTVDbefsVZonEiqBFLeMw?pwd=1234 提取码: 1234

      2024-10-15
      0