专栏算法工具链hbDNNInferV2推理接口异常，需要不正常的mem size

hbDNNInferV2推理接口异常，需要不正常的mem size

已解决
皮卡丘2024-08-27
95
14

用户您好，请详细描述您所遇到的问题，详细的描述有助于帮助我们快速定位，解决问题~Thanks♪(･ω･)ﾉ

1. 芯片型号：J6

2. 天工开物开发包 OpenExplorer 版本：horizon_j6_open_explorer_v3.0.17-py310_20240705.tar.gz

3. 问题定位：板端部署

4. 问题具体描述：推理接口hbDNNInferV2调用异常，需要不正确的mem size

算法工具链
征程6
+1
评论4
0/1000
  • DR_KAN
    Lv.4

    1024x2500确实是2560000，你可以用hrt_model_exec的model_info功能看下这个模型的输入信息是否正常

    2024-08-28
    0
    7
    • 皮卡丘回复DR_KAN:

      一切正常

      2024-08-28
      0
    • DR_KAN回复皮卡丘:

      可以试一下用hrt_model_exec的perf功能能不能在板子上跑起来，如果能跑起来，说明代码写的有问题，如果hrt工具也报了相同的错，那就是模型编译的时候出的BUG

      2024-08-28
      0
    • 皮卡丘回复DR_KAN:

      下面信息是使用hrt_model_exec model_info查看出来的

      2024-08-28
      0
    • DR_KAN回复皮卡丘:

      用perf功能评测性能的时候也报了和你一样的错吗

      2024-08-28
      0
    • 皮卡丘回复DR_KAN:

      使用perf功能，模型能推理，但需要花费异常多的时间。经过测试，perf为输出tensor申请了663552000的错误内存

      2024-08-30
      0
    • DR_KAN回复皮卡丘:

      那应该可以确定是个编译bug了，最好在项目上找下支持资源，把模型提供给地平线做一下分析和问题修复

      2024-08-30
      0
    • DR_KAN回复皮卡丘:

      运行hrt工具的时候还可以加上参数 --profile-path . 会保存日志记录到底是哪里产生了大量耗时

      2024-08-30
      0
  • 费小财
    Lv.5

    你这个看上去像是申请的跟使用的数据量不一样呢，申请是不是少了，可以加一些检查的

    2024-08-27
    0
    2
    • 皮卡丘回复费小财:
      我确定申请并没有少，是正常的。对模型进行不同情况的编译，相同的tensor，hbDNNInferV2会需要不同的mem size。有检查的api吗？
      2024-08-27
      0
    • 皮卡丘回复皮卡丘:

      同时，申请的mem size是自动计算的，计算逻辑如下：

      2024-08-27
      0
  • Pipeline
    Lv.2

    这个你得检查一下业务代码，输出tensor申请的mem不够大

    2024-08-27
    0
    1
    • 皮卡丘回复Pipeline:
      输出tensor申请的mem是正常的，hbDNNInferV2需要的大小是异常的，它需要600M
      2024-08-27
      0
  • 皮卡丘
    Lv.2

    可以看到tensor的shape [2500,1,256]，无论如何，663552000这个required mem size，相对tensor shape而言，太过巨大了

    2024-08-27
    0
    0