专栏算法工具链hbm模型板端推理输入量化的问题

hbm模型板端推理输入量化的问题

已解决
老超20242024-11-05
70
5

户您好，~Thanks♪(･ω･)ﾉ

1. 芯片型号：J6E

2. 板卡类型：当前在X86环境推理

3. 天工开物开发包 OpenExplorer 版本：V3.0.22

4. 问题定位：板端部署

5. 问题具体描述：

基于C++对hbm进行推理，参看输入接口的量化对齐信息，有以下两个问题：
  1. 按照以下方式进行输入量化对齐设置，请问是否正确？

  2. memSize =96，alignedbytesize=128，两者为什么不相等呢？

算法工具链
评论2
0/1000
  • Huanghui
    Lv.5

    你好，以下是问题答案：

    1. 你的量化对齐方式的代码逻辑没有问题，但是dimensionSize[0]的值有问题，这里valideShape给出的6，实际从alignedbytesize进行推理计算可以的出dimensionSize[0]被padding到了8。

    2. memSize =96这个是你申请tensor时自己分配的大小吧，改一下代码分配内存就按照alignedbytesize分配就OK.

    2024-11-05
    0
    3
    • 驰回复Huanghui:

      请问为何6这一维度被padding到了8 有详细的对齐规则可以参考吗

      2024-11-05
      0
    • Huanghui回复驰:

      暂时没有对齐规则参考哈，已经给编译器组的同时提了，具体释放时间以组里的安排为准。

      2024-11-05
      0
    • 老超2024回复Huanghui:

      好的，谢谢。

      在prepare_tensor函数中分配内存时可设定 input_memSize = input[i].properties.alignedByteSize;即可解决。
      2024-11-05
      0
  • Huanghui
    Lv.5

    收到

    2024-11-05
    0
    0