专栏算法工具链hbm模型推理输出结果反量化

hbm模型推理输出结果反量化

已解决
老超20242024-10-31
137
8

您好，~Thanks♪(･ω･)ﾉ

1. 芯片型号：J6E

2. 板卡类型：推理环境为X86

3. 天工开物开发包 OpenExplorer 版本：v3.0.22

4. 问题定位：hbm模型推理

5. 问题具体描述：

如下图，当前基于模型输出接口信息对其进行反量化操作，根据文档说明对输出进行减零点乘scale操作，但输出的结果与bc模型输出的结果不一致。

反量化代码如下：

输出对比结果如下：


算法工具链
评论3
0/1000
  • Huanghui
    Lv.5

    收到，先看看哈！

    2024-10-31
    0
    5
    • 老超2024回复Huanghui:

      请问针对这个输出信息，反量化函数实现有问题吗？

      2024-10-31
      0
    • Huanghui回复老超2024:

      你好，排查了一下，你的这个代码是有问题的：根据stride信息可以推算出模型输出的aliged shape为（1, 512, 16），你在遍历数据时offset没对。


      2024-10-31
      0
    • 老超2024回复Huanghui:

      重新写了一个，感觉结果比之前要好一些。

      2024-10-31
      0
    • Huanghui回复老超2024:
      2024-10-31
      0
    • 老超2024回复Huanghui:

      使用hbm模型推理后的可视化结果如下：




      使用bc模型推理后的可视化效果：

      不太清楚是投影矩阵作为输入没有给对还是量化精度导致这种误差出现。

      其中投影矩阵作为输入：

      其中打印 input_tensor[12].sysMem.memSize = 96，而aligned byte size = 128，有点不太理解。

      2024-10-31
      0
  • Huanghui
    Lv.5

    这个应该就是推理的图片与投影矩阵没对齐导致的，目前这个问题已经解决了是吧

    2025-02-05
    0
    0
  • Huanghui
    Lv.5

    客户您好，长时间未收到你的答复，相信问题已解。如对此尚存疑问欢迎新帖讨论，感谢您的参与！

    2025-07-09
    0
    0