专栏算法工具链如何查看算法工具链中QAT过程下输入模型的量化数据

如何查看算法工具链中QAT过程下输入模型的量化数据

已解决
默认193602024-05-31
100
5

想请教一下，根据对QAT的理解，在对量化后的模型进行推断时，需要输入模型为量化数据，现在需要验证板端模型的代码是否是正确的，所以需要比对输入和输出模型的量化数据是否是一致的，但是问题在于不清楚OE包中对输入模型的数据进行量化的操作是在哪里，也就是如何查看量化数据呢？

算法工具链
评论4
0/1000
  • 默认19360
    Lv.1
    您好，我参考教程使用hbdk-model-verifier进行验证时出现如下报错，执行的命令是：hbdk-model-verifier --hbm model.hbm --model-pt model.pt，采用随机的输入，想请教下是否需要进行某些额外的修改呢？
    2024-06-04
    0
    1
    • kotei左文亮回复默认19360:

      抱歉这么久没回复，您这是又提出了一个新问题，不知道您解决了没有，方不方便发一个新帖子，我们这边有专人来解答。

      2024-06-28
      0
  • kotei左文亮
    Lv.3

    问题已经收到，我们先分析一下。

    2024-06-03
    0
    0
  • 默认19360
    Lv.1

    您好，我有个疑惑想了解，我们训练模型的方法是使用地平线提供的denseTNT示例代码，采用QAT的流程，如果保证输入模型的量化数据是一致的，那么在OE环境下训练出来的checkpoint量化模型输出和经过编译的hbm模型输出结果是完全一致的嘛？


    2024-06-03
    0
    0
  • Huanghui
    Lv.5
    你好，理论上量化的checkpoint模型的输出和编译的hbm模型输出结果是一致的，但因为host 和 board cpu架构和操作系统精度差异会有少许偏差。如果你的pt模型和你的hbm模型对齐存在问题可以尝试使用hbdk-model-verifier工具进行检查，hbdk-model-verifier的使用方法可以参考：hbdk-model-verifier与hbdk-sim工具使用教程。
    2024-06-03
    0
    0