专栏算法工具链qat如何设置保留量化节点以及input_source相关问题

qat如何设置保留量化节点以及input_source相关问题

已解决
默认473282025-11-27
40
20
这个是bevformer的转hbm相关的config字段,,请问怎么设置保留量化节点
算法工具链
征程6
评论1
0/1000
  • Vincent
    Lv.4

    你好, qat里面好像没有remove,自带量化节点

    2025-11-27
    0
    19
    • 默认47328回复Vincent:

      这个是转hbm,肯定是移除了量化节点的。

      2025-11-27
      0
    • 默认47328:

      还有 input_source=["pyramid", "ddr", "ddr", "ddr"] ,这个是如何设置的,能解释一下吗

      2025-11-27
      0
    • Vincent回复默认47328:

      你用的是hat里面的吗?里面默认删除 如果不用那个hat自己hbdk导出时带remove的。

      2025-11-27
      0
    • Vincent回复默认47328:

      这个是默认的

      2025-11-27
      0
    • 默认47328回复Vincent:

      我想了解一下这是啥 ?为什么是3个ddr

      2025-11-27
      0
    • Vincent回复默认47328:

      pyramid这个好像是一个专门的器件 把数据放上去 ddr就是从内存中读取

      2025-11-27
      0
    • Vincent回复默认47328:

      就是这些输入从哪些地方读数据

      2025-11-27
      0
    • 默认47328回复Vincent:

      那为啥是3个?除了pyramid 图像之外,bevformer应当有6个bin文件输入。

      2025-11-27
      0
    • Vincent回复默认47328:

      这个pyramid是将图像输入放在这个加速器件上,剩余的输入在ddr上 ,这里只是三个ddr ,他会自动扩充.如果输入多的话.这个input_source只是指定数据读取的来源加速用的.

      2025-11-27
      0
    • Vincent回复默认47328:


      我在hb_compiler里面找到了这个,保存quant dequant结点的,但是还没发现具体是怎么调用的,可以试一下 把它设置成true
      2025-11-27
      0
    • 默认47328回复Vincent:

      也就是我输入6个,他这里设置3ddr也不影响吗?

      2025-11-27
      0
    • Vincent回复默认47328:

      是的

      2025-11-27
      0
    • 默认47328回复Vincent:
      我在代码里找到了去quant 和 dequant的代码
      2025-11-27
      0
    • 默认47328回复Vincent:
      我把这里注释掉之后遇到了点问题.
      2025-11-27
      0
    • 默认47328:

      这是模型信息,左是去掉量化及反量化节点。这个stride对吗

      2025-11-27
      0
    • Vincent回复默认47328:

      我算一下

      2025-11-27
      0
    • Vincent回复默认47328:

      F32四个字节 alignshape最后一维就是4,倒数第二维就是4*3,倒数第三维就是4*3*900,最后就是[10800,12,4]

      2025-11-27
      0
    • Vincent回复默认47328:

      另外分配内存直接看align_byte吧,这个内存对齐规则比较复杂,可能有不同情况。输入输出看align就可以。

      2025-11-27
      0
    • 默认47328回复Vincent:

      好的感谢

      2025-11-28
      0