专栏算法工具链请问在对输入手动量化时候如何处理？

请问在对输入手动量化时候如何处理？

已解决
luna2025-11-26
17
9

在对hbm推理时候因为已经去掉了量化节点，需要对其手动量化，通过hrt查看有些输入是通道量化，有多个scale，请问如何处理？

算法工具链
征程6
评论1
0/1000
  • Vincent
    Lv.4

    你好，是否有具体的输入信息，比如你用hrt查看的，请发一下 谢谢。

    2025-11-26
    0
    8
    • luna回复Vincent:

      类似于这个10个scale，如何进行量化呢？

      2025-11-26
      0
    • Vincent回复luna:

      你好 我写了个两个示例python与c++版本的你参考下

      2025-11-26
      0
    • Vincent回复luna:
      python版本的手动量化代码：
      2025-11-26
      0
    • Vincent回复luna:
      C++版本的手动量化代码：
      2025-11-26
      0
    • luna回复Vincent:

      好的 ，感谢

      2025-11-26
      0
    • Vincent回复luna:
      纠正一下上面是输入量化参考这个输入
      2025-11-26
      0
    • Vincent:

      10个scale的也一样

      2025-11-26
      0
    • luna回复Vincent:

      明白了感谢

      2025-11-26
      0