专栏算法工具链有关激活校准和权重校准中scale和thresholds的问题

有关激活校准和权重校准中scale和thresholds的问题

已解决
Vincent2025-01-15
57
2

比如在非对称量化过程中,在激活(FM层)校准过程中我们需要计算scale和zeropoint,是通过输入校准数据来计算min,max确定thresholds,接着在求得scale和zeropoint。那么在权重校准过程中,是不是就不需要用到校准数据了?直接求某个节点权重值的min和max确定其thresholds,然后➗255求得scale?

算法工具链
征程6
评论1
0/1000
  • Huanghui
    Lv.5

    你的这个理解大方向是对的,校准数据主要用于校准 activation激活数据的量化参数,对与weight数据,校准过程不依赖校准数据,但是,目前工具链有些情况下会把激活过程得到的校准参数转嫁到weight中进行表示,所以 weight 的量化参数还是会受 activation 参数的影响。另外 权重值 量化通过 min和max 进行计算我理解是OK的,不过工具链内部后续还会进行一些偏差矫正的工作,所以scale可能还会有一点的变动。

    2025-01-15
    0
    1
    • Vincent回复Huanghui:

      懂了感谢指导

      2025-01-16
      0