专栏算法工具链PTQ&QAT在J5及J6上的异同点分析

PTQ&QAT在J5及J6上的异同点分析

已解决
郭树伟2024-06-05
76
2

分析一下PTQ&QAT在J5及J6上的异同点吗?

算法工具链
评论2
0/1000
  • Pipeline
    Lv.2

    PTQ:J6上预处理节点在量化模型quantize.bc才插入,所以校准数据集需要提前进行归一化操作,另外增加预量化阶段,方便排查问题。

    QAT:校准和qat训练与J5没有差别,导出链路需要根据nash架构对应的编译器做替换

    2024-06-05
    0
    0
  • gaoh
    Lv.1

    相同点在于模型校准和量化的流程以及原理是一致的,接口上也会尽可能保持兼容;

    不同点在于完成模型的量化和导出部署模型,这部分在征程6上由编译器完成,并且在IR-level。

    2024-06-05
    0
    0