专栏算法工具链PTQ&QAT 流程

PTQ&QAT 流程

已解决
郭树伟2024-06-05
48
1

可以介绍一下PTQ&QAT 的流程吗？

算法工具链
评论1
0/1000
  • gaoh
    Lv.1

    PTQ：开源框架下训练好的模型导出为ONNX格式，准备校准数据，直接使用hb_compiler工具完成量化和编译；

    QAT：pytorch框架下完成原始浮点模型训练后保存权重参数，使用qat工具提供的接口对模型代码做一些修改后加载浮点模型权重，完成校准、qat训练（可选）和量化编译过程。

    具体流程还请参考用户手册，预计本月底可以释放

    2024-06-05
    1
    0