专栏算法工具链PTQ过程能否通过GPU来加速

PTQ过程能否通过GPU来加速

fataJtz19小时前
39
3

目前安装了gpu版的oe-docker，想问一下PTQ量化过程中能否使用gpu加速，没有找到相关文档说明。

算法工具链
技术深度解析征程6
评论1
0/600
  • XZH
    Lv.2

    在模型校准的时候会使用GPU来进行加速，但是图优化和编译是在CPU上进行的

    18小时前
    0
    2
    • fataJtz回复XZH:
      请问如何判断在校准过程中使用了gpu加速，如下是我的部分量化日志
      3小时前
      0
    • XZH回复fataJtz:

      首先确保当前docker环境使用的是GPU版的onnxruntime，通过ort.get_available_providers()来看是否有CUDAExecutionProvider。之后在进行量化的时候可以新开一个终端去watch - n 1 nvidia-smi，进入到calibration的时候GPU是参与了运算的。

      2小时前
      0