J6 PTQ量化怎么指定gpu id

用cpu太慢了，用gpu会快一些

就是hb_compile --config xxx.yaml 应该是校验的时候用到gpu把。所以怎么指定呢？

关于 hb_compile 对GPU的使用，这里整体跟你说明一下：

hb_compile在calibration阶段会尝试使用GPU执行模型的forward推理以为calibration节点首收集校准数据，推理过程使用的就是onnxruntime的 InferenceSession，所以推理规程如果要用到GPU，也是通过 onnxruntime的 InferenceSession 进行设置的。所以：

1. 从常规onnx执行的过程看，可以通过设置环境变量 CUDA_VISIBLE_DEVICES设置 InferenceSession推理时所用的gpu id。

2. 如果1确实尝试过了不行，那你可以通过修改一下工具链的脚本文件（/usr/local/lib/python3.10/dist-packages/hmct/executor/ort2.py）进行设置和测试，修改的文件和方式如下：

感谢，后来发现 export CUDA_VISIBLE_DEVICES=1 有用了，谢谢

好的，感谢反馈~