对浮点onnx模型量化验证时报错

已解决

老超20242024-08-22

117

1. 天工开物开发包 OpenExplorer 版本：v3.0.17

2. 问题定位：模型转换

3.在PTQ量化过程中对浮点onnx进行校验时报错

算法工具链

征程6

0/1000

Pipeline
Lv.2
这个算子不是onnx官方支持的算子，你用官方onnxruntime推理应该也会失败

2024-08-22
0
7
- 老超2024回复Pipeline:
  使用的浮点onnx模型是在OE包里面下载的.pth.tar模型通过export_onnx.py转换而来的浮点onnx模型
  OE包里面的.pth.tar模型如下：
  2024-08-22
  0
  回复
- Pipeline回复老超2024:
  适用export_onnx.py导出模型得在config里面修改onnx_config，只能导出float模型走ptq
  2024-08-22
  0
  回复
- 老超2024回复Pipeline:
  在config中已修改配置项，
  参考帖子为 https://developer.horizon.auto/developerForum?fullPath=/home/community/bbsdetail?bid=609252040951312384
  2024-08-22
  0
  回复
- 老超2024回复Pipeline:
  我在OE包里面查看该模型的训练脚本 samples/ai_toolchain/horizon_model_train_sample/scripts/configs/bev/bev_sparse_resnet50_nuscenes.py 中查了一下没有使用org.pytorch.aten:tile(-1)这个算子，可能是调了OE包中的算子库。
  请问能帮忙排查一下吗？非常感谢！
  
  2024-08-26
  0
  回复
- 老超2024回复Pipeline:
  在docker环境中将这个文件/usr/local/lib/python3.10/dist-packages/hat/models/task_modules/sparsebevoe/instance_bank.py中的这两行替换掉就正常了
  2024-08-27
  1
  回复
- Pipeline回复老超2024:
  建议再排查一下，domain显示算子位于attention的结构，并且tile算子导出onnx，我们ptq工具是支持的
  
  2024-08-27
  0
  回复
- 老超2024回复Pipeline:
  我用netron可视化导出的onnx模型显示tile算子位于head中，其它地方未发现tile算子，所以定位到这个地方做了如上的修改。
  2024-08-27
  0
  回复
gaoh
Lv.1
onnx模型在导出时存在工具无法识别的算子，请先确认该模型能否使用onnxruntime正常推理
2024-08-22
0
4
- 老超2024回复gaoh:
  使用的是OE包里面的export_onnx.py脚本导出的，导出时没有报错
  2024-08-22
  0
  回复
- gaoh回复老超2024:
  这种方式导出的是一个qat模型，J6不再支持qat导出的onnx模型走ptq这条路径
  2024-08-22
  0
  回复
- 老超2024回复gaoh:
  参考帖子 https://developer.horizon.auto/developerForum?fullPath=/home/community/bbsdetail?bid=609252040951312384
  导出了浮点的onnx模型
  2024-08-22
  0
  回复
- 老超2024回复gaoh:
  修改配置文件后，使用export_onnx.py转换得到了浮点onnx模型。
  检查onnx模型的opset版本得到以下信息：
  Domain: , Version: 11
  Domain: horizon, Version: 1
  Domain: org.pytorch.aten, Version: 1
  
  2024-08-27
  0
  回复