QAT量化改造浮点模型

已解决

Lmh2024-07-30

105

J5 J5_OE_1.1.74

我们目前所作QAT量化改造都是参考此链接进行的：7.3. 快速入门 — Horizon Open Explorer；目前主要疑问是该链接是使用了pytorch提供的简单分类算法进行的；而我们自己的算法是基于mmdet3d框架的BEV算法，对于参考资料中的一些改造在我们自己的代码中无从下手

一、改造浮点模型

问题一：首先7.3.2中的在模型前后插入QuantStub和DequantStub是继承了MobileNetV2类，并在其forward函数中，插入了x= self.quant(x)和 x = self.dequant(x)；我们目前在forward_train函数中插入了这两行代码，虽然跑训练没有报错，但是还不确定这样改是否合理。

算法工具链

技术深度解析征程5

0/1000

kotei左文亮
Lv.3
您的问题是“”这样改是否合理”？

2024-07-30
0
2
- Lmh回复kotei左文亮:
  目前是我们要在自己的BEV算法中进行QAT部署，但是对于参考文档的内容不太理解，不知道该如何在自己的代码里修改？现在做了如上图的修改尝试，但是不知道是否正确
  2024-07-31
  0
  回复
- kotei左文亮回复Lmh:
  先按照OE的样例进行修改，后续有具体的问题可以提出来，我们会帮忙分析解答的。
  2024-08-01
  0
  回复
momo（社区版）
Lv.4
hello，您这边的量化和反量化的节点插入有点问题，1. 量化节点插入的位置不对，应该是在extract_feat的输入前插入，建议在extract_feat网络的forward代码的输入前插入，如下：
2.反量化节点的插入没问题
2024-08-01
0
2
- momo（社区版）回复momo（社区版）:
  另外，确定一下horizon_pyorch_plugin的版本是否可以与mmdet3d匹配，以及horizon的qat是不支持mm的自定义算子的
  2024-08-01
  0
  回复
- 默认71360回复momo（社区版）:
  请问如何确认horizon_pytorch_plugin版本是否与mmdet3d匹配？谢谢。
  2025-11-27
  0
  回复
kotei左文亮
Lv.3
鉴于您长时间未回复，此问题就先关闭了，如还有疑问，请再发帖求助。
2024-08-08
0
0