专栏算法工具链J5设置量化精度与模型计算量

J5设置量化精度与模型计算量

已解决

默认383362025-04-25

您好，我在PTQ量化过程中的yaml文件内将unet模型的部分卷积算子输入输出从int8改为int16，更改前后模型算子信息如图所示。但是通过hb_perf得到的html文件查看模型计算量发现修改前后未改变，请问是因为这样操作并未影响到算子本身权重的数据精度吗？如果我想改变量化后模型中算子本身的权重数据精度，应该如何操作？

算法工具链

征程5

0/1000

Huanghui
Lv.5
你好，在PTQ过程中，修改yaml文件中的数据精度（例如将卷积算子的输入输出从 int8 改为 int16），仅改变了量化的位宽，并没有直接影响到算子本身的权重精度。
2025-04-27
0
0
DR_KAN
Lv.4
是的，yaml里配置int16更改的是激活的量化精度
2025-05-26
0
1
- 默认38336回复DR_KAN:
  权重的量化精度可以修改吗？
  2025-05-26
  0
  回复
Huanghui
Lv.5
如果你要更高的量化后的算子精度。可以尝试下不同的量化策略。
2025-04-27
0
5
- 默认38336回复Huanghui:
  请问不同的量化策略在PTQ过程中是如何体现的呢？我应该在哪里设置
  2025-04-27
  0
  回复
- Huanghui回复默认38336:
  2025-04-27
  0
  回复
- Huanghui回复默认38336:
  不同的量化方式肯定会获取到不同的scale,不同的scale值也会得到不同的权重数值。通常越复杂的量化方法，效果越好。
  2025-04-28
  0
  回复
- 默认38336回复Huanghui:
  这块不同方法的选择最终得到的权重精度也不一样吗？我理解不同算法会小幅影响最终量化前后模型在验证集上的精度损失，但我现在想改变的是量化后模型中算子的权重的精度，比如float16，int16这种
  2025-04-28
  0
  回复
- Huanghui回复默认38336:
  这个改不了吧，你量化后是多少就是多少了。
  2025-07-08
  0
  回复

默认38336

Lv.1

暂无职位信息

0博客

36帖子

0回答

私信