QAT量化（模型检查）

已解决

默认328322024-08-21

109

J5 J5_OE_1.1.74

我们在根据算法工具链量化模型，模型部署部分的第一步，模型检查部分，我们已经将模型的传入参数变成了tensor，但是在torch.jit.trace报错，报错如下：

我们也打印了float_model和quantized_model，发现quantized_model比float_model多了许多QFunctional，

float_model：

quantized_model：

1、这是由于使用了包装函数的原因吗？

2、请问这个报错该如何解决呢？

算法工具链

技术深度解析征程5

0/1000

kotei左文亮
Lv.3
您这边此问题解决了吗？是不是新发了问题贴啊？
2024-08-27
0
5
- 默认32832回复kotei左文亮:
  您好，这边这个问题还没有解决，也没有重新发帖，请问我们传入模型一个tensor列表还是会报相同的错误呢？
  2024-08-27
  0
  回复
- kotei左文亮回复默认32832:
  “传入模型一个tensor列表是啥意思啊”？
  上面说了输入的dict里没有is_floating_point关键字。
  2024-08-29
  0
  回复
- 默认32832回复kotei左文亮:
  您好！我们在模型检查部分，因为torch.jit.trace需要输入一个tensor，我们将原模型的输入（一次是一个batch）转化成了一个tensor字典（如图一），但是原来输入模型的一个batch里面就没有is_floating_point关键字，模型也不需要用到is_floating_point关键字，请问是torch.jit.trace需要is_floating_point关键字吗？
  图一：
  2024-08-30
  0
  回复
- kotei左文亮回复默认32832:
  您的意思是后面都没有用到‘is_floating_point’关键字，但是在这里报错了？有没有详细检查一下代码
  torch.jit.trace函数的语法或参数说明中并没有明确提到需要is_floating_point关键字。相反，它的主要目的是通过提供一个特定的输入来跟踪模型的操作，而不是通过设置数据类型或数据格式的参数。因此，对于torch.jit.trace函数的使用，不需要is_floating_point关键字‌。
  2024-08-30
  0
  回复
- 默认32832回复kotei左文亮:
  您好！我们详细检查了代码，后面没有用到‘is_floating_point’关键字。
  2024-09-04
  0
  回复
kotei左文亮
Lv.3
上面说的使用包装函数是环境里面自带的这个吗？如下图
2024-08-21
0
3
- 默认32832回复kotei左文亮:
  我们使用的包装函数是fx_wrap，如下图所示。
  我们进行到下图305行script_model时报了上面的错误，说传入torch.jit.trace的是一个字典而不是一个模型？
  2024-08-22
  0
  回复
- kotei左文亮回复默认32832:
  quantized_model，有没有问题呢？torch.jit.trace的用法示例如下
  2024-08-22
  0
  回复
- 默认32832回复kotei左文亮:
  quantized_model没有问题，我都能打印quantized_model，quantized_model如下：
  下面是打印的quantized_model的type
  2024-08-22
  0
  回复
遥看瀑布挂前川
Lv.2
这个报错是说输入的dict里没有is_floating_point关键字，但是哪里用到了这个关键字引发的报错
2024-08-22
0
1
- 默认32832回复遥看瀑布挂前川:
  您好，我们修改了输入，输入全部从batch转化成了一个tensor列表，但是还是报相同的错误，batch里面并没有is_floating_point关键字。
  报错：
  2024-08-27
  0
  回复
kotei左文亮
Lv.3
由于您长时间未回复，此问题就先关闭了，如还有问题可再发帖救助。
2024-09-03
0
0