专栏算法工具链关于PTQ模型中间onnx的疑问

关于PTQ模型中间onnx的疑问

已解决
夏新飞12024-03-26
93
3

1. 芯片型号：J5

2. 天工开物开发包 OpenExplorer 版本： J5_OE_1.1.68

3. 问题定位：模型转换

4. 问题具体描述：请问***_calibrated_model.onnx与***_quantized_model.onnx模型的推理结果是否应当一致呢？使用hbonnxruntime推理的时候发现两者不一致，不知道是否二者本来就有差距呢？
算法工具链
征程5
评论3
0/1000
  • J6标定问题
    Lv.1

    你好，我先尝试一下看看

    2024-03-26
    0
    0
  • yy1234
    Lv.2

    ***_calibrated_model.onnx与***_quantized_model.onnx肯定不一样的，一个是float一个是int。但我试的模型***_quantized_model.onnx与.bin也不是完全一样的，这个就比较奇怪了，论坛中有说过quantized_model.onnx与.bin应该是完全一样的

    2024-03-27
    0
    0
  • J6标定问题
    Lv.1
    ***_calibrated_model.onnx与***_quantized_model.onnx模型不一样，quantized_model.onnx是浮点模型，calibrated_model.onnx量化模型，calibrated_model.onnx模型只是一个中间阶段模型，不要用来推理。你怎么知道***_quantized_model.onnx与.bin也不是完全一样的
    2024-03-27
    0
    0