专栏算法工具链python推理与板端推理不一致

python推理与板端推理不一致

已解决
RynWang2023-05-04
52
8
1.芯片型号：J5
2.天工开物开发包OpenExplorer版本：J5_OE_1.1.40
3.问题定位：板端部署
4.问题具体描述：python用HB_ONNXRuntime 推理quantized_model.onnx与板端用bin文件推理的结果不一致。这是否正常，不正常的话需要怎么解决？
算法工具链
征程5
评论2
0/1000
  • 颜值即正义
    Lv.2
    你好，可以使用hb_model_verifier工具验证quantized.onnx和.bin的一致性，模型输出应至少满足小数点后2-3位对齐，

    更具体的，可参考链接：https://developer.horizon.ai/forumDetail/71036815603174578

    2023-05-04
    0
    6
    • RynWang回复颜值即正义:

      这里input shape为什么会显示地址？

      2023-05-05
      0
    • RynWang回复颜值即正义:

      这样申请完内存后是不是还需要清0啊


      我这样写入输入，再读出来，发现不应该有数据的地方有数据

      2023-05-05
      0
    • 颜值即正义回复RynWang:
      补充一下，关于之前的dimensionSize，可以参考runtime sample的00 quick start，定义int *shape = tensor->properties.validShape.dimensionSize;然后shape[i]就是第i个维度的数据了
      2023-05-05
      0
    • 颜值即正义回复RynWang:
      输入也可以参考runtime sample的00 quick start，float score = reinterpret_castfloat *>(tensor->sysMem[0].virAddr)[i];
      2023-05-05
      0
    • RynWang回复颜值即正义:
      我是参考的这个runtime sample，但是input tensor会有异常数据。因为我的输入是稀疏的feature，会有很多0，但是很多0有数据。这个要怎么处理。
      2023-05-05
      0
    • 颜值即正义回复RynWang:

      根据你的这个回复，理解是输入tensor有很多0对吧，就按照正常数据准备就好了呀。是不是因为数据对齐导致的问题呢？可参考https://developer.horizon.ai/forumDetail/118364000835765837

      2023-05-05
      0
  • 颜值即正义
    Lv.2
    2023-05-04
    0
    0