专栏算法工具链【模型量化对齐】【X3派】onnx模型量化转换之后 ，quantized_model模型输出正确，bin模型输出错误

【模型量化对齐】【X3派】onnx模型量化转换之后 ，quantized_model模型输出正确，bin模型输出错误

已解决
lvjj2023-07-20
44
18
1.芯片型号：X3派
2.天工开物开发包OpenExplorer版本：采用的是docker_openexplorer_ubuntu_20_xj3_cpu_v2.6.2b.tar.gz docker环境
3.问题定位：板端部署
4.问题具体描述：当前网络为一个ocr识别网络，

量化转换过程正常，过程输出摘在 /附件/模型转换log.txt当中

得到的quantized_model.onnx和.bin模型文件，其中在PC端用quantized_model.onnx进行推理测试结果如下，输出正确

把bin模型传到X3派板端进行推理，后处理是与quantized_model.onnx的后处理完全一致，得到的结果不正确

bin文件推理脚本为附件当中的 附件 /板载推理/ocr_demo.py 执行模型为crnn_plate_rec_1x3x96x168_20230719_sim.bin

如果有其他需要提供的文件或者资料请沟通，感谢

附件:
算法工具链
评论4
0/1000
  • 颜值即正义
    Lv.2

    从转换日志看，模型是非常简单的，相似度也都ok，理论上精度应该都没什么问题，等提供模型后，我这边验证后再进行下一步验证哈

    2023-07-20
    0
    9
    • lvjj回复颜值即正义:

      需要提供哪些文件呢，bin模型在附件当中

      2023-07-20
      0
    • 颜值即正义回复lvjj:

      模型转换过程中生成的中间产物quantized.onnx。

      顺便提供一下你的刚使用开源框架刚导出的onnx模型、yaml文件、校准数据，如果上面输出无法对齐，我这边也进行一次模型转换试试看。

      2023-07-20
      0
    • lvjj回复颜值即正义:
      您好，我把上述的
      都放到了百度云当中，请查收 onnx模型、yaml文件、校准数据 02_preprocess.sh我也放进来了，方便您快速的生成和我一样的用于量化处理的的数据。同样02_preprocess.sh 依赖的data_preprocess_opendrive.py也在其中（预处理仅为 resize 168x96 / 256）
      链接：https://pan.baidu.com/s/1oKsg1CYvuBU4bEjEk_r3Ww

      提取码：p4ky

      --来自百度网盘超级会员V4的分享

      如有任何问题和其他依赖项请和我沟通，感谢

      2023-07-20
      0
    • 颜值即正义回复lvjj:
      你好，可以先将core_num: 1试一下嘞~
      2023-07-21
      0
    • lvjj回复颜值即正义:

      core_num ：1 结果就正常了！这个有什么说法吗 :(

      2023-07-21
      0
    • 颜值即正义回复lvjj:

      额，这是个bug，我们会在后续版本中进行修复~

      2023-07-21
      0
    • 颜值即正义回复lvjj:

      记得填问卷~

      2023-07-21
      0
    • lvjj回复颜值即正义:

      好的，感谢，期待你们的修复版本

      2023-07-21
      0
    • 颜值即正义回复lvjj:

      不客气~

      2023-07-21
      0
  • 颜值即正义
    Lv.2

    你好，建议参考https://developer.horizon.cc/forumDetail/71036815603174578文章1.3.2 hb_verifier工具介绍对比一下二者输出

    2023-07-20
    0
    5
    • lvjj回复颜值即正义:

      您好，在使用hb_verifier 工具的时候出现了以下问题

      root@4df4e3a1400a:/home/work/model_output# bash run.sh

      2023-07-20 11:22:07,559 INFO log will be stored in /home/work/model_output/hb_verifier.log

      2023-07-20 11:22:07,562 INFO HB_Verifier Starts...

      2023-07-20 11:22:07,562 INFO verifier tool version 1.17.4

      2023-07-20 11:22:07,563 INFO model: crnn_plate_rec_1x3x96x168_20230719_sim_quantized_model.onnx,crnn_plate_rec_1x3x96x168_20230719_sim.bin

      2023-07-20 11:22:07,563 INFO board_ip: 192.168.1.10

      2023-07-20 11:22:07,564 INFO input: NULL

      2023-07-20 11:22:07,564 INFO run_sim: False

      2023-07-20 11:22:07,564 INFO dump_all_nodes_results: False

      2023-07-20 11:22:07,565 INFO compare_digits: 5

      2023-07-20 11:22:07,565 INFO ================== check params start ==========================

      2023-07-20 11:22:07,572 INFO check 192.168.1.10 is connect

      2023-07-20 11:22:07,573 INFO 192.168.1.10 connection succeeded.

      root@192.168.1.10's password:

      1.9.7

      root@192.168.1.10's password:

      2023-07-20 11:22:18,151 INFO board hrt version is 1.9.7

      2023-07-20 11:22:18,214 INFO ================== check params end ==========================

      2023-07-20 11:22:18,214 INFO ================== get input data start ==========================

      2023-07-20 11:22:18,220 INFO bin model input shape: [1, 96, 168, 3]

      2023-07-20 11:22:18,221 INFO bin input data shape: (1, 24192)

      2023-07-20 11:22:18,268 INFO onnx input shape: [1, 96, 168, 3]

      2023-07-20 11:22:18,271 INFO onnx input data shape: (1, 96, 168, 3)

      2023-07-20 11:22:18,274 INFO ================== get input data end ==========================

      2023-07-20 11:22:18,275 INFO ================ Quanti infer log start =========================

      2023-07-20 11:22:18,570 INFO ================= Quanti infer log end ==========================

      2023-07-20 11:22:18,577 INFO ================== Arm infer log start ==========================

      2023-07-20 11:22:18,614 INFO 192.168.1.10 connection succeeded.

      2023-07-20 11:22:18,663 INFO Connected (version 2.0, client OpenSSH_8.2p1)

      2023-07-20 11:22:18,776 INFO Authentication (password) failed.

      Traceback (most recent call last):

      File "/usr/local/lib/python3.8/dist-packages/horizon_tc_ui/utils/connect.py", line 45, in _connect

      self._client.connect(hostname=self._host,

      File "/usr/local/lib/python3.8/dist-packages/paramiko/client.py", line 450, in connect

      self._auth(

      File "/usr/local/lib/python3.8/dist-packages/paramiko/client.py", line 781, in _auth

      raise saved_exception

      File "/usr/local/lib/python3.8/dist-packages/paramiko/client.py", line 768, in _auth

      self._transport.auth_password(username, password)

      File "/usr/local/lib/python3.8/dist-packages/paramiko/transport.py", line 1564, in auth_password

      return self.auth_handler.wait_for_response(my_event)

      File "/usr/local/lib/python3.8/dist-packages/paramiko/auth_handler.py", line 259, in wait_for_response

      raise e

      paramiko.ssh_exception.AuthenticationException: Authentication failed.

      During handling of the above exception, another exception occurred:

      Traceback (most recent call last):

      File "/usr/local/lib/python3.8/dist-packages/horizon_tc_ui/utils/connect.py", line 64, in _connect

      self._client.get_transport().auth_none(

      File "/usr/local/lib/python3.8/dist-packages/paramiko/transport.py", line 1501, in auth_none

      return self.auth_handler.wait_for_response(my_event)

      File "/usr/local/lib/python3.8/dist-packages/paramiko/auth_handler.py", line 259, in wait_for_response

      raise e

      paramiko.ssh_exception.BadAuthenticationType: Bad authentication type; allowed types: ['publickey', 'password']

      2023-07-20 11:22:18,789 CRITICAL can not establish ssh connection to bpu board. authentication failed!

      似乎在工具和板子简历连接的时候错误了，这是怎么回事，中间有输入密码的过程，是正常输入的

      2023-07-20
      0
    • 颜值即正义回复lvjj:

      你是怎么进的docker嘞？用的是run_docker.sh脚本吗？

      2023-07-20
      0
    • lvjj回复颜值即正义:

      直接 docker run 起来一个，然后docker exec -i 进去的，在docker 内部可以直接ssh root@192.168.1.10登入板子

      2023-07-20
      0
    • 颜值即正义回复lvjj:

      从报错看，是ssh没有配置好，这个我们这边不太好定位哈。

      你可以把对应的quantized.onnx和.bin模型通过百度网盘或其他网盘链接发我一下，我这边帮你验证一下，看附件已提供.bin模型了

      2023-07-20
      0
    • 颜值即正义回复颜值即正义:
      关于CRITICAL can not establish ssh connection to bpu board. authentication failed!问题，这是由于板端存在密码无法连接导致的，后续我们会改进该工具，当前临时解决方案可参考一篇CSDN上的文章：https://blog.csdn.net/weixin_45377629/article/details/131935871
      2023-07-30
      0
  • 颜值即正义
    Lv.2

    你好，地平线工具链在持续迭代优化，为了给您提供更好的服务，希望您能抽出3分钟左右的时间，将您在使用工具链期间的感受和建议告诉我们，您的宝贵意见对我们很重要，非常感谢！

    2023-07-20
    0
    0
  • 颜值即正义
    Lv.2

    相当于我这边帮你进行这一步验证：

    2023-07-20
    0
    0