专栏算法工具链J5的BPU SDK有python 接口吗？

J5的BPU SDK有python 接口吗？

已解决
默认317442024-05-11
90
8

1. 芯片型号：J5

2. 天工开物开发包 OpenExplorer 版本：horizon_j5_open_explorer_v1.1.68-py38_20231014

3. 问题定位：板端部署

4. 问题具体描述：我在地平线征程5的算法工具链中看到BPU SDK API手册中都是C++接口，请问支持python接口吗？在哪里查？

算法工具链
征程5技术深度解析
评论8
0/1000
  • GOYU\XU
    Lv.2

    去跑对应的onnx模型就好了， onnx模型就是python版本的呀

    2024-05-11
    1
    0
  • 默认31744
    Lv.1

    直接跑onnx模型会用到BPU吗？

    2024-05-11
    0
    0
  • GOYU\XU
    Lv.2

    bpu计算是仿真出来的，推理速度，远远没有达到板端性能，仅用于功能验证。

    2024-05-11
    0
    0
  • 默认31744
    Lv.1

    我要部署的yolov7模型用pt权重文件在图为的板子上跑，用CPU一帧700ms，用GPU一帧90ms，如果直接用onnx在J5上跑，推理时间大约是多少呢？

    2024-05-11
    0
    0
  • GOYU\XU
    Lv.2

    推理时间以实际测量为准，这里没法评估

    2024-05-11
    0
    0
  • Huanghui
    Lv.5

    客户您好，关于你的问题：

    1. 目前J5板端的推理部署接口都是基于C++构建的，不支持PYTHON。

    2. 工具链中在HOST端的docker中存在推理onnx的PYTHON接口HB_ONNXRuntime等，你可以通过04_inference.sh开始的代码找到使用方式。

    3. HOST端的docker支持使用GPU对ONNX加速推理，鉴于GPU部分的推理与当前帖子所涉问题有异，如果需要相关的支持，可通过新的问题贴加以讨论跟踪，感谢理解。

    2024-05-11
    0
    0
  • 默认31744
    Lv.1

    您的意思是J5板端部署只能用C++吗？板端用C++语言部署onnx模型能用BPU加速吗？

    2024-05-12
    0
    0
  • Huanghui
    Lv.5

    是的，板端部署只能用C++,而且为了使用BPU加速，板端部署的模型是经地平线工具链量化编译后的异构模型（bin模型文件或hbm模型文件），不是onnx.

    2024-05-12
    0
    0