专栏算法工具链QAT量化后模型板端部署

QAT量化后模型板端部署

已解决
默认328322024-09-24
66
10

J5 J5_OE_1.1.74 请问有将使用算法工具链量化后的（hbm文件）部署到板端运行的示例吗？

算法工具链
征程5
评论3
0/1000
  • DR_KAN
    Lv.4

    hbm和bin的部署方法一模一样，接口都是通用的，基本没有区别

    2024-09-25
    0
    5
    • 默认32832回复DR_KAN:

      谢谢您的解答，想请教一下您，经过量化后的hbm文件要在板子上面运行只能根据算法工具链的嵌入式应用开发，这样创建工程来实现吗？

      将工程编译成arm程序拷贝到地平线开发板上运行（这样怎么进行算法间的通信呢？）我们想使用 TogetheROS™.Auto里面的dataflow里面的Node接口进行算法间的通信，请问如何在Node接口中的subcallback中加载模型进行推理呢？
      2024-09-25
      0
    • DR_KAN回复默认32832:

      tros.a的话有easydnn负责板端部署（easydnn本质也是libdnn），应该是有相关示例的，tros.a的支持建议直接走项目，这个论坛现在不承担tros.a的支持了

      2024-09-25
      0
    • 默认32832回复DR_KAN:

      谢谢大佬的解答！想请教一下有其他论坛支持tros.a吗？

      2024-09-25
      0
    • DR_KAN回复默认32832:

      应该是没有的，找下相关的项目负责人吧，看看能不能直接找到地平线去对接

      2024-09-25
      0
    • 默认32832回复DR_KAN:

      好的，谢谢您！

      2024-09-25
      0
  • DR_KAN
    Lv.4

    一定要示例的话，可以查看ai benchmark的src的method的代码，qat开头的cc代码都是hbm部署的示例

    2024-09-25
    0
    2
    • 默认32832回复DR_KAN:
      请问量化后的模型使用tros.a上板部署只能使用C++吗？
      2024-09-27
      0
    • DR_KAN回复默认32832:

      应该是的吧，tros.a的easydnn只有C++的接口和示例代码

      2024-09-27
      0
  • Huanghui
    Lv.5

    客户您好，长时间未收到你的答复，相信问题已解。如对此尚存疑问欢迎新帖讨论，感谢您的参与！

    2025-02-05
    0
    0