专栏算法工具链板端部署量化后模型加载

板端部署量化后模型加载

已解决
默认328322024-09-25
47
4

J5 J5_OE_1.1.74 请问使用算法工具链将模型量化后，模型从fp32变成了int8，（上板部署）还可以使用原模型test里面加载模型的方式加载模型进行推理吗？还是只能用算法工具链里面9.1.3这种加载方式，或者有其他加载量化后模型（.hbm文件）的方法吗？

算法工具链
征程5
评论2
0/1000
  • DR_KAN
    Lv.4

    不太清楚你说的test是什么，但bin和hbm的加载只能使用地平线提供的BPU SDK API（或者某些封装了BPU SDK API的工具）

    2024-09-25
    0
    2
    • 默认32832回复DR_KAN:

      谢谢大佬的解答！tset就是量化前的模型（浮点模型）的测试脚本，test脚本里面有加载浮点模型的部分，请问哪里有加载bin和hbm的BPU SDK API文件或者示例呢？

      2024-09-25
      0
    • DR_KAN回复默认32832:

      可以参考ai benchmark，horizon_runtime_sample，以及hrt_model_exec工具的源码，OE包里都有的

      2024-09-25
      0
  • Huanghui
    Lv.5

    客户您好，长时间未收到你的答复，相信问题已解。如对此尚存疑问欢迎新帖讨论，感谢您的参与！

    2025-02-05
    0
    0