专栏算法工具链J5大模型推理

J5大模型推理

已解决
我爱邢宝宝i2024-02-28
124
5

1. 芯片型号：J5

2. 天工开物开发包 OpenExplorer 版本：j5_open_explorer_v1.1.68-py38_20231014

3. 问题定位：大模型编译

4. 问题具体描述：chatglm一般提供的是多个pt文件，工具链怎样进行编译？有大模型部署的案例吗？

算法工具链
征程5
评论2
0/1000
  • GOYU\XU
    Lv.2

    J5提供了高算力，可以在J5上部署大模型！OE开发包中没有提供具体的部署方案！

    2024-03-04
    0
    2
    • 我爱邢宝宝i回复GOYU\XU:

      有建议的部署方案吗？比如怎样编译模型等

      2024-03-05
      0
    • GOYU\XU回复GOYU\XU:

      模型编译转换一个是导出onnx走ptq通路，另一个是有网络源码，通过qat进行，具体细节请查看j5官方使用手册文档https://developer.horizon.cc/api/v1/fileData/horizon_j5_open_explorer_cn_doc/index.html

      2024-03-05
      0
  • GOYU\XU
    Lv.2

    模型转换编译的路径只有两条，一个是导出onnx走ptq通路，另一个是有网络源码，通过qat路径在代码层面进行完善。暂无大模型部署的案例！

    2024-03-01
    0
    1
    • 我爱邢宝宝i回复GOYU\XU:

      为了应对更高等级的自动驾驶场景，地平线于2021年推出了128Tops高算力的征程5计算平台（以下简称J5），专门为大模型而设计

      2024-03-04
      0