专栏底层软件征程5模型部署求助

征程5模型部署求助

已解决
kuangdang2022-11-23
68
2

请教一个问题：

地平线的芯片在模型部署过程中的底层原理和NVIDIA的是有区别是吗？为什么我看征程5的开发板只有4G内存，而NVIDIA的xavier和orin有32G。4G的内存对大模型或者多个模型的部署有影响吗？

底层软件
征程5
评论2
0/1000
  • 新手村
    Lv.4

    你好：

    1.首先我们这边不清楚NVIDIA的模型底层是怎么部署的，所以没办法回答；

    2.J5开发板目前支持4G/8G两种类型；
    3.地平线BPU模型大小一般在几十M~100+M不等，根据实际场景会使用不同模型组合；就目前实际场景使用情况来看，模块所占用内存在大几百兆左右，因此4GB/8GB内存是能够满足的；
    2022-11-28
    0
    0
  • 费小财
    Lv.5

    您好，

    J5支持4G、8G，目前的开放都是放4G的，能支持大部分的场景，如果有特殊场景可以单独验证

    2023-01-17
    0
    0