专栏算法工具链模型上板优化程度不高

模型上板优化程度不高

已解决
素质诗人2020-12-09
133
1

目前把OpenPose的网络转换成定点模型上板运行，但运行时间过长，优化程度不高。

同样一张图片的推理，在CPU上运行大概1.5秒，在板上运行需要750ms：

而checklog中几乎所有操作都被分配给了BPU：

模型确实比较深，计算量比较大，但CPU和上板运行仅缩小一倍是否也是有问题呢？原论文中用普通GPU就能达到50ms左右的效果，请问如何排查和改进呢？

算法工具链
评论1
0/1000
  • chenze
    Lv.1
    您好
    看了一下，该模型属于GPU大模型，350GOPS了，在边缘芯片场景，这边你需要对模型一下轻量化精简。

    推荐用mobilenetV2/Vargnet来对模型做一下backbone替换，你当前看起来用的backbone应该还是VGG，VGG在边缘场景下，性价比太低。

    该方案也在我们客户场景下，是经过成功验证的，供你参考。
    2020-12-09
    0
    0