专栏算法工具链J6E和ORIN-X运行transformer的效率

J6E和ORIN-X运行transformer的效率

已解决
XR2024-10-23
116
5

根据文档，J6E上运行transfomer相关算法的速度可以对标orin-x甚至更高。

已知J6E是80TOPS,ORIN-X是（167GPU+87DLA),BPU中的TAE与VPU对标nvidia的tensorcore和cudacore，且从CNN类算法的运行速度上来看，J6E慢于ORIN-X。

请问J6E是如何做到transformer的加速的？是否可以详细介绍一下

算法工具链
征程6
评论2
0/1000
  • Huanghui
    Lv.5

    你好，本社区主要用于工具链使用过程中遇到的问题，社区架构以及不同产品的对标问题，请您联系地平线接口人员进行咨询，感谢您的理解和支持!

    2024-10-23
    0
    3
    • XR回复Huanghui:

      谢谢，请问要在哪个社区提问呢？


      2024-10-23
      0
    • Huanghui回复XR:

      不是社区，对比信息你们咨询地平线跟你们的接口人吧！

      仅仅说地平线是如何加速transformer的话，这个主要是从软硬两个方面：

      软件上通过支持更多的算子以及工具链对编译器从计算效率、复用、带宽的优化，硬件上架构上通过引入VAE，AAE，DTE等IP，加速算子计算过程。

      2024-10-23
      0
    • XR回复Huanghui:

      好的谢谢

      2024-10-23
      0
  • kotei左文亮
    Lv.3

    问题已经收到

    2024-10-23
    0
    0