专栏底层软件J5应用资源类问题(一)

J5应用资源类问题(一)

已解决
yaohuang2022-11-23
109
6

1.请问在J5上进行 YUYV->RGB，RGB->YUV转换，是否支持硬件转换，不消耗CPU ？

Re:

2.J5芯片硬件视频编码能力是否支持 H264/H265/JPEG ？

Re:

3.J5视频编码能否提供C/C++ Sample ，以什么方式提供？

Re:

4.J5部署代码自动生成方式，与tvm适配情况？

Re:

4.J5的实际算力：tflops评估标准，memory共用方式，和Xavier的算力benchmark ？

Re:

底层软件
征程5
评论6
0/1000
  • 颜值即正义
    Lv.2
    您好，在这里先回答您的第一个问题：包括且不限于YUYV->RGB，RGB->YUV转换，工具链会在模型转换过程中插入HzPreprocess节点高效实现，是通过BPU进行加速的，几乎感知不到这一步的转换耗时，不需要消耗CPU资源，只需要在yaml中配置对应的input_type参数即可。
    2022-11-24
    0
    0
  • 颜值即正义
    Lv.2

    您好，以下依次解答您的提问：

    1.请问在J5上进行 YUYV->RGB，RGB->YUV转换，是否支持硬件转换，不消耗CPU ？

    Re：如之前的答复，工具链提供了常见数据格式转换以及数据归一化的加速能力，无需消耗CPU，用户只需正确配置config.yaml文件中的input_type_train/input_type_rt/norm_type等参数即可。更详细的内部实现过程可参考工具链用户手册4.1.1.6.2. 转换内部过程解读。
    2022-12-02
    0
    0
  • 颜值即正义
    Lv.2

    2.J5芯片硬件视频编码能力是否支持 H264/H265/JPEG ？

    Re：支持h265/JPEG。

    2022-12-02
    0
    0
  • 颜值即正义
    Lv.2

    3.J5视频编码能否提供C/C++ Sample ，以什么方式提供？

    Re：有参考示例，请联系项目对接人获取。

    2022-12-02
    0
    0
  • 颜值即正义
    Lv.2

    4.J5部署代码自动生成方式，与tvm适配情况？

    Re：暂不支持自动生成部署代码，需用户自行调用SDK API完成，快速上手示例建议参考/ddk/samples/ai_toolchain/horizon_runtime_sample；camera输入-推理-web端展示全链路示例建议参考/ddk/samples/ai_forward_view_sample。 不兼容tvm。
    2022-12-02
    0
    0
  • 颜值即正义
    Lv.2

    5.J5的实际算力：tflops评估标准，memory共用方式，和Xavier的算力benchmark ？

    Re：算法性能表现会受很多因素影响，例如模型结构、利用率、带宽等等，我们更聚焦在算法的实际推理帧率(FPS)这个指标；地平线秉持的是软件结合的优化理念，注重解决实际业务场景的问题，着力优化具体场景下模型的实际推理速度，例如目前我们已将高效率物体检测（改良后的FCOS）优化到了1600+FPS，您提到的友商芯片大概可跑到159FPS，数据仅供参考。BPU、CPU、DSP都是共用同一片内存，因此可支持内存零拷贝异构调度推理，关于如何分配BPU读写内存，可参考工具链用户手册5.1.8.1. 如何理解BPU内存Cache。
    2022-12-02
    0
    0