1 前言

2 CV算子支持列表

截止J5 OE v1.1.62，DSP已经支持了25个CV算子：

CV算子相关的数据类型、数据结构、配置参数、图片约束等信息，可以查看J5工具链手册的《DSP运行时API手册》。我们正在持续扩充DSP支持的CV算子数量，同时也在让已有的CV算子能支持更多的输入数据类型。

3 CV示例文件介绍

OE包的ddk/samples/vdsp_rpc_sample目录包含了大量的CV示例，文件结构如下：

• arm：arm侧示例，封装了常用api，主要负责发起RPC调用，接收dsp处理结果。

  • cv：cv示例，包含了图片处理的cv算子示例。

  • nn：nn示例，包含quantize和dequantize api，自定义算子softmax以及pointpillar前处理。

• dsp：dsp侧示例，实现了dsp算子功能，主要负责接收arm侧发来的任务，完成softmax等算子的计算，将结果发送给arm。

  • src：包含quantize和dequantize api，以及自定义算子softmax以及pointpillar前处理的dsp侧实现。

• script：示例的生成文件及脚本目录。

  • cv：包含cv示例的可执行文件、输入数据及执行脚本。

  • nn：包含nn示例的可执行文件、输入数据、模型及执行脚本。

  • image: DSP镜像目录。

  • lib: 可执行程序的依赖库目录。

• deps：所有示例的依赖文件目录。

  • aarch64：arm侧的依赖目录。

  • vdsp：dsp侧的依赖目录。

在arm/cv/src文件夹内，包含了当前的25个CV算子在ARM侧调用的示例，这些示例以test_开头，其余的common.h、img_util.cc、img_util.h是示例运行的必备组件。cv文件夹的main.cc集成了调用25个CV算子的完整功能，CMakeLists.txt是编译必备的配置文件，执行build_arm.sh后，即可编译出可上板运行的可执行文件即相关依赖，这些生成的文件会自动存放进script目录中。我们已提供了编译好的上述文件，无需用户重复编译。

**CV算子的DSP实现源码是非开源的，地平线封装成了.a文件以库的形式提供，存放在deps/vdsp相关目录下。**dsp目录下的src文件夹只包含NN算子的实现源码。main.cc主要用于注册编写的DSP算子，CMakeLists.txt是编译必备的配置文件，执行build_dsp.sh后，即可编译出可以在板端配置的vdsp0和vdsp1镜像，这两个镜像文件还会自动存放进script/image目录中。我们提供了已经编译好的镜像文件，无需用户重复编译。

4 CV算子使用说明

之后执行以下命令，给予dsp_relay_server和test_cv文件可执行权限：

最后进入script/cv文件夹，执行以下命令即可运行全部25个CV算子示例：

用户也可以通过追加参数的形式指定需要执行的算子，如：

可以通过在脚本中追加参数help来显示所有可执行算子。
以roiResize为例，该算子的执行结果如下图所示：

此时，在/userdata/script/cv/目录下会生成一个output文件夹，保存了图像处理结果，roiResize算子的输出文件名为roi_resize_output.480x380.yuv，原始输入图像为/userdata/script/cv/data/500x480.lena.yuv。
我们可以使用YUV可视化工具YUView查看图片的处理效果，该工具的下载地址为：
https://github.com/IENT/YUView/releases
原始数据和处理结果的可视化效果图如下所示：