本文主要探索 开源网络剪枝(结构化剪枝与稀疏化置零)技术在地平线 J5上的可行性和有效性，涉及到的压缩方案，均不考虑硬件加速特性。

1. 实验结果先解读

表中涉及到结构化剪枝两种(ABCPruner_2020、HRankPlus_2020)、结构化稀疏两种(CHEX_2022、1XN_2022)，从实验数据可以看出：

• 在分类任务中，在不使用数据增强、蒸馏、嫁接等主流且有效提升精度的方法下，结构化剪枝与稀疏化在精度损失较小的情况下，在J5上均可以提升性能(latency、FPS)。

• 结构化稀疏比结构化剪枝，精度上表现更好，但性能表现弱于后者。

• 网络稀疏化应用于轻量型网络结构，如mobilenet，压缩百分比相对较小，精度损失相比resnet较大，侧面说明轻量型网络中冗余结构相对较少。

1.1 分类模型

HRankplus和ABCPruner属于结构化剪枝，1XN和CHEX属于结构化稀疏。
复现的文件：https://pan.baidu.com/s/1zmUqTuxE1k5LIGPpqBq_Sw 32sv

1.2 检测模型

使用稀疏化方法CHEX对SSD_resnet50_300x300方法在coco2017检测数据集上进行实践。

已使用hb_verifier工具验证quanti.onnx和bin模型的输出一致性

2. 量化

2.1 概述

将网络参数从 32 位浮点数据映射到更低位数(int16/int8/int4等)的数据，这个过程称之为量化。反之，称之为反量化。
量化本质上是对数值范围的重新调整，可以「粗略」理解为是一种线性映射。(之所以加「粗略」二字，是因为有些论文会用非线性量化(对数量化等)，但目前在工业界落地的还都是线性量化(对称量化、非对称量化、二值化等)，地平线采用的主要是线性量化中的对称量化。

反量化一般没有信息损失，而量化一般会有精度损失。这是由于float32 能保存的数值范围比 uint8 多，因此必定有大量数值无法用 uint8 表示，只能四舍五入成 uint8 类型的数值，继而引起量化误差。

量化的可行性依据：神经网络具有良好的鲁棒性，将高精度模型量化到低精度模型，这个过程可以认为是引入了噪声，而模型对噪声相对不敏感，因此量化后的模型也能保持较好的精度。

量化的目的：降低计算复杂度，提高模型推理速度，降低存储体积，减少计算能耗。在一些对能耗和时间要求更高的场景下，量化是一个必然的选择。

2.2 浮点/定点转换公式

用 r 表示浮点实数，q 表示量化后的定点整数。浮点和整型之间的换算公式为：

其中，S 是 scale，表示实数和整数之间的比例关系，Z 是 zero point，表示实数中的 0 经过量化后对应的整数，它们的计算方法为：

其中，$r_{min}$ 、$r_{max}$分别是 浮点实数r 的最小值和最大值， $q_{min}$ 、$q_{max}$分别是 定点整数q 的最小值和最大值。

2.3 矩阵运算的量化

卷积网络中的卷积层和全连接层本质上都是一堆矩阵乘法，下面我们来看一看如何将矩阵中的浮点运算转换为定点运算。

假设$ r_1$、$r_2$ 是浮点实数上的两个N×N的矩阵，$r_3$ 是$ r_1$、$r_2$ 相乘后的矩阵，矩阵相乘可表示为：

假设$S_1$、$S_2$ 是$r_1$矩阵对应的 scale 和 zero point，$S_2$ 、$Z_2$ 、$S_3$ 、$Z_3$ 同理，那么由 (5) 式可以推出：

整理一下可以得到：

观察 (7) 式可以发现，除了 $S_1S_2/S_3$ ，其它都是定点整数运算。

那如何把 $S_1S_2/S_3$也变成定点运算呢？

3. 知识蒸馏

知识蒸馏是一种基于"教师—学生网络"的方法，属于迁移学习的一个分支，教师网络通常是精度更高的大网络，学生网络通常是结构相对简单的小网络。
主要思想：在网络训练期间，将教师网络的输出信息作为监督信号(知识、软标签)，用于指导学生网络去模仿教师网络学习到的信息，继而达到提升学生网络精度的目的。

依据：举个例子，一张dog的图片，它像cat的概率远高于像car的概率，而仅从label上是无法体现出这一点的，因此需要一些“暗知识”来体现这一点，这个“暗知识”就是教师网络的输出信息。

4. 紧凑型网络设计

紧凑型网络设计的原理是不使用传统的计算量较大的卷积方法进行特征提取，而是设计、选用一些计算量更小、特征提取能力较强的特殊卷积方法，例如我们耳熟能详的深度可分离卷积。下面对传统卷积和深度可分离卷积的实现进行分析。

传统卷积通过一次卷积，实现self_channel上和channel之间的特征信息都关注，生成4张特征图；

深度可分离卷积，先通过depthwise conv获取self_channel上的特征信息，再通过pointwise conv获取通道间的特征信息，生成4张特征图。

在特征提取能力大致相同的情况下，深度可分离卷积的实现方式，参数量大幅减少。紧凑型网络结构的设计需要大量实验驱动，以保证设计出的网络结构在不同应用场景下均有着良好的表现。

5. 网络剪枝与稀疏化

5.1 总体介绍

网络剪枝的目的：在保证任务精度的同时，剪枝网络中更多的冗余结构，继而加快模型运行速度。

网络剪枝分为非结构化剪枝和结构化剪枝。非结构化剪枝通过剪枝网络每层的神经元来压缩网络，剪枝某个神经元就是将该神经元的值设置为0，本质上是一种稀疏化的过程。由于其可以通过算法深入到神经元进行剪枝，因此可以获得更高的压缩率。这种方法可以通过稀疏化存储方式减少内存占用，较大程度上压缩网络存储体积，但并没有减少计算量。同时，这种剪枝方式也会导致不规则的内存访问，影响网络的在线推理效率，需要特殊设计的软硬件进行加速。

与之相对应的是结构化网络剪枝。结构化剪枝是一种移除网络中Vector或kernel或filter的剪枝方法，剪枝后的网络可以使用基础线性代数程序库，是一种软硬件友好型剪枝方式。尽管相对于非结构化剪枝而言，结构化剪枝压缩率较低，但结构化剪枝不仅可以降低模型在设备上的内存占用，还可以真正意义上减少网络的计算量，加速模型推理。

5.2 filter/channel剪枝发展历程

逐层迭代剪枝过程：

端到端迭代剪枝过程：

终极目的都是为了获取过滤器保留率(or压缩率)。
常规卷积剪枝示意图如下：

注意：某一层filter少了，下一层每个filter中的kernel也会跟着减少。

具有短连接的网络剪枝示意图如下：

其中，$C_2 × C_1×1×1$表示卷积层有$C_2$个过滤器(filter)，每个过滤器有$C_1$个卷积核(kernel)，$C'$表示压缩后的过滤器(or卷积核)个数。

保留率(or压缩率)的获取方案可以分为：人工设置(HRankPlus)和方案搜索(ABCPruner)，下面在典型论文中分别进行介绍。

5.3 HRankPlus

CVPR 2020, Oral

5.3.1 理论知识

灵感来自于一个发现：无论 CNN 接收的图像batch数是多少，由单个滤波器生成的多个特征图的平均秩总是相同的。作者提出一种针对低秩特征图所对应过滤器进行剪枝的算法。

剪枝原理：低秩特征图包含的信息较少。

为什么 秩 可以作为衡量特征图信息丰富度的指标？作者通过两个理论、一个实验来证明。

什么是矩阵的秩(Rank) ：一个矩阵可以看作多个列向量的组合，如果一个列向量可以被其它列向量的通过一定的线性运算表达出来，就说这些向量是线性相关的。倘若一组向量相互不能够被表达，那么这组向量就是线性无关。一个矩阵的rank就是最大线性不相关的向量个数。一个矩阵的秩反应了矩阵所拥有的有效信息量，不相关的向量组合可以看作是有效的信息，而相关的向量可以用这些有效的信息来表达，它是冗余的。

理论1：对特征图进行奇异值分解，特征图可以分解为包含大部分信息但比原始特征图的秩小一点的矩阵(秩为$$r^{'}$$的矩阵)和包含小部分额外信息的矩阵。这个过程表明矩阵的秩越高，信息量越大（因为大的可以一直分成小的，所以比小的信息量高）

理论2：无论CNN看到多少数据，单个过滤器生成的feature map的平均秩总是相同的，这表明，只使用输入图像的一小部分就可以准确地估计CNN中特征图的秩，从而达到高效的目的。

• x轴：某层多个特征图的indices

• y轴：第几个batch喂入的数据

实验1：

• HRank：剪low_rank

• Edge：low_rank和high_rank都剪

• Random：随机剪

• Reverse：剪high_rank

5.3.2 剪枝过程

多个输入feature map经过一个filter之后的feature map的平均rank几乎是不变的，这表明输出feature map的秩主要是由filter决定的(由输入feature map和filter共同决定)。这给了作者启发：通过少量输入(feature map)就可以估算一个filter生成的feature map的秩的大小，这极大程度上减少了网络剪枝的计算开销，因为不用去计算更多的输入数据了。生成秩的过程中：batch设置为128，使用5个batch来评估CNN卷积层的秩。

5.3.3 压缩率对网络结构影响的解读

[64, 194, 194, 194, 389, 389, 389, 389, 778, 778, 778, 778, 778, 778, 2048, 2048, 2048]
17=1+3+4+6+3=第一个卷积输出+各个残差块输出
[19, 19, 19, 38, 38, 38, 38, 140, 140, 140, 140, 140, 140, 281, 281, 281]
16= 3+4+6+3=各个残差块中间层输出

剪枝前后模型结构示意图如下：

5.4 ABCPruner

IJCAI 2020

5.4.1 理论知识

5.4.2 剪枝过程

具体实现过程：

1. 初始化一个 structure set，set中的每个元素表示每层要保留的通道数目(实际上是初始化多个structure set，每个set代表一种剪枝方案)

2. 根据这个集合对每层进行随机裁剪

3. 训练少量epochs，测试精度fitness(减少计算资源消耗)

4. 然后使用ABC来更新 structure set

5. 重复 2，3，4

6. 挑选出最优结构，进行微调

从2022年发的一些文章上看，大家倾向于往稀疏化置零上进行探索了。相比于上面介绍的结构化剪枝，稀疏化置零不需要考虑维度匹配的限制，通常精度更高，但需要硬件支持稀疏化。

5.5 1xN Pruning

TPAMI 2022

5.5.1 理论知识

5.5.2 剪枝过程

1XN剪枝方法依据L1范数，剪枝粒度介于Kernel Pruning和Filter Pruning之间，下图中N取4进行解释。

• 该剪枝方案是一种稀疏化的操作，是将某些kernel全部置零，理论上属于结构化剪枝(稀疏)，考虑到维度匹配问题，在网络搭建时，无法控制到内部kernel级别，故无法获取剪枝后的网络，需要支持稀疏化的硬件才能加速。

5.6 CHEX

CVPR 2022

5.6.1 剪枝过程

在整个训练过程中，通过定期prune channels和regrow channels，降低过早修剪“重要”通道的风险。

1. 原始模型：Conv-6-8-10，随机初始化子模型结构

2. Channel pruning stage：根据目标稀疏度，剪枝不重要的channel，每一层的通道数会在这一步使用“sub-model structure exploration technique”进行重新生成，例如，图中step1中的conv-3-4-5，step2中的Conv-2-3-7。

3. Channel regrowing stage：每一次pruning后，会regrow之前剪枝掉的一部分channel，这些恢复的channel weight，会使用被剪枝前最近一次的weight。

4. 每进行一次2. 3两步(成对出现)，会训练一些epoch，这个过程重复N次，得到剪枝后的网络。

5.6.2 轻量型网络剪枝结果

论文中提供的在轻量型网络上的剪枝效果。

注意：

• 该剪枝方案是一种稀疏化的操作，虽然是将某filter权重全部置零，理论上属于结构化剪枝，但由于剪枝通道位置是不定的，每一层剪枝率也不定，特别是对于具有shortcut的网络，无法获取剪枝后的网络，因此只能是结构化稀疏置零，故需要支持稀疏化的硬件才能加速。

6. 模型转换与测试性能

6.1 模型转换

6.2 性能评测

• latency单核单线程

• FPS双核多线程

7. 总结与思考

1. 结构化压缩方案(包括结构化剪枝和稀疏化置零)在地平线J5 上均可以实现加速。

2. 未来地平线会支持稀疏化训练吗？会有标准的参考文档进行介绍吗？期待中~

8. 参考链接

https://zhuanlan.zhihu.com/p/149659607
https://zhangkaifang.blog.csdn.net/article/details/108753791
https://www.sohu.com/a/395528127_129720
https://blog.csdn.net/u011231598/article/details/116455709
https://github.com/lmbxmu/HRankPlus
https://blog.csdn.net/m0_37192554/article/details/106402269
https://blog.csdn.net/lihuanyu520/article/details/107097820
https://github.com/lmbxmu/1xN
https://github.com/zejiangh/Filter-GaP
https://github.com/lmbxmu/ABCPruner