经典轻量化网络盘点：MobileNet、ShuffleNet与GhostNet

1. 引言

在前面的几篇文章中，我们已经依次讨论了神经网络模型为什么需要轻量化、如何衡量一个模型是否轻量、标准卷积为什么会成为模型复杂度的重要来源，以及深度可分离卷积为什么能够成为轻量化卷积设计中的经典方法。沿着这条思路继续往下分析，一个非常自然的问题就是：当这些轻量化思想真正落到完整网络结构中时，会形成怎样的网络设计范式？

从工程实践来看，轻量化并不仅仅意味着替换某一个卷积算子，更重要的是从整体网络结构层面对参数量、FLOPs 和特征表达效率进行系统优化。也就是说，轻量化网络设计关注的不是某一层是否足够轻，而是整个网络在复杂度与表达能力之间是否达到了更优平衡。

在这条发展路径上，MobileNet、ShuffleNet 和 GhostNet 是三类非常具有代表性的轻量化网络。它们都试图解决“如何在较低复杂度下保持较强特征表达能力”这一共同问题，但出发点并不相同。MobileNet 主要从卷积计算本身入手，通过深度可分离卷积显著降低标准卷积的代价；ShuffleNet 更进一步，关注分组卷积带来的信息流受限问题，并通过通道重排改善特征交互；GhostNet 则从特征冗余的角度重新思考轻量化网络，认为并不是所有特征都需要通过高成本卷积直接生成。

2. 轻量化网络设计的初衷

2.1 深层网络复杂度的持续增长

深度学习模型的发展，很大程度上伴随着网络不断向更深、更宽和更复杂的方向演进。更深的层数意味着更强的层级表征能力，更宽的通道意味着更丰富的特征表达，而更复杂的模块设计则通常意味着更高的任务性能。在很多视觉任务上，这种趋势确实带来了持续的精度提升。

但问题也同样明显：随着网络规模不断扩大，模型的参数量和 FLOPs 也会迅速增长。一个在精度上表现优异的模型，往往也是一个计算开销大、存储成本高的模型。对于服务器环境而言，这种代价或许还可以接受；但对于移动端、嵌入式平台、边缘设备等资源受限场景，这类模型通常难以直接使用。

因此，轻量化网络设计最直接的初衷，就是回应这一现实矛盾：当高性能模型的复杂度已经超出很多实际应用场景的可承受范围时，就需要从网络结构设计阶段开始，主动考虑如何降低复杂度，而不是等模型训练完成之后再被动压缩。

2.2 从模型压缩到结构级轻量化设计

轻量化的实现路径大致可以分为两类。一类是“先训练大模型，再做压缩”，例如量化、剪枝、蒸馏等；另一类则是“从一开始就按轻量目标来设计网络结构”。后者所形成的，就是轻量化网络设计。

这两类方法并不对立，但关注点并不相同。模型压缩更强调在已有模型基础上进行后处理式优化，而结构级轻量化设计则强调从源头上构建更高效的网络。换句话说，它不是先把网络做得很重，再思考如何减轻，而是在设计阶段就直接控制复杂度，让网络天然更适合轻量化部署。

这种思路的重要性在于，它往往能够在整体结构层面形成更加一致的复杂度控制逻辑。因为网络的每一层、每一个模块、每一种特征流动方式，都是围绕轻量目标而组织的。因此，结构级轻量化设计往往不是局部优化，而是完整的方法论。

2.3 复杂度与表达能力的平衡目标

需要强调的是，轻量化网络设计从来不是简单地追求“越小越好”或“越快越好”。如果一个网络虽然复杂度很低，但特征表达能力明显不足，最终无法满足任务需求，那么它也不能算是成功的轻量化设计。

因此，轻量化网络真正追求的是一种平衡：在有限的参数量和计算预算下，尽可能保留有效的特征表达能力。也就是说，轻量化网络设计的目标不是单纯压缩，而是在复杂度和性能之间找到一个更合理的折中点。

从这个意义上说，MobileNet、ShuffleNet 和 GhostNet 的价值，并不只是它们提出了新的模块，而在于它们分别给出了不同的平衡路径：有的侧重直接降低卷积代价，有的侧重改善分组后的信息流，有的侧重减少冗余特征的高成本生成。这些路径共同构成了轻量化网络设计不断演进的主要脉络。

3. 轻量化网络设计的核心方向

3.1 降低卷积计算成本

在多数 CNN 中，卷积层是参数量和 FLOPs 的主要来源。因此，轻量化网络设计最直接的方向，就是降低卷积本身的计算代价。深度可分离卷积、分组卷积、逐点卷积与瓶颈结构等方法，都是围绕这一方向展开的。

其核心思想在于：标准卷积虽然表达能力强，但同时承担了空间建模和通道融合两类任务，代价较高。如果能够对卷积过程进行拆分、分组或压缩，就有可能在保持较强特征提取能力的同时显著降低复杂度。MobileNet 正是这一方向的代表。

3.2 减少冗余特征表达

除了卷积本身的昂贵代价，另一个值得关注的问题是：模型生成的特征是否存在冗余。很多时候，并不是每一个输出特征都需要通过完整的高成本卷积独立生成。一部分特征可能与已有特征高度相似，或者可以通过较便宜的变换近似得到。

如果能够识别这种冗余，并将一部分高成本特征生成过程替换为廉价操作，那么就有可能进一步降低网络复杂度。GhostNet 正是建立在这一观察基础上的代表性网络。

3.3 提高有限计算预算下的特征利用效率

轻量化设计不仅要少算，还要尽量让“已经花出去的计算预算”变得更有效。这就涉及特征流动、通道组织和信息交互效率等问题。例如，分组卷积虽然能降低复杂度，但会带来不同组之间信息流动受限的问题。如果没有合适的补救机制，特征利用效率反而可能下降。

因此，轻量化网络设计的另一个重要方向，是在有限预算下尽可能提升特征利用效率，让每一次计算都更有价值。ShuffleNet 就代表了这一方向，它不仅关心如何减少计算量，也关心减少计算之后信息还能否充分流动。

从整体来看，经典轻量化网络并不是在做同一件事，而是分别抓住了不同的复杂度来源：有的针对昂贵卷积本身，有的针对分组后的信息流问题，有的针对特征冗余。也正因为如此，它们共同构成了轻量化网络设计的重要谱系。

4. MobileNet：深度可分离卷积驱动的轻量化网络

4.1 设计初衷

MobileNet 的提出，主要面向移动端和嵌入式设备等资源受限场景。其设计目标非常明确：在尽可能低的参数量和 FLOPs 下，构建仍具有较强视觉表征能力的网络。相比于传统 CNN 直接堆叠标准卷积的方式，MobileNet 更强调从卷积本身开刀，直接降低卷积计算的主要成本。

4.2 核心思想

MobileNet 的核心思想，就是用深度可分离卷积替代标准卷积。上一篇文章已经详细分析过，深度可分离卷积本质上是把标准卷积分解为两步：

1. Depthwise Convolution：逐通道做空间卷积
2. Pointwise Convolution：通过 1 × 1 卷积做通道融合

从设计逻辑上看，MobileNet 的关键不在于引入了很多复杂模块，而在于它抓住了标准卷积复杂度的主要来源，并用一种足够直接且有效的方式对其进行了重构。这也是它成为轻量化网络设计基线模型的重要原因。

4.3 基本结构特点

以 MobileNetV1 为例，其基本结构非常清晰：网络主体由大量深度可分离卷积模块堆叠而成。一个典型模块通常包含：

• 一个 Depthwise Conv
• 一个 Pointwise Conv

也就是说，MobileNetV1 并不是简单减少网络层数，而是系统性地把标准卷积替换为更轻的卷积形式。整个网络因此在保持 CNN 主干结构的同时，大幅降低了复杂度。

4.4 优势与特点

MobileNet 的优势主要体现在以下几个方面：

第一，结构清晰。它几乎可以被视为“深度可分离卷积的系统化网络实现”，整体逻辑非常容易理解。

第二，复杂度下降显著。由于网络主体大量采用深度可分离卷积，参数量和 FLOPs 都明显低于传统 CNN。

第三，具有很强的基线价值。很多后续轻量化网络都会与 MobileNet 做比较，因为它提供了一个非常典型的轻量化设计参考点。

4.5 局限性

MobileNet 的局限也很明确。由于其核心依赖深度可分离卷积，因此在某些场景下，网络表达能力可能不如更完整的标准卷积结构。尤其在特征融合和通道交互方面，如果设计不够充分，性能可能受到一定影响。

换句话说，MobileNet 的代表意义更多在于：它第一次非常系统地证明了，单纯通过重构卷积本身，就可以构建出一类有效的轻量化网络。但它并不是轻量化设计的终点，而更像是一个清晰的起点。

5. ShuffleNet：面向分组卷积信息流问题的轻量化网络

5.1 设计背景

分组卷积是一种非常有效的轻量化方式，因为它可以显著减少通道之间的连接数量，从而降低参数量和 FLOPs。但它也会带来一个明显问题：不同分组之间的信息流动会受到限制。也就是说，虽然计算变轻了，但特征之间的交互也被削弱了。

ShuffleNet 的提出，正是针对这一问题。它意识到，轻量化设计不能只关心“减少多少计算”，还必须关心“减少计算之后，信息还能否高效流动”。如果分组卷积带来的低复杂度是以特征交互受阻为代价，那么这种轻量化就不一定划算。

5.2 核心思想

ShuffleNet 的核心思想可以概括为两点：

1. 使用 pointwise group convolution 降低计算量
2. 使用 channel shuffle 改善不同组之间的信息流动

其中，第一点延续了分组卷积的低复杂度优势；第二点则是 ShuffleNet 最关键的创新：它通过通道重排，把原本被分组隔离开的特征重新打乱，使后续分组卷积能够接触到来自不同组的特征信息。

也就是说，ShuffleNet 并不是单纯采用分组卷积，而是在此基础上专门解决了“分组之后信息不流通”的问题。

5.3 基本结构特点

ShuffleNet 的基本结构通常包括以下几个部分：

• 分组 1 × 1 卷积，用于降低点卷积成本
• Channel Shuffle，用于实现组间通道重排

• 深度卷积或逐通道空间卷积，用于提取空间特征

• 残差式或分支式连接，用于增强特征流动

从结构上看，ShuffleNet 比 MobileNet 更强调“通道如何组织”和“特征如何流动”。它的关注重点不只是单层卷积是否便宜，而是整个模块在低复杂度下是否还能保持较好的信息交互能力。

5.4 关键创新点

这也是 ShuffleNet 与一般分组卷积网络最大的区别。它不是简单“少连一点”，而是在“少连”的同时努力恢复信息流动效率。

5.5 优势与局限

ShuffleNet 的优势主要在于：

• 复杂度低，适合极低计算预算场景

• 通过 channel shuffle 提高了分组卷积下的信息流动效率

• 相较于单纯分组卷积设计，更系统地考虑了特征交互问题

但它也存在一些局限：

• 结构逻辑相较 MobileNet 更复杂，理解门槛略高

• 其性能较大程度依赖通道组织方式是否合理

• 如果通道重排与后续模块设计不匹配，收益可能受限

因此，ShuffleNet 的代表意义在于：它把轻量化设计从“减少卷积代价”推进到了“在低代价下如何保持有效信息流动”这一层。

6. GhostNet：从冗余特征角度重新思考轻量化

6.1 设计背景

MobileNet 和 ShuffleNet 主要关注的是如何降低卷积计算成本，而 GhostNet 则从另一个角度切入：特征图本身是否存在冗余。

GhostNet 的核心观察是，在许多卷积网络中，不少输出特征图之间其实高度相似。也就是说，模型往往花费了大量高成本卷积计算去生成一些彼此相近、信息冗余的特征。如果这些冗余特征不一定非要通过完整卷积直接生成，那么就存在进一步降低复杂度的空间。

6.2 核心思想

也就是说，它不再假设所有输出特征都必须由高成本卷积一次性得到，而是认为只需要先生成少量核心特征，剩余相似特征可以通过便宜的线性变换、逐通道操作或简单映射构造出来。

这种思想与 MobileNet 和 ShuffleNet 的不同之处在于，它不是只关注“卷积怎么做更便宜”，而是在更深一层追问：“是不是所有特征都值得用高成本方式去生成？” 这个问题本身就非常有代表性，因为它把轻量化设计从卷积运算层推进到了特征生成机制层面。

6.3 Ghost Module 的基本结构

1. Primary Convolution：先通过普通卷积生成少量基础特征
2. Cheap Operation：再通过廉价操作基于这些基础特征生成更多 ghost 特征

最终，把两部分特征拼接起来，形成完整输出。

其设计逻辑可以概括为：

• 不用高成本卷积直接生成所有特征

• 只高成本生成最关键的一部分

• 其余特征通过廉价操作补足

这种做法的本质，是从“少做卷积”进一步演变为“少生成高成本特征”。

6.4 网络结构特点

GhostNet 并不是只提出了 Ghost Module，然后机械堆叠，而是通常将其与 bottleneck 结构结合使用，形成更完整的轻量化网络主干。也就是说，GhostNet 在整体结构上仍然具有典型 CNN 的层级组织方式，但内部很多标准卷积或重型卷积模块都被 Ghost Module 替代。

这使得 GhostNet 的设计体现出一个很鲜明的特点：它并不满足于“把现有卷积做轻”，而是更进一步地重构了特征生成过程。相比 MobileNet 和 ShuffleNet，它在思路上更偏向“计算重构”而不是“连接重构”。

6.5 优势与局限

GhostNet 的优势主要包括：

• 从特征冗余角度出发，设计思路新颖

• 在较低复杂度下保持较好的表达能力

• 能够进一步压缩卷积生成特征的高成本部分

但它也存在局限：

• 依赖“冗余特征可被廉价生成”这一假设

• 并不是所有层都适合完全 ghost 化

• 如果廉价操作生成的特征信息量不足，可能影响整体表达能力

因此，GhostNet 的价值在于，它把轻量化设计推进到了一个新的问题意识层面：不是所有特征都值得以同样高的代价生成。

7. 三类经典轻量化网络的对比

7.1 核心出发点对比

从设计出发点来看，这三类网络分别抓住了不同的复杂度来源：

• MobileNet：关注标准卷积本身过于昂贵的问题
• ShuffleNet：关注分组卷积虽然便宜，但信息流动受限的问题
• GhostNet：关注完整卷积生成的特征存在冗余的问题

也就是说，它们并不是在用同一种方法解决同一个问题，而是在不同层面回答“网络为什么重”。

7.2 核心结构对比

从核心结构来看：

• MobileNet 的代表模块是深度可分离卷积
• ShuffleNet 的代表模块是分组卷积加 channel shuffle
• GhostNet 的代表模块是 Ghost Module

这三者分别对应不同的轻量化策略：

• MobileNet：卷积分解

• ShuffleNet：连接重组

• GhostNet：特征生成重构

7.3 设计思路对比

如果从更抽象的角度总结，这三类网络可以看作三种典型轻量化方法论：

• MobileNet 强调：把高成本卷积拆开做
• ShuffleNet 强调：低成本连接之后要解决信息流问题
• GhostNet 强调：不要用高成本方式生成所有特征

因此，它们共同说明：轻量化网络设计不是单一技巧，而是围绕不同复杂度来源进行结构级重构的方法集合。

建议表格内容如下：

8. 经典轻量化网络的设计启示

通过对 MobileNet、ShuffleNet 和 GhostNet 的分析，可以看到，经典轻量化网络并不是简单地删层、减通道或者盲目缩小模型，而是在更深层次上重新思考“特征应该如何被生成和传递”。

首先，轻量化的关键并不是机械减少计算，而是抓住主要复杂度来源。MobileNet 抓住了标准卷积本身的高成本，ShuffleNet 抓住了低成本连接之后的信息流瓶颈，GhostNet 抓住了特征冗余带来的高成本生成浪费。它们的成功都说明，真正有效的轻量化设计，往往建立在对复杂度来源的清晰识别之上。

最后，经典轻量化网络还共同表明：轻量化设计从来不是单一模块的胜利，而是完整结构设计思想的胜利。一个卷积算子再轻，如果放在不合理的结构中，也未必能构成高质量轻量模型。真正经典的轻量化网络，往往都具有比较完整、内在一致的结构逻辑。

从这个意义上说，MobileNet、ShuffleNet 和 GhostNet 的价值，不只是提出了几个成功网络，更在于它们分别展示了轻量化网络设计可以沿着哪些方向展开。

9. 总结

MobileNet、ShuffleNet 和 GhostNet 是轻量化网络设计中的三类经典代表。它们分别从卷积分解、通道组织和特征生成三个不同角度出发，系统性地降低了网络复杂度。

从更高层面看，这三类经典轻量化网络共同说明了一点：轻量化网络设计不是单一技巧，而是一种围绕复杂度来源进行结构重构的方法论。真正优秀的轻量化网络，不是简单“变小”，而是在设计阶段就思考：哪些计算是必要的，哪些连接是高效的，哪些特征值得高成本生成。

也正因为如此，轻量化网络的发展并不是若干模型名字的堆叠，而是一条非常清晰的设计演进路径。理解这条路径，比记住几个模型本身更重要。