大量社交资料遭泄露

如果将太多 token 发送给一个专家（下文称为「丢弃的 token」），则会跳过计算，token 表征通过残差连接直接传递到下层。但增加专家容量也不是没有缺点，数值太高将导致计算和内存浪费。这当着的权衡如上图 3 所示。

实证研究发现，将丢弃的 token 比例保持在较低水平对于稀疏专家模型的扩展很重要。设计决策对模型质量和速度的影响参见下表 1。

Switch Transformer

研究者首先在 Colossal Clean Crawled Corpus (C4) 数据集上对 Switch Transformer 进行了预训练测试，使用了掩蔽语言建模任务。在预训练设置中，他们遵循 Raffel 等人（2019）确定的最优方案，去掉了 15% 的 token，然后使用单个 sentinel token 来替代掩蔽序列。为了比较模型性能，研究者提供了负对数困惑度的结果。

Switch Transformer 与 MoE Transformer 的比较结果如下表 1 所示。结果表明，Switch Transformer 在速度 - 质量（speed-quality）基础上优于精心调整的稠密模型和 MoE Transformer，并在固定计算量和挂钟时间情况下取得了最佳结果；Switch Transformer 的计算占用空间比 MoE Transformer 小；Switch Transformer 在低容量因子（1.0, 1.25）下表现更好。
 

高效稀疏路由

研究者使用了 Mesh-Tensorflow 库 (MTF)，它具有类似于 TensorFlow 的语义和 API，可促进高效分布式数据和模型并行架构。研究者在设计模型时考虑到了 TPU，它需要静态大小。

分布式 Switch Transformer 实现：所有张量形状在编译时均得到静态确定，但由于训练和推断过程中的路由决策，计算是动态的。鉴于此，一个重要的技术难题出现了：如何设置专家容量？

专家容量（每个专家计算的 token 数量）的计算方式为：每个批次的 token 数量除以专家数量，再乘以容量因子。如公式（3）所示：
 

简化稀疏路由

Shazeer 等人（2017）提出了一个自然语言 MoE 层，它以 token 表征 x 为输入，然后将其发送给最坚定的 top-k 专家（从 N 个专家组成的 ^N_i=1 集合中选出）。他们假设将 token 表征发送给 k>1 个专家是必要的，这样可以使 routing 函数具备有意义的梯度。他们认为如果没有对比至少两个专家的能力，则无法学习路由。

与这些想法不同，谷歌大脑这项研究采用简化策略，只将 token 表征发送给单个专家。研究表明，这种简化策略保持了模型质量，降低了路由计算，并且性能更好。研究者将这种 k=1 的策略称为 Switch 层。

下图 3 展示了具有不同专家容量因子（expert capacity factor）的路由示例：
 

研究者还将新模型与 T5-Base 和 T5-Large 进行了对比，结果表明，在相同的计算资源下，新模型实现了最高 7 倍的预训练速度提升。这一改进还可以扩展至多语言设置中，在所有的 101 种语言中都测到了新模型相对于 mT5-Base 版本的性能提升。

最后，研究者在 Colossal Clean Crawled Corpus 上进行预训练，将语言模型的参数量提升至上万亿，且相比 T5-XXL 模型实现了 4 倍加速。

研究者还表示，虽然这项工作着眼于规模，但它也表明，Switch Transformer 架构不仅在具备超级计算机的环境下具有优势，在只有几个计算核心的计算机上也是有效的。此外，研究者设计的大型稀疏模型可以被蒸馏为一个小而稠密的版本，同时还能保留稀疏模型质量提升的 30%。

Switch Transformer 的设计原理

Switch Transformer 的主要设计原则是，以一种简单且计算高效的方式最大化 Transformer 模型的参数量。Kaplan 等人（2020）已经对扩展的效益进行了详尽的研究，揭示了随模型、数据集大小以及计算预算变化的幂定律缩放。重要的是，该研究提倡在相对较少数据上训练大型模型，将其作为计算最优方法。

基于这些，研究者在增加参数量的同时保持每个示例的 FLOP 不变。他们假设参数量与执行的总计算量无关，是可以单独缩放的重要组件。所以，研究者通过设计一个稀疏激活的模型来实现这一目标，该模型能够高效地利用 GPU 和 TPU 等为稠密矩阵乘法设计的硬件。

在分布式训练设置中，模型的稀疏激活层在不同设备上分配唯一的权重。所以，模型权重随设备数量的增加而增加，同时在每个设备上保持可管理的内存和计算空间。

Switch Transformer 的编码器块如下图 2 所示：

（编辑：济宁站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!