网络安全演练的好处

在多项自然语言任务中，Switch Transformer 带来了显著性能提升。最明显的是 SuperGLUE，在该基准上 FLOP-matched Switch Transformer 相比 T5-Base 和 T5-Large 的性能分别提升了 4.4% 和 2%，在 Winogrande、closed book Trivia QA 和 XSum 上也出现了类似情况。唯一没有观察到性能提升的基准是 AI2 推理挑战赛（ARC）数据集：在 ARC challenge 数据集上 T5-Base 的性能超过 Switch-Base；在 ARC easy 数据集上，T5-Large 的性能超过 Switch-Large。

整体而言，Switch Transformer 模型在多项推理和知识任务中带来了显著性能提升。这说明该模型架构不只对预训练有用，还可以通过微调将质量改进迁移至下游任务中。
 

可扩展性 VS. 一个更大的稠密模型

上面的实验表明，一个计算不受限制的稠密模型已经被 Switch 超越。图 6 考虑了一种不同的情况：如果把计算资源分给一个更大的稠密模型会怎么样？

为了验证这个问题，研究者将 Switch-Base 与更强的基线 T5-Large 进行了对比。实验结果表明，尽管 T5-Large 每个 token 所用的 FLOPs 是 Switch-Base 的 3.5 倍，但后者的样本效率依然更高，而且速度是前者的 2.5 倍。此外，如果设计一个与 T5-Large 所需 FLOPs 相同的 Switch 模型（Switch-Large），上述提升还会更加明显。

下游任务中的结果

微调

这里使用的基线方法是经过高度调参、具备 223M 参数的 T5-Base 和具备 739M 参数的 T5-Large 模型。针对这两个模型，该研究作者设计了具备更多参数的 FLOP-matched Switch Transformer。
 

基于时间的可扩展性

如上图 4 所示，随着专家数量的增加，模型的性能会不断提升。虽然模型的每个 token 拥有与基线近乎相同的 FLOPS，但 Switch Transformers 会产生额外的跨设备通信成本，路由机制也会带来额外的计算开销。因此，在基于步数的设置中观察到的样本效率提升未必能转化为时间上的模型质量提升。这就引出了一个问题：

在训练时间和计算成本都固定的前提下，我们应该训练一个稠密模型还是稀疏模型？

下图 5 和 6 解决了这个问题。图 5 展示了预训练模型质量随训练时间增加所产生的变化。在训练时间和计算成本都固定的情况下，Switch Transformer 的速度优势非常明显。在这种设置下，如果要达到相似的困惑度，Switch-Base 64 专家模型的训练时间仅为 T5-Base 模型的 1/7。
 

提升训练和微调的技巧

与原版 Transformer 模型相比，稀疏专家模型在训练时可能更加困难。所有这些层中的 hard-swithing（路由）决策都可能导致模型的不稳定。此外，像 bfloat16 这样的低精度格式可能加剧 router 的 softmax 计算问题。研究者采取了以下几种技巧来克服训练困难，并实现稳定和可扩展的训练。

对大型稀疏模型使用可选择行精度（Selective precision with large sparse models）

为实现稳定性使用更小的参数初始化（Smaller parameter initialization for stability）

正则化大型稀疏模型（Regularizing large sparse models）

预训练可扩展性

在预训练期间，研究者对 Switch Transformer 的可扩展性进行了研究。在此过程中，他们考虑了一个算力和数据都不受限制的机制。为了避免数据受限，研究者使用了大型 C4 数据库，里面包含 180B 的目标 token。在观察到收益递减之前，他们一直进行训练。

专家的数量是扩展模型最有效的维度。增加专家的数量几乎不会改变计算成本，因为模型只为每个 token 选择一个专家，这与专家的总体数量无关。router 必须基于更多的专家计算概率分布，但这是一个轻量级的计算成本 O(d_model × num experts)。其中，d_model 是层与层之间所传递的 token 的嵌入维度。在这一部分，研究者以固定的计算成本考虑基于步数和时间的可伸缩性。

基于步数的可扩展性

下图 4 展示了多个模型在训练步数恒定、专家数量增加时表现出的可扩展性提升情况。从中可以观察到一个趋势：在保持每个 token 的 FLOPS 不变时，拥有更多的参数（专家）可以提高训练速度。

（编辑：济宁站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!