Signal下载量暴增4200%

智能网络是新常态

新冠肺炎大流行迫使企业进行被动性、创造性的创新，以便在短短几周内实现他们认为需要数年时间的工作模式转变。

尽管有许多先入为主的看法，但远程工作在很大程度上是成功的。美国的一项研究显示，75%的受访者表示，他们愿意继续在家工作，至少部分时间在家工作;40%的受访者表示，他们强烈认为雇主应该让员工选择远程工作。这一新常态将给企业带来新的压力，因为对能够支持混合体系架构的网络的需求将不断增加：无论是云计算、本地部署还是边缘计算。因此，我预计会有更多组织开始寻求提供集成安全性的基于智能和意图的网络，如SASE的广域网SD-WAN和零信任安全或多云虚拟网络，以应对其新的无边界生态系统日益增加的网络安全威胁。同样，随着企业数字化程度的提高，也需要改善客户体验(CX)。在保持人性化的同时，提供平台稳定性和易用性的能力只会变得越来越重要。我还认为，我们将在数字信任方面承担更多责任。能够确保客户身份、数据和交易以及员工数据和交易安全的企业将获得客户忠诚度奖励。

物联网将在保护和分析数据方面发挥更大作用

由于今年发生的所有数字化转型以及由于封锁而增加的在线活动，企业今年将不得不应对数据量激增。随着2021年更多5G的部署，以及基于LPWAN的服务的进一步增长，企业创建和处理的数据量将激增。因此，为了在竞争中脱颖而出，更多的公司将开始专注于数据分析技术，该技术能够安全地处理数据，并能从大部分未使用的运营数据中分析并得出更有意义的见解。例如，许多新冠肺炎限制预计将在2021年中期取消，这意味着受打击严重的行业(例如旅游业)可能会开始再次出现增长。然而，通过更好地使用数据来提供增强体验的能力可能仍然是许多客户的重要决定因素。因此，在所有这些方面，我希望物联网发挥关键作用，帮助实现流程自动化并使更多信息可供企业轻松使用。随着物联网与人工智能越来越紧密地交织在一起，并越来越深入地嵌入到组织架构和转型计划中，设备将变得越来越“智能”，并能够驱动更大的智能。
 

关于 Switch Transformer 还有很多问题

在论文最后部分，谷歌大脑研究者探讨了一些关于 Switch Transformer 和稀疏专家模型的问题（这里稀疏指的是权重，而不是注意力模式）。

问题 1：Switch Transformer 的性能更好吗？原因是否在于巨量参数？

性能的确更好，但原因不在参数量，而在于设计。参数有助于扩展神经语言模型，大模型的性能确实会好一些。但是该研究提出的模型在使用相同计算资源的情况下具备更高的样本效率。

问题 2：没有超级计算机的情况下，我能使用该方法吗？

尽管这篇论文聚焦非常大型的模型，但研究者仍找到了具备两个专家的模型，既能提升性能又可以轻松适应常用 GPU 或 TPU 的内存限制。因此，研究者认为该技术可用于小规模设置中。

问题 3：在速度 - 准确率帕累托曲线上，稀疏模型的表现优于稠密模型吗？

是的。在多种不同模型规模情况下，稀疏模型在每一步和墙上时钟时间方面都优于稠密模型。受控实验表明，对于固定的计算量和时间而言，稀疏模型的表现超过稠密模型。

问题 4：我无法部署万亿参数模型，可以将模型缩小吗？

虽然无法完整维持万亿参数模型的质量，但通过将稀疏模型蒸馏为稠密模型，可实现 10-100 倍的压缩率，同时获得专家模型约 30% 的质量改进。

问题 5：为什么要使用 Switch Transformer 代替模型并行稠密模型？

以时间为基准，Switch Transformer 要比使用分片参数（sharded parameter）的稠密模型高效得多。同时，这一选择并非互斥，Switch Transformer 中也可以使用模型并行化，这可以提高 FLOPs per token，但也会导致传统模型并行化的减速。

问题 6：为什么稀疏模型未得到广泛使用？

尝试稀疏模型的想法被稠密模型的巨大成功所阻挠。并且，稀疏模型面临着多个问题，包括模型复杂度、训练难度、通信成本等。而 Switch Transformer 缓解了这些问题。

（编辑：济宁站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!