谷歌AI开源张量计算库TensorNetwork计算速度暴增100倍
发布时间：2023-07-25 19:33:10 所属栏目：外闻 来源：网络
导读： Google已发布Tensor Network和相关的API作为开源项目，采用Tensor Flow实现且在后台利用了 Tensor Processing Unit（tensorflow-core）针对图形处理器进行了特别优化的计算集成了超过3
|
Google已发布Tensor Network和相关的API作为开源项目，采用Tensor Flow实现且在后台利用了 Tensor Processing Unit（tensorflow-core）针对图形处理器进行了特别优化的计算集成了超过30个模型的超常性能并且能够以比传统的 CPU快100倍的效率运算。 现代科学领域中，有很多艰巨困难的科学任务，比如开发高温超导体材料、了解空间和时间的本质等，都涉及到处理量子系统的复杂性。这些问题之所以困难，是因为这些系统中的量子态数量呈指数级增长，使得暴力计算行不通了。 为了解决这个问题，人们利用名为“张量网络”的数据结构，可以专注于与现实问题最为相关的量子状态——低能量状态，而忽略其他不相关的状态。张量网络也越来越多地在机器学习中得到应用。 然而，目前在机器学习中应用张量还存在一些困难：比如用于加速硬件的生产级张量网络库尚未在大规模运行张量网络算法中部署，而且，大多数关于张量网络的文献是面向物理学科领域的应用。这也让人们产生一种错误印象，认为需要掌握量子力学的专业知识才能理解张量算法。 本次开源的TensorNetwork使用TensorFlow作为后端，并针对GPU处理进行了优化，与CPU相比，处理速度可以实现100倍的加速。此前已经介绍了TensorNetwork，包括新的库及其API，并针对非物理学背景的读者对张量网络进行了概述，介绍了张量网络在物理学中的特定应用实例，展示了使用GPU带来的处理速度的显著提升。 张量是一种多维数组，根据数组元素的顺序按层级分类：例如，普通数是零阶张量（也称为标量），向量可视为一阶张量，矩阵可视为二阶张量等等。低阶张量可以很容易用一个明确的数字数组或数学符号来表示。 不过涉及到高阶时，这种符号法就变得非常麻烦。使用图解符号对于解决这个问题很有用，一种方法是简单地绘制一个圆（或其他形状），画出多条线或者说“腿”，腿的数量与张量的阶数相同。在这种表示法中，标量表示为一个圆，矢量有一条腿，矩阵有两条腿等。张量的每条腿也有一个尺寸，就是腿的长短。例如，表示物体通过空间的速度的矢量就是三维的一阶张量。 以这种方式表示张量的好处是可以简洁地对数学运算进行编码，例如，用矩阵乘以向量，获得另一个向量，或者将两个向量相乘，得到一个标量。这些都是所谓“张量收缩”的更一般的概念。 虽然这些例子非常简单，但张量网络通常代表以各种方式收缩的数百个张量。用传统的符号来描述这样一件事是很难理解的，这就是RogerPenrose在1971年发明图解符号（diagrammaticnotation）的原因。 我们想象一组连续黑白图像，每个连续图像都可以看作表示的是单独的一个n个像素尺寸大小的值的列表。单个图像的单个像素可以被一个one-hot编码为二维矢量，通过将这些像素编码结合在一起，我们可以对整个图像进行2N维的one-hot编码。我们可以将这个高维向量重塑成一个order-N张量，然后将图像集中的所有张量相加，得到一个总张量Ti1,i2,...,iN集合。 这听起来是一件非常浪费的事：用这种方式编码大约50像素的图像将占内存许多PB的空间。这就该用到张量网络了。与其直接存储或操纵张量T，不如将T表示为张量网络形状中许多较小组分张量的收缩。结果证明效率更高。例如，流行的矩阵积态（MPS）网络将把T写成N个更小的张量，这样参数的总数在N中只是线性的，而不是指数的。 在矩阵积态张量网络中，高阶张量T用许多低阶张量表示。 不明显的是，大张量网络可以被有效地创建或操作，同时始终避免占用大量内存。但事实证明，这在许多情况下是可能的，这就是为什么张量网络在量子物理学和现在的机器学习中被广泛使用的原因。 计算时间作为键维数的函数，χ。键合维度决定了张量网络的组成张量的大小。更大的键维度意味着更强大的张量网络，但需要更多的计算资源来操纵。 我们计划用一系列的论文来说明张量网络在实际应用中的强大之处，这是第一篇。在下一篇论文中，我们将使用TensorNetwork对MNIST和Fashion-MNIST数据集中的图像进行分类。 未来的计划包括机器学习方面的时间序列分析和物理方面的量子电路模拟。通过开源社区，我们会经常为TensorNetwork添加新功能。我们希望TensorNetwork将成为物理学家和机器学习实践者的宝贵工具。这个项目的目标是通过提供一个简单的框架，使用户能够创建和编辑数据，从而在不影响性能的情况下实现高效的分析。 （编辑：济宁站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
