DeepMind开发出能让数学计算更快的AlphaTensor

原文作者：Matthew Hutson

机器学习技术能提高计算效率，可能会有更深远的应用。

伦敦 DeepMind 的研究人员证明，人工智能（AI）能为一类非常基本的数学计算找到捷径。他们的做法是先把问题变成一个游戏，再使用机器学习技术—— DeepMind 的另一个 AI 曾用这种机器学习技术打败了人类围棋和象棋选手。

AlphaTensor 的设计目的是进行矩阵乘法，但同样的方法也可以用来解决其他数学挑战。来源：DeepMind

这个 AI 发现的算法在计算效率上打破了过去几十年的纪录，研究团队的结果 10 月 5 日发表于《自然》 [ 1 ] ，或为某些领域打开了实现更快计算的新大门。

" 这也太厉害了，" 林茨大学的计算机科学家 Martina Seidl 说，"这项研究证明了机器学习在破解数学难题上的潜力。"

用算法追算法

随着机器学习的不断进步，AI 已经可以生成语言，预测蛋白质形状 [ 2 ] ，检测黑客攻击。而研究人员也在越来越多地利用这项技术反哺它自身——用机器学习来优化它自己的底层算法。

DeepMind 开发的这个 AI 名为 AlphaTensor，其设计初衷是执行被称为矩阵乘法的运算。这种运算是指把网格化排列的数字——即矩阵——相乘。矩阵可以表示图片的像素集、气象模型中的空气状况，也可以表示人工神经网络的内部机制。要把两个矩阵相乘，数学家必须先把单个数字相乘，再通过特定方式把它们相加，产生一个新的矩阵。1969 年，数学家Volker Strassen 为两个 2×2 矩阵的乘法找到了一种仅需 7 次乘法——而不是 8 次——的算法 [ 3 ] 。这激励了其他研究者寻找更多类似技巧。

DeepMind 的做法是使用名为强化学习的机器学习方法。在强化学习中，一个 AI" 智能体 "（通常是一个神经网络）会学习如何与环境交互，以达成一个多步目标，例如在桌面游戏中取胜。如果它做得好，该智能体就会得到强化——它的内部参数会更新，以提高未来的成功率。

AlphaTensor 还使用了一种博弈方法，名为树搜索。在树搜索中，AI 在计划下一步行动时，会探索不同分支的可能性会产生什么结果。在树搜索中，为了决定优先选择哪条路径，它会让一个神经网络预测每一步最有希望成功的行动。当智能体还在学习的时候，它会使用训练游戏的结果作为反馈来强化神经网络，而这会进一步优化树搜索，取得更多成功，再从中学习。

每次博弈都是一个单人游戏，从一个三维张量（3D tensor）——数组——开始，其中的数字都填好了。AlphaTensor 需要用最少的步骤将所有数字变成 0，每一步都要从一组可行的行动中选择。每一步都代表一次计算，该计算的逆转相当于将前两个矩阵中的数字结合起来产生输出矩阵中的一个数字。游戏很难，因为这个智能体的每一步可能都要从几万亿种行动中选择。" 如何为算法发现构造盘面空间是非常精密的，" 论文的作者之一、DeepMind 的计算机科学家 Hussein Fawzi 在一场新闻发布会上说，但 " 更难的是如何在这个空间中寻路 "。

为了给 AlphaTensor 的训练助一把力，开发人员给它展示了一些成功的游戏案例，这样它就不需要从零开始了。由于行动的顺序无关紧要，当它找到一组成功的行动序列后，开发人员就会把行动序列重新打乱再交给它当作学习范例。

高效运算

开发团队在最大 5×5 的矩阵上测试了该系统。在很多情况下，AlphaTensor 重新发现了 Strassen 等数学家已经找到的捷径，但它也发现了一些 " 新大陆 "。例如，在将 4×5 和 5×5 的矩阵相乘时，过去最好的算法需要 80 次乘法，而 AlphaTensor 发现的算法只需要 76 次。

"它在玩这些游戏时有着惊人的直觉。"DeepMind 的计算机科学家 Pushmeet Kohli 在新闻发布会上说道。Fawzi 告诉《自然》，"AlphaTensor 并没有人类关于矩阵乘法的直觉 "，所以 " 从某种意义上说，它需要从头开始构建自己的知识体系 "。

在解更大的矩阵乘法时，开发团队的方法是先做出将问题拆解成更小问题的元算法。在把 11×12 和 12×12 的矩阵相乘时，他们的算法能将乘法次数从 1022 次减少到 990 次。

AlphaTensor 还能根据特定硬件优化矩阵乘法。团队在两个不同的处理器上训练了该智能体，不仅在它执行更少运算时予以强化，在它缩短执行时间时也会得到强化。很多时候，这个 AI 的矩阵乘法比之前的算法快了好几个百分点。有些情况下，一个处理器上最快的算法在另一个处理器上就不是最快的了。

开发团队表示，同样的思路也可能应用在其他类型的数学运算中，例如将复杂的波或其他数学对象拆解成更简单的组合。" 这一发现倘若能得到实际应用，就太令人激动了，" 麻省理工大学的计算机科学家 Virginia Vassilevska Williams 说，" 能强化性能就能优化很多应用。"

美国维克森林大学的计算机科学家 Grey Ballard 看到了未来人机合作的潜力。" 我们或许能用这种计算方式向前再迈一小步，" 他说，" 但我更期待看到理论学家开始分析他们找到的新算法，寻找线索，从而实现下一个突破。"