您现在的位置： 学术交流
人工智能与数学前沿综述：如何借助 AI 发现数学规律？

 

人工智能与数学前沿综述：如何借助 AI 发现数学规律？

人工智能学家 2024-01-09 18:04 发表于广东

以下文章来源于集智俱乐部 ，作者陈小杨

导语


为了探索数学与人工智能深度融合的可能性，集智俱乐部联合同济大学特聘研究员陈小杨、清华大学交叉信息学院助理教授袁洋、南洋理工大学副教授夏克林三位老师，共同发起“人工智能与数学”读书会，希望从 AI for Math，Math for AI 两个方面深入探讨人工智能与数学的密切联系。
       在人工智能与数学读书会第一期，陈小杨老师探讨了符号回归、强化学习构造反例、AI辅助发现数学规律，以及大语言模型在数学研究中的应用，并分享了一些最新研究成果。在以 ChatGPT 为代表的大语言模型集中爆发的当下，如何利用语言大模型，构建一个人机交互的数学研究平台？陈老师介绍了最新发布的 DeepMath 数学大模型。本文是此次读书会的文字整理。
研究领域：AI for Math，符号回归，强化学习，大语言模型



目录

 

1. 人工智能和神经网络的背景知识

2. 计算机辅助数学研究

    2.1 符号回归寻找数学表达式

    2.2 强化学习构造猜想反例

    2.3 AI 辅助发现数学规律

3. 大语言模型在数学研究中的应用

4. 人机交互的数学研究平台

5. 展望：如何借助 AI 发现新的数学概念？

 

1. 人工智能和神经网络的背景知识

回顾人工智能和神经网络的发展历史，人工智能（Artificial Intelligence）是指让机器具有人类的智能，其诞生的标志性事件是1956 年的达特茅斯（Dartmouth）会议，在这次会议上，“人工智能”被提出并作为本研究领域的名称。


      神经网络在数学上可以被解读为一种特殊的函数。这种函数通过自变量x的线性组合，然后通过激活函数φ进行处理，再进行线性组合后得到输出。φ函数可以有多层，构成复合函数。

图：人工智能的发展历史与标志性事件

图：人工神经网络（Artificial Neural Network）


通用近似定理
在数学里，对于任何一个连续函数，总是可以找到一个多项式函数或者三角基数去逼近它。

然而，神经网络这一类特殊的函数在基础数学里并没有被广泛应用。尽管如此，计算数学领域已经使用神经网络来解决一些传统数学方法难以解决的问题。例如，使用神经网络去解决一些多尺度建模的问题。

2. 计算机辅助数学研究 

自人工智能诞生以来，探索 AI 在数学研究中的应用一直是一个重要的研究方向，并取得了许多重要成果。在符号主义的影响下，A. Newell 和 H. Simon 研发的“逻辑理论家“证明了《数学原理》中的多条定理，这是符号主义的成功实践之一。而符号主义的另一重大成果，则是吴文俊先生开创的几何定理机器证明。吴先生利用代数几何，成功的将平面几何表述成一套精确的形式语句，从而可以借助计算机进行推理，实现平面几何定理的机器证明。

 

计算机辅助数学研究已经取得了一些令人瞩目的成就。例如，图论里经典的四色定理（任何平面上的地图只需要使用最多四种颜色来进行着色，以确保相邻的地区颜色不同）曾被计算机用穷举法证明。最近5年内，用神经网络辅助数学研究比较重要的工作包括：

  • 符号回归寻找数学表达式：这种方法从数据中寻找精确的数学表达式，不仅仅是拟合数据，而是在给定的函数库内寻找函数，并通过组合和算术运算来生成一个函数，以拟合数据。这种方法已被用于发现物理学和数学中的精确公式。
  • 强化学习构造猜想反例：利用强化学习，研究人员能够构造出猜想的反例，例如在图论中。这种方法可以用于验证某些猜想是否成立，从而发现新的数学性质。
  • AI 辅助发现数学规律：通过AI辅助，研究人员已经建立了不同数学领域的规律，包括建立扭结不变量、发现新的矩阵乘法算法以及生成关于基本常数的猜想。这些工作突显了AI在数学研究中的重要作用。

·      2.1 符号回归寻找数学表达式

·      

符号回归（symbolic regression）是一种从数据中寻找精确数学表达式的方法。与通用逼近理论不同，符号回归在给定一组输入和输出数据的情况下，试图找到一个函数来精确拟合这些数据。但这个函数是从一个事先定义好的函数库中选择的。这个库可以包含对数函数、三角函数、多项式函数等可能的函数。通过组合和基本算术运算，我们可以生成一个函数，以最好地拟合数据。
符号回归的重要性在于，它能够挖掘出物理学和数学中的第一性原理或精确公式，而不是像传统神经网络一样用一个近似的函数去逼近数据。这使得符号回归生成的函数具有可解释性。近年来，这种方法已被物理学家用于发现许多已知规律，如万有引力定律、爱因斯坦质能方程，以及费曼物理学讲义里很多已有的物理规律。然而，尚未通过这种方法发现未知的新规律，这可能是未来的研究方向。。
    就具体方法而言，符号回归方法可以通过向量化数学表达式来实现。它将数学表达式分解为单元，比如前缀表达式（即波兰表示法 Polish Notation，1920 年，波兰科学家扬 · 武卡谢维奇（Jan ukasiewicz）发明了一种不需要括号的计算表达式的表示法，将操作符号写在操作数之前）。类似于自然语言处理中把一个复杂的语句拆分成基本token的方法，一个复杂的数学表达式也可以被拆分成一些小token。然后，将token序列作为输入，使用机器学习模型进行训练，生成新的token序列，然后使用规则将其还原为数学表达式。


·           在训练方面，可以应用传统的机器学习方法，如线性回归、非线性回归、Transformer 架构、强化学习，或在网络结构中加入一些物理、数学或其他学科的先验知识来约束搜索空间。

·      

图：各类方法的数学工具，表达式，参数集和搜索空间


·      
（1）线性符号回归与非线性符号回归

·      
线性符号回归（Linear SR）的目标表达式有m个组成部分，单个目标表达式就是m=1的情况。每个部分可以表示成一个函数的线性组合，而这些函数来源于事先设定的函数库里。优化的目标是学习每个线性表达式的系数。如果用监督学习的话，就定一个损失函数，然后最小化损失函数。

而非线性符号回归（Nonlinear SR）将深度神经网络中的激活函数替换成数学算子，从数据中学习数学表达式。


·          因此，符号回归与传统回归方法核心的不同在于，事先给定了函数库，然后在这个函数库里去选取函数进行线性或非线性的组合，再去优化参数。

（2）基于强化学习的符号回归方法：深度符号回归

·      Brenden K. Petersen, et al. Deep Symbolic Regression:Recovering Mathematical ExpressionsFrom Data Via Risk-Seeking Policy Gradients. ICLR 2021

·            基于强化学习的符号回归方法引入了智能体，即深度神经网络。按照数学公式的树表达式法，建立由一些数学符号构成的库，这样每个符号就编码成token，比如一个由四个符号构成的库，每个符号可以编码成一个4维的 one-hot 向量。通过约束搜索空间和优化常数，对符号表达式进行约束，例如限制表达式长度、表达式不能全是常数等。通过强化学习进行策略优化，最大化奖励函数来指导生成合适的数学表达式。

图：智能体（深度神经网络）生成树表达式


（3）物理启发的深度符号回归方法


·      Wassim Tenachi, et al. Deep symbolic regression for physics guided by units constraints: toward the automated discovery of physical laws. arXiv:2303.03192.

·      

物理学领域也应用了深度符号回归方法。这些方法引入物理量纲约束，要求得到的方程必须在物理量纲方面保持平衡。这种方法已经用于发现爱因斯坦的质能方程等已知物理规律。


·      图：搜索空间

·     

图：搜索空间被物理量纲约束

·       图：用物理量纲约束的深度符号回归寻找粒子的相对论能量

·      
    在物理学中，这种方法已被用于发现一些已知的方程，但对于一些未知的物理规律，目前还没有得出明确的结论。在数学领域，由于大多数基础数学研究者不太关注应用数学或神经网络，因此尚未广泛应用于发现定理。然而，理论上来说，这个方法有巨大的发展潜力，因为数学中的公式比物理中的多得多，而且不像物理那样需要通过实验验证，相对来说验证反馈时间较短。

2.2 强化学习构造猜想反例

 

Adam. Zsolt. Wagner . “Constructions in combinatorics via neural networks”.arXiv:2104.14516.

 

另一个令人激动的领域是使用强化学习构造猜想反例。以图论为例，先将图编码为邻接矩阵，然后将邻接矩阵转化为向量作为神经网络的输入，并根据环境反馈计算奖励，最后进行策略优化。