0   引言

人工智能的飞速发展，越来越深刻地融入现代科学的前沿进展之中，从机器学习领域的语音识别、图片分类、语言翻译和对话机器人，逐步发展到物理、化学、生物医学、数学、神经科学等多学科问题中，并在天气预报、药物设计、自动化控制、优化设计，以及微分方程求解和符号回归等诸多领域取得了多项值得关注的成果．人工智能驱动的科学研究已经成为一个新的科研方向，成为继实验观察、理论分析、数值模拟之后的新的研究范式的重要组成部分^[1]．深度学习和人工神经网络，作为人工智能研究的主要组成部分和关键技术，推动了当前人工智能研究的发展，从基础的前馈神经网络和循环神经网络，逐步发展出了包括长短时记忆网络、卷积网络、Hopfiled网络、储备池算法、注意力网络、残差网络等多种神经网络模型架构，形成了应对不同任务、不同数据特征、不同功能的一系列算法模型^[2]．

总体来说，人工神经网络大体上可以分为2种基本架构，即前馈神经网络和循环神经网络．从数学上来说，前馈神经网络等价于函数或者映射，而一个循环神经网络本质上就是一个动力系统^[3]．前者适宜处理静态数据和任务，如图像识别和语义分段等，而后者通过自反馈的神经元连接形成自持续演化且具备一定的记忆能力，更适合处理含时数据和序列相关问题的分析．但相比于前馈神经网络，因为梯度消失问题，循环神经网络的训练需要更长的训练时间和更加仔细的初始权重设计．为了克服这个问题，人们提出了多种方案，如长短时记忆网络，以及含时误差传递算法等，但参数训练的挑战仍然存在^[4]．为此，在2000年前后，作为储备池算法前身的回声状态网络^[5]以及液体机^[6]被相继提出，并在2007年被统一为储备池算法^[7]，逐渐成为处理时间序列问题的重要算法之一^[3,8]．

一个标准的储备池算法包括输入层、储备池层，以及一个输出层，其中储备池层为一个随机人工神经网络，如图1所示．输入信号经过输入层输入到储备池层中，并经过储备池层神经网络的处理成为一组高维的复杂序列，称之为储备池状态．储备池层复杂高维信号经过输出层的线性组合得到最后的输出结果．与循环神经网络不同，在储备池的训练过程中，输入层和储备池层的随机神经网络在训练过程中都是固定不变的，唯一需要训练的仅仅是输出层的线性耦合权重，并可以通过简单的训练算法，如岭回归算法等快速地得到．相比于循环神经网络算法，储备池算法克服了训练的困难并且易于实现，同时保留了非线性和记忆性质，在多项对比研究中取得了比循环神经网络、长短时记忆网络等更好的时间序列数据学习和预测效果^[9]．经过20多年的发展，储备池算法已经在生物医学信号分类与处理、混沌动力学时间序列预测、机器人训练与控制、图像处理与聚类、电网安全检测、光通信、电池寿命监控、风力预测、语音识别、金融市场建模等多个领域广泛应用^[4]．

图  1  储备池算法结构示意

下载: 全尺寸图片 幻灯片

储备池算法的核心结构简单，尤其是灵活且无须训练的储备池层让储备池算法具有广泛的实现方式，并不局限于某种特别的人工神经网络与激活函数．除了传统的基于双曲正切和脉冲神经元动力学的回声状态网络和液态机以外，诸如单节点延迟动力系统、元胞自动机、机械振子、DNA振子、化学反应网络、模拟电路、忆阻器、光学系统、量子自旋系统、软体机器人等多种储备池层的设计都被陆续提出与实现^[10]．储备池算法逐渐发展为跨越不同实现方式和底层动力学的统一的人工智能学习和功能实现框架．另一方面，神经生物学的研究发现，脑和神经网络中也具有相似的储备池算法结构．在大脑皮层，尤其是前额叶中，研究发现了大量的自反馈神经元结构，并组合构成了类似的储备池结构^[11]．另外，在皮层纹状体中，研究发现了部分神经元存在偏好的空间扫视幅度和方向并对特定的响应顺序具有选择性，称之为混合选择机制^[12−13]．最近的研究发现，在储备池算法的人工神经网络中，重现了这种重要的神经生物学现象，储备池算法结构与大脑的实际学习过程密切相关，对于大脑皮层的工作原理的理解起到了重要作用^[14]．

综上所述，发展自循环神经网络的储备池算法，具有结构简单、易于训练的特点，且保留了循环神经网络的非线性动力学性质和记忆能力，让其作为一种强大的时间序列分析工具的同时，也成为分析和理解学习过程和智能现象的突破口．本文将回顾储备池算法在复杂动力系统学习和分析中的应用，从动力系统分析的角度讨论储备池算法的学习过程与机制，并对于未来的相关研究进行展望．

1   储备池算法

储备池算法由输入层、储备池层，以及输出层组成，不同的储备池算法有不同的设计，本文选择2001年Jaeger最早提出，也是目前在动力系统分析中应用最广的离散回声状态网络^[5]为例．设有一个$ {N}_{u} $维长度为$ L $的离散输入信号，$ {\boldsymbol{u}}\left(n\right)=\left[{u}_{1}\left(n\right),{u}_{2}\left(n\right),\cdots ,\right. \left.{u}_{{N}_{u}}\left(n\right)\right]^{\mathrm{T}} $，以及一个$ {N}_{y} $维长度同样为$ L $的目标信号，$ {\boldsymbol{y}}_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}\left(n\right)={\left[{y}_{1\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}\left(n\right),{y}_{2\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}\left(n\right),\cdots,{y}_{N,\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}\left(n\right)\right]}^{\mathrm{T}} $，其中$ n= 1, 2,\cdots , L $为序列的时间步．不同的学习任务都可以简单归纳为是学习输入信号和目标信号的函数关系，也就是未知函数 $ {\boldsymbol{y}}\left(n\right)={\boldsymbol{f}}\left({\boldsymbol{u}}\left(n\right),{\boldsymbol{u}}\left(n-1\right),\cdots \right) $．为此，将输入信号经过输入层输入到储备池层中，得到受到输入信号驱动的储备池层节点的动力学演化

式中：$ \boldsymbol{x}\left(n\right)={[{x}_{1}\left(n\right),{x}_{2}\left(n\right),\cdots ,{x}_{{N}_{x}}\left(n\right)]}^{{\mathrm{T}}} $ 为$ {N}_{x} $个储备池层神经元节点的状态；$ {\boldsymbol{W}}_{\mathrm{i}\mathrm{n}} $为输入层权重；$ \boldsymbol{W} $为储备池节点间的耦合矩阵；$ \mathrm{tanh}\left(\right) $是每个神经元节点上的激活函数；$ \alpha $是泄漏率控制储备池层节点演化的时间尺度．经过储备池层节点，输入的$ {N}_{u} $维信号被扩展到了$ {N}_{x} $维的储备池状态．在$ {\boldsymbol{W}}_{{\mathrm{in}}} $和$ \boldsymbol{W} $随机选择的基础上，不同的储备池层神经元节点反映了输入信号的不同特征．在输出层，储备池层的状态再次被组合起来，得到最终的输出信号

式中：$ \boldsymbol{y}\left(n\right)={[{y}_{1}\left(n\right),{y}_{2}\left(n\right),\cdots ,{y}_{{N}_{y}}\left(n\right)]}^{{\mathrm{T}}} $是同目标序列一样的$ {N}_{y} $维的输出序列；$ {\boldsymbol{W}}_{\mathrm{o}\mathrm{u}\mathrm{t}} $是在储备池算法中唯一需要训练的输出权重．在基础的储备池算法的基础上，一个常用的改变是增加一个偏置项，将输入信号$ \boldsymbol{u}\left(n\right) $替换为$ [ $1;$ \boldsymbol{u}\left(n\right)] $，以打破储备池节点动力学的对称性．

为了实现学习任务，需要最小化输出信号$ \boldsymbol{y}\left(n\right) $和目标信号$ {\boldsymbol{y}}_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}\left(n\right) $的最小二乘误差．通常的实现方式是线性回归算法实现，如岭回归算法

式中：$ {\boldsymbol{Y}}_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}=[{\boldsymbol{y}}_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}\left(1\right),{\boldsymbol{y}}_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}\left(2\right),\cdots, {\boldsymbol{y}}_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}\left(T\right)] $为目标信号矩阵；$ {\boldsymbol{X}}=[{\boldsymbol{x}}\left(1\right),{\boldsymbol{x}}\left(2\right),\cdots, {\boldsymbol{x}}\left(T\right)] $为储备池状态矩阵；$ {\boldsymbol{I} }$为单位矩阵；$ \delta $为岭回归正则化因子．在线性回归过程中，过小的正则化因子会导致准线性问题，而过大的正则化因子会引入额外的误差．选择合适大小的正则化因子，在储备池算法的分析中也是关键步骤之一，可以有效提升预测学习和预测效果．除了岭回归方法以外，常用的获得$ {\boldsymbol{W}}_{\mathrm{o}\mathrm{u}\mathrm{t}} $的方法还有FORCE算法^[15]、权重预训练方法^[16]、梯度训练法^[17]，以及演化算法^[18]等．

不同的时间序列学习和分析任务有不同的目标信号，如识别任务中的标注信号，分类任务中的类别信号，以及预测任务中的序列演化信号等．其中，在储备池分析动力系统的问题中，预测问题是最常用也是最基本的问题，此时目标信号是输入信号的时间顺延

在选择合适的储备池大小和超参数情况下，经过$ {\boldsymbol{W}}_{\mathrm{o}\mathrm{u}\mathrm{t}} $的训练，我们得到的输出信号将近似等于目标信号，从而

由此，在训练完成后，可以将$ {\boldsymbol{W}}_{\mathrm{o}\mathrm{u}\mathrm{t}}\boldsymbol{x}\left(n\right) $作为 $ \boldsymbol{u}\left(n+1\right) $的近似输入到输入层中，形成自反馈结构，从而实现储备池算法在无输入的情况下对于输入信号未来状态的预测．此时，储备池系统成为一个自治动力系统

而未来的预测结果通过储备池节点状态和训练好的输出矩阵得到，$ {\boldsymbol{y}}\left(n\right)={\boldsymbol{W}}_{\mathrm{o}\mathrm{u}\mathrm{t}}\boldsymbol{x}\left(n\right) $．

相较于循环神经网络，储备池算法中的输入权重$ {\boldsymbol{W}}_{\mathrm{i}\mathrm{n}} $、储备池节点耦合矩阵$ \boldsymbol{W} $都是随机选取，并且在训练过程中保持不变的，这带来了训练的方便，但也带来了这些固定超参数如何先验选择的问题．对于一个储备池算法而言，需要考虑超参数和系统设置．

1）储备池节点个数$ {N}_{x} $．这是储备池算法最核心的参数之一．在无穷多节点数$ {N}_{x}\to \infty $的极限下，数学证明了储备池算法是任意动力系统的通用近似，从而保证了储备池算法的数理基础^[19]．但在实际应用中，过大的储备池系统会导致训练速度过慢，输入数据的长度过长，以及过拟合等问题．选择合适的节点数，是实际应用中首先要解决的问题．有研究发现，节点个数与储备池的记忆容量有关^[20]，建议的节点数为输入信号长度的10%~50%，即$ {T}/{10}\leqslant {N}_{x}\leqslant {T}/{2} $．但另一方面，最优的节点数也与信号的周期性和复杂程度有关，对于正弦周期信号，几个节点组成的储备池就可以达到非常好的预测效果．如何根据信号特征选择合适的选择储备池节点数，仍然是一个具有挑战性的问题．

2）谱半径$ \rho \left({\boldsymbol{W}}\right)， $其定义为储备池耦合矩阵$ \boldsymbol{W} $的最大本征值．谱半径越小，则储备池节点的演化越依赖于当前时刻的输入，具有越短的历史记忆；反之，谱半径越大，则历史输入信号对当前储备池节点状态的影响越大．一个普遍性的选择是$ \rho \left(\boldsymbol{W}\right) < 1 $，以保证储备池网络遗忘其自己的初值，而仅依赖于输入信号，也称为回声状态性质^[21]．但应该注意的是，>1的谱半径有时也并不意味着回声状态性质的打破^[22]．当考虑到输入信号的驱动性质时，回升状态性质的存在范围远比$ \rho \left(\boldsymbol{W}\right) < 1 $所刻画的范围大．

3）输入序列标度与平移，即$ {\boldsymbol{W}}_{\mathrm{i}\mathrm{n}} $的取值范围和偏置．一般$ {\boldsymbol{W}}_{\mathrm{i}\mathrm{n}} $的随机选择会根据输入信号的范围进行调整，使得储备池节点激活函数作用在一个合适的范围内．如果储备池节点的状态过于接近0，则储备池的非线性程度会降低；反之，如果储备池的节点状态过大，则会进入激活函数的饱和区域．$ {\boldsymbol{W}}_{\mathrm{i}\mathrm{n}} $的范围选取取决于任务和输入信号的非线性程度，如何先验地确定，也是一个具有挑战性的问题．

4）岭回归正则化因子$ \delta $．合适的正则化因子可以降低对于噪声的敏感度，以及防止过拟合问题的出现，对于多种不同形式的储备池算法都有作用^[23]．一般的经验选择范围是$ {10}^{-8} < {\delta < 10}^{-6} $．

5）泄漏率$ \alpha $．泄漏率$ \alpha $刻画的是储备池动力学的时间尺度，决定了对于输入信号的记忆长度．泄漏率的选择与输入信号的性质以及其背后的动力系统密切相关^[24]．当$ \alpha =1 $时，储备池具有最小的记忆长度；若同时$ \boldsymbol{W}=0 $，则记忆长度为0．

6）储备池网络结构．包括$ \boldsymbol{W} $的拓扑性质和网络的连接度，即非零连边的占比．对于连接度，研究发现，稀疏的储备池网络有利于学习任务，甚至连接度为0的独立储节点组合也可以完成学习与预测的任务^[25−26]．一般的经验选择范围是0.01~0.20．另外，对于网络采用的随机网络模型，不同的模型之间差异不大，其中小世界网络与Erdös-Renyi随机网络略微优于无标度网络^[27]．

7）其他储备池算法的变形．经过20年的发展，储备池算法也有了许多变化，并在不同的应用场景中提升了原始算法的学习效果，如将输出函数从线性组合改变为多项式^[28]，将单一激活函数改变为多种激活函数复合^[29]，以及在输入信号中额外增加噪声以提高长期预测的稳定性^[6]等．

经过长期的研究积累，以上的储备池超参数大部分都有经验的选择范围，但如何针对一个具体任务选择合适的超参数，仍然是一个具有挑战性的问题．同时，因为实际参数具有的随机性，往往同一组超参数下的储备池训练结果也会有非常大的差别^[30]．实际应用中如何选择储备池算法的超参数，以及如何理解超参数对于储备池算法学习效果的影响，是2个仍未解决的核心问题．其中：对于第1个问题，除了经验选择之外，针对具体的输入信号，可以通过演化算法等方式获得最优参数，这方面已经积累了许多的研究成果^[31]；对于第2个问题，则需要依赖于储备池算法的动力系统性质的仔细分析，研究发现，即便对于最简单的单节点储备池系统，都具有丰富的动力学现象^[32]．将复杂动力系统的分析方法，如基于统计物理的熵和能量图景以及基于非线性动力学的分岔分析和重整化群等简化方法等，借鉴到储备池的学习过程的动力学机制分析中，是一个具有挑战也值得期待的研究方向．

2   用于动力系统预测和分析的储备池算法

动力系统的研究涉及许多重要的领域，包括物理学、化学、生物学、社会科学、经济学与金融等．从开普勒三定律到牛顿的经典力学体系，动力学分析成为物理学的重要基础之一，也逐渐发展成为人们理解自然现象的一种基本方法，例如生态学家采用动力系统研究生态系统中物种的相互作用和种群动态．在复杂性为特征的当今科技前沿，理解复杂系统行为，预测和规划系统演化，优化与控制系统目标，乃至风险评估与管理，都需要基于动力系统的相关分析成果．如何将人工智能的最新进展融入动力系统的分析中，从数据出发结合适当的先验知识，建立人工智能驱动的动力系统分析方法，进而实现基于数据的科学探索是当前研究的重要前沿课题之一．

储备池算法作为循环神经网络的一种，尤其适合处理时间序列数据，是学习和分析动力系统的最合适工具之一，在过去20多年的发展过程中，已经产生了许多成功的典型应用．

2.1   时间序列预测

时间序列预测是储备池算法学习功能的基础．在经过输入信号的驱动和储备池算法训练后，经过自反馈结构，储备池算法形成了一个自治的动力系统，从而可以实现对于输入信号未来演化的预测．当输入信号来自于某个确定性的动力系统时，预测效果可以采用有效预测时长来表示，对于一般的混沌动力系统，如洛伦兹(Lorenz)系统等，其有效预测时间可以达到6倍的李雅普诺夫时间．同时，通过将基于动力系统的基本知识融入储备池算法中，可以大幅提升学习效率．如：对于时空动力系统，结合其动力学的局域性特点，研究发现采用并行化设计的储备池算法克服了输入信号的高维特点，实现了高效预测^[33−34]；针对混沌系统的初值敏感性质，基于有效预测时长同系统动力学稳定性的关系，研究采用了间隔修正的方法，实现了混沌信号的长期预测^[35]；针对动力系统的函数逼近性质，借鉴非线性回归算法，研究通过混合多项式激活函数大幅度地提升了学习效率^[36]，并称之为下一代储备池算法．

其中, 2018年 Pathak等^[33]将储备池的学习与预测从简单的低维系统扩展到了高维时空系统中，实现了对于高维混沌时空系统的学习和预测．他们提出了并行储备池方法，通过多个小储备池并行学习和预测时空系统不同位置的输入信息．算法充分结合了时空系统的动力学局域性，大大提高了储备池算法分析大规模时空系统的能力，在多达1600维时空信息的Kuramoto-Sivashinsky系统中，通过512个并行储备池和总计256万个神经元节点实现了系统混沌状态的预测．2021年Gauthier等^[36]针对储备池算法中的节点参数的随机性问题提出了改进方法，即基于储备池算法与非线性自回归模型的相似性，提出了下一代储备池架构，采用了以多项式函数基和历史交叉项为神经元节点的新型储备池方法．此方法相比于传统储备池节点数大幅度减少，可以采用更小的数据集进行训练，并实现更快的训练速度．在Lorenz 63等典型混沌系统的学习和预测任务中，其计算复杂度可以减小到1%，大大提高了储备池算法的学习效率．2023年，肖井华课题组对于下一代储备池算法的抗噪能力进行了系统研究，发现其在对抗白噪声的抗噪能力上，具有不逊色于传统抗噪算法如高阶关联函数法等的能力；但对于受到色噪声干扰的时间序列，下一代储备池算法与传统储备池算法都无法实现正常的学习和预测功能^[23]．基于此，课题组正在将抗噪算法和储备池算法相结合，开发新的具有广泛抗噪能力的储备池算法．

对于源自动力系统的时间序列预测是储备池算法的优势．如何将更多的动力系统的理论与知识融入储备池算法中，是当前面临的挑战也是机遇．如上述的Pathak等将动力学的局域性融入算法实现并行储备池算法，以及Gauthier等将动力系统常见函数基融入算法实现的高效下一代储备池算法等．动力系统理论中还有许多丰富的理论成果，如嵌入定理、周期轨道理论、混沌场论、符号动力学、重整化方法等．如何将它们和储备池算法相结合是未来研究的重要方向之一．

2.2   动力系统性质的预测

除了对于输入信号的延续，储备池算法是否可以学习到系统更多的性质，是储备池与动力系统研究的一个核心问题．研究发现，对于一些动力系统，通过对其产生的混沌轨道的学习，储备池算法不仅仅是提取了输入信号的信息并给出其演化的预测，其实际上学到了信号背后完整的动力系统，从而可以实现超越轨道预测的动力系统性质的预测，如系统的稳定性指标中的李雅普诺夫指数，以及吸引子的统计特征如功率谱和维数等^[37]．由此，储备池算法不仅可以准确预测输入信号的短期演化，也可以用于刻画信号的长期统计行为^[38]．

基于储备池的动力系统性质预测任务中，典型的应用是对于系统李雅普诺夫指数的预测．2017年，Pathak等^[37]首次将储备池用到了时间序列的动力学性质预测中，发现通过储备池对于时间序列的学习，不仅可以实现短期的轨道预测，而且可以获得具有同原始动力系统相同特征的长时间演化轨道，以及此演化轨道的确定性动力系统描述．基于此确定性的高维储备池动力系统，Pathak等人计算出学习之后的储备池动力系统的李雅普诺夫指数谱，并发现其与时间序列对应的原动力系统具有相同的非负李雅普诺夫指数．相较于传统基于嵌入定理的李雅普诺夫指数计算方法，这种算法极大地提高了计算效率．对于15维的李雅普诺夫指数谱的计算，仅仅使用了40000个时间步，而非传统算法估计的$ {10}^{15} $．

对于动力学性质的学习使得储备池算法的应用大幅度扩展，这得益于储备池本身的动力学形式，使其可以提取输入信号的动力学信息而不是信号本身的特征．但其存在的副作用是，当输入信号对应的动力学信息不唯一时，储备池算法将产生不可避免的选择问题以及预测失败^[32]．如何克服这个挑战，是下一步构建鲁棒的储备池算法的关键挑战．

2.3   参数感知储备池算法

基于动力学性质预测的基础上，将输入信息扩展为时间序列加额外参数信息，在保持参数持续输入的情况下，发展出了参数感知储备池算法^[39]．将在多个参数下获得时间序列联合其参数值合并作为输入信号，经过储备池训练后，选定初值并输入新的参数值，训练好后的储备池便可以对于未经训练的新参数值下的动力系统的演化给出预测，由此实现临界点和动力学分岔图的预测^[40]．在此基础上，对于哈密顿系统，储备池算法在没有先验知识的情况下可以得到轨道遍历性和相空间性质的预测^[41]．

2021年，Kim等^[42]基于参数感知储备池算法对于Lorenz系统进行了细致的研究．研究验证了参数感知储备池算法对于时间序列背后动力系统的学习能力．通过一个额外控制参数的输入，经过对于3~5个控制参数取值时间序列的联合学习，储备池算法可以将动力系统演化对于控制参数的依赖关系进行准确预测．仅仅通过部分简单周期状态的学习，参数感知储备池算法可以正确推断出倍周期分岔，以及通过倍周期分岔通向混沌的道路．研究发现此时李雅普诺夫指数与控制参数的依赖关系得到了正确的预测，从而准确刻画了分岔的道路．

参数感知储备池算法本质上是将部分观察结果的预测算法，以及储备池对于动力系统性质的学习机制相结合，将参数视为可观测量，而动力学性质视为隐藏性质．此时可观测量的抽样选择尤为重要，与系统动力学密切相关，仍然是一个需要探索的研究课题．

2.4   数字孪生系统

既然储备池算法可以通过输入的混沌信号学习信号背后的动力学，那么除了动力系统本身的相变性质之外，系统的其他性质也将被储备算法获得，如驱动与同步性质^[43]，由此可以建构起基于数据的储备池算法模型与原始动力系统之间的同步系统^[44]，进而实现基于此同步系统的未知实验参数提取，即迁移学习^[45]．2023年，Kong等^[46]综合归纳了储备池的研究成果，首次提出储备池算法实现了对于目标非线性动力系统的数字孪生．研究基于数字孪生概念，指出储备池算法可以实现时间序列的连续演化预测和监控，隐藏变量的推断和分析，在外界输入信号下的驱动响应推断，未知控制参数对于系统演化影响的推断，以及全局的动力学分岔性质推断等．由此，储备池算法以数字孪生理论为基础，可以作为气候、生态等众多研究领域的数字基础设施之一，而发挥重要的作用．

2021年，肖井华课题组与王新刚课题组合作，将储备池算法用到了混沌扭摆的实验系统中^[45]．此实验装置广泛应用于大学物理的实验教学中，但无法精确确定其所有动力学参数．研究基于部分已知参数和其动力模型对于储备池进行了训练，输入扭摆模型的频率信息，并利用算法学习其相位信息．在推断和预测阶段，将实验系统的频率信息作为输入，发现经过模型训练的储备池可以完全重现出实验系统的相位信息，实现从模型到实验的迁移学习．该研究为储备池算法通过结合已知动力学模型在真实数据和实验系统中的应用奠定了基础．

3   储备池算法的动力系统基础

经过训练，储备池算法可以对于输入信号的短期演化进行预测，也可以获得产生输入信号的动力系统的信息以实现其动力系统的性质预测，进而建立数字孪生系统，实现诸如同步、控制等未知动力系统的分析．而以上的功能均只需要动力系统产生的部分运动轨迹作为输入信号而已．储备池算法是如何学习的，学习过程是否存在普适性的规律，是理解储备池学习机制及其代表的智能现象数理基础的关键问题．相比于储备池的应用研究，这个问题的探索相对较少，但也取得了一些重要的理论结果．

3.1   回声状态条件与初值遗忘

储备池算法的一个基础条件便是满足回声状态条件，也就是储备池的随机初始状态在经过一段时间的启动过程后需要收敛到唯一的输出结果．储备池节点的状态只依赖于输入信号，从而在训练过程中，算法完全反映输入信号和其背后动力系统的特征^[21]．回声状态条件被认为是储备池算法的必要条件．

3.2   广义同步

如何从动力系统的视角理解回声状态条件，并不是一个简单的问题，从稳定性的角度来看，在输入信号驱动的情况下，回声状态条件描述的是储备池系统作为驱动响应系统的稳定性问题^[22]，此时输入信号背后的动力系统与信号驱动的储备池系统形成了广义同步状态 ^[47]．2018年，在Lu等^[47]基于广义同步的研究中，将整个储备池的学习过程进行了抽象与简化．假设输入时间序列$ \boldsymbol{u}\left(t\right) $来自于一个动力系统的可观测量．将动力系统的状态用$ \boldsymbol{s}\left(t\right) $来表示，则有$ \boldsymbol{u}\left(t\right)=\boldsymbol{h}\left(\boldsymbol{s}\left(t\right)\right) $，$ \boldsymbol{h} $为观测函数．在储备池训练的过程中，在时间序列$ \boldsymbol{u}\left(t\right) $的驱动下，储备池状态$ \boldsymbol{r}\left(t\right) $逐渐达到回声状态条件，只依赖于输入信号．此时，储备池的状态的演化可以表示为$ \boldsymbol{r}\left(t\right)=\boldsymbol{f}(\boldsymbol{r}\left(t\right),\boldsymbol{u}\left(t\right)) $，其中t是时间迭代步长，而$ \boldsymbol{f} $是储备池的响应函数．储备池算法的训练目标是寻找合适的表达函数$\boldsymbol{ \mathrm{\psi } }$，使得$\boldsymbol{ \mathrm{\psi }}\left(\boldsymbol{r}\left(t\right)\right)\approx \boldsymbol{u}\left(t\right) $．而此时得到的关系式$\boldsymbol{ \mathrm{\psi }}\left(\boldsymbol{r}\left(t\right)\right)\approx \boldsymbol{h}\left(\boldsymbol{s}\left(t\right)\right) $，本质上建立了储备池状态$\boldsymbol{r}\left(t\right) $和目标动力系统状态$ \boldsymbol{s}\left(t\right) $的广义同步关系$ \boldsymbol{r}\left(t\right)=\boldsymbol{\phi }\left(\boldsymbol{s}\left(t\right)\right) $．当储备池算法可以通过输入信号学习到其背后的动力学时，此广义同步状态的映射$ \boldsymbol{\phi } $应该是一一映射，反之，当广义同步状态不是一一映射时，则无法实现对于输入信号背后动力系统的刻画，从而无法实现对于输入信号背后动力系统性质的预测．

3.3   稳定性条件

从输入信号的短期演化预测到其背后动力系统的行为预测，这之间存在着一个储备池性质的变化．储备池的广义同步理论^[47]指出，这个变化对应着广义同步映射的属性，以及系统稳定性的改变．在最近的研究中，肖井华课题组将这一过程进一步明确，通过对最简单的单节点储备池的非线性动力学分析发现，在储备池算法中，训练时仅仅将输出序列$ \boldsymbol{y}\left(n\right) $同目标序列$ {\boldsymbol{y}}^{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}\left(n\right) $相匹配，而无法匹配2个序列的稳定性^[32]．由于目标$ {\boldsymbol{y}}^{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}\left(n\right) $在其生成的动力学中都是稳定的吸引子，所以当输出序列$ \boldsymbol{y}\left(n\right) $在储备池动力学中时也是吸引子时，储备池算法可以实现序列的长期预测，反之二者的误差会在预测过程中逐渐累积，从而预测的演化将逐渐远离目标序列，并收敛到一个和目标序列完全不同的吸引子上．在这一过程中，表面上呈现的是机器学习中类似过拟合的现象，但却是储备池算法动力系统本身的属性．虽然增加额外噪声等方式可以部分解决此问题^[6]，但建立2个动力系统稳定性的关联才是解决此问题的关键一环，也仍然是一个具有挑战性的问题．

为了定量化地研究这一现象，肖井华课题组提出在最小化储备池模型上进行系统性的动力学分析和稳定性讨论的研究思路．研究发现，即便只具有单个节点的最简储备池也足以完成Logistic映射的周期二、周期四、混沌等离散轨道，以及正弦信号等连续时间序列的学习和预测．此时，储备池随机参数的选择将极大地影响学习的结果．为此课题组提出了基于误差损失函数的高阶导数的方法，解析分析单节点储备池随机参数的影响，并将之扩展到更复杂的少节点储备池中^[48]．为了进一步刻画稳定性在储备池学习过程中的意义，课题组进一步定义了稳定性透镜，并将储备池失稳而形成的预测状态与训练状态的改变类比于光学的散射过程，展示数据引起的聚焦效应、储备池节点数对应的口径变化等光学过程类比，此研究正在进行中，有望对于储备池训练过程的动力学和稳定性给出系统的刻画．

3.4   混沌边缘

除了围绕着回声状态性质、广义同步，以及稳定性等储备池学习的必要条件以外，如何提升储备池的学习效果，以及探索其背后的动力学机制也是一个储备池动力学研究的核心课题．受到神经生物学研究的启发，一个常见的观点是处在混沌边缘和临界状态的储备池具有更强的学习能力，可以实现更好的序列预测^[49]，但也有研究指出，此时系统更多地处于回声状态条件的边缘而非混沌边缘^[50]．在最近，肖井华课题组与王新刚团队的合作研究中，将一个基于同步振子的储备池系统，通过同步团簇大小的标度律，建立起了混沌边缘和预测效果之间的明确联系^[51]．当储备池具有较好的预测能力时，其内部同步团簇满足确定的标度律，而标度律在同步系统中仅仅出现在混沌边缘的情况下．由此为混沌边缘的理论提供了一个明确的案例．但同时，在一般的储备池算法中，是否也存在类似的现象，仍然是一个开放的问题．

4   结论

储备池算法因为其具有的简单训练结构、灵活多样的储备池层，以及自反馈动力学，使得其特别适合处理动力系统相关的时间序列问题．另一方面，经过训练形成自反馈的储备池系统本身就构成了一个动力系统，又使得研究者可以借助动力系统理论对其学习过程进行分析．这就形成了独特的“用于动力系统的储备池算法”“储备池算法的动力系统基础”2个相辅相成的研究方向．针对这2个研究方向，本文对于储备池算法的超参数优化、预测与应用、动力系统分析进行了详细的讨论，回顾了最新的研究成果，并对于当前存在的问题以及未来研究方向进行了分析．

储备池算法与动力系统分析，是将数理基础理论与人工智能相结合的突破口之一．一方面，可以通过储备池算法将人工智能的最新前沿引入复杂动力系统分析中，利用其处理复杂问题的能力探索复杂系统的动力学现象；另一方面，可以将动力系统理论的研究成果通过储备池算法引入智能现象的研究中，逐步建立起智能现象背后的数理基础．储备池算法与动力系统的交叉研究是在当前人工智能时代具有挑战也是充满机遇的研究方向．