循环神经网络具有记忆性、参数共享并且图灵完备（Turing completeness），因此在对序列的非线性特征进行学习时具有一定优势。循环神经网络在自然语言处理（Natural Language Processing, NLP），例如语音识别、语言建模、机器翻译等领域有应用，也被用于各类时间序列预报。

LSTM（Long Short-Term Memory）是长短期记忆网络，是一种时间递归神经网络（RNN），主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。

极限学习机又名超限学习机，为人工智能机器学习领域中的一种人工神经网络模型，是一种求解单隐层前馈神经网络的学习算法。传统的前馈神经网络（如BP神经网络）需要人为设置大量的网络训练参数，此算法却只需要设定网络的结构，而不需设置其他参数，因此具有简单易用的特点。其输入层到隐藏层的权值是一次随机确定的，算法执行过程中不需要再调整，而隐藏层到输出层的权值只需解一个线性方程组来确定，因此可以提升计算速度。

高斯过程回归（Gaussian Process Regression, GPR）是使用高斯过程（Gaussian Process, GP）先验对数据进行回归分析的非参数模型（non-parameteric model）。GPR的模型假设包括回归残差和高斯过程先验两部分，其求解过程的本质是贝叶斯推断。若不限制高斯过程先验的形式，GPR在理论上是任意目标函数的通用近似（universal approximator）。此外，GPR可提供预测结果的后验，且在回归残差为独立同分布的正态分布时，该后验具有解析形式。因此，GPR是一个具有泛用性和可解析性的概率模型。

深度置信网络是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布。通过训练其神经元间的权重，可以让整个神经网络按照最大概率来生成训练数据。

门控循环单元（GRU）是循环神经网络（RNN）中的一种门控机制，与其他门控机制相似，其旨在解决标准RNN中的梯度消失／爆炸问题并同时保留序列的长期信息。GRU在许多诸如语音识别的序列任务上与LSTM同样出色，不过它的参数比LSTM少，仅包含一个重置门（reset gate）和一个更新门（update gate）。