多元时间序列预测的时间模式注意
题目：
Temporal Pattern Attention for Multivariate Time Series Forecasting
作者：
Shun-Yao Shih,Fan-Keng Sun,Hung-yi Lee
来源：
Machine Learning (cs.LG)
Submitted on 12 Sep (v1), last revised 27 Nov (this version, v2)
Submitted to the journal track of ECML PKDD
关注人工智能学术前沿 回复 ：ts08
5秒免费获取论文pdf文档，及项目源码
摘要
预测多变量时间序列数据，例如电力消耗预测，太阳能发电和复音钢琴件，具有许多有价值的应用。但是，时间步骤和序列之间的复杂和非线性相互依赖性使任务复杂化。为了获得准确的预测，对时间序列数据中的长期依赖性进行建模是至关重要的，这可以通过具有注意机制的递归神经网络（RNN）在一定程度上实现。典型的注意机制在每个先前时间步骤检查信息并选择相关信息以帮助生成输出，但是它无法捕获跨多个时间步骤的时间模式。在本文中，我们建议使用一组滤波器来提取时不变的时间模式，这类似于将时间序列数据转换为其“频域”。然后我们提出了一种新的注意机制来选择相关的时间序列，并使用其“频域”信息进行预测。我们将所提出的模型应用于几个现实世界的任务，并在所有这些任务中实现了最先进的性能，只有一个例外。
英文原文
Forecasting multivariate time series >
要点
在本文中，我们提出了一种新的MTS预测注意机制——时间模式注意，我们使用时间模式这个术语来指代跨多个时间步骤的任何时不变模式。典型的注意机制识别出与预测相关的时间步长，并从这些时间步长中提取信息，这对MTS预测具有明显的局限性。考虑图1中的示例。要预测汽油的价值，机器必须学会专注于原油而忽略木材。在时间模式注意中，机器学习选择相关的时间序列，而不是像典型的注意机制那样选择相关的时间步骤。
本文的主要贡献总结如下:
1.我们引入了一个新的注意概念，在这个概念中，我们选择了相关的变量，而不是相关的时间步骤。该方法简单、通用，适用于RNN。
2.我们使用玩具例子来验证我们的注意机制使模型能够提取时间模式，并针对不同的时间序列关注不同的时间步骤。
3.从周期和部分线性到非周期和非线性任务的真实数据的实验结果证明，我们提出的注意机制在多个数据集上实现了最先进的结果。
4.我们的注意力机制中的习得CNN过滤器展示了有趣且可解释的行为。
图1原油、汽油和木材的历史价格。为了简单起见，省略了单位，并对尺度进行了标准化。
图2提出了注意机制
结论
本文以MTS预测为研究重点，提出了一种新的时间模式注意机制，消除了典型注意机制对这类任务的限制。我们允许注意维度具有特征，以便模型不仅在同一时间步内，而且在所有以前的时间和系列中学习多个变量之间的相互依赖关系。我们在玩具实例和真实数据集上的实验强烈支持这一观点，并表明所提出的模型达到了最先进的结果。此外，过滤器的可视化也以一种更容易理解的方式验证了我们的动机。
关注人工智能学术前沿 回复 ：ts08
5秒免费获取论文pdf文档，及项目源码
文字来源于网络 侵删
翻译：人工智能学术前沿
扫码关注我们
微信号: zzh1464501547
qq群:966308496
今日头条：人工智能学术前沿
知乎：人工智能学术前沿
如果觉得《多元时间序列预测的时间模式注意》对你有帮助，请点赞、收藏，并留下你的观点哦！
