ICML 2024 | 上海交大发布UP2ME,首个多用途通用时间序列分析框架
©作者 | ReThinklab
单位 | 上海交通大学
近年来,针对多变量时间序列分析的深度学习模型发展迅速,并被应用于多种不同的任务,如预测、缺失补全和异常检测等。在其中,很大一部分模型需要根据所执行任务的特性进行量身定制。例如,趋势-季节分解常被用于预测模型、条件扩散模型被用于缺失补全等。尽管这些方法非常有效,但为不同任务选择合适的特定方法也是非常困难的。
另外,即使在同一个任务中,当设置(例如预测长度)发生变化时,这类模型通常也需要从头重新训练。最近也有一些诸如 TimesNet 的通用时间序列分析架构被提出。这些模型保持主干网络的结构不变,通过更换输出头来执行不同的任务。但具体到不同的任务及其相应的设置时,模型的参数都需要从头开始训练。
自监督预训练是实现多用途通用模型的一种很有前景的方法。继 NLP 和 CV 之后,预训练方法也被用于时间序列分析。但不同于 NLP 和 CV,大多数此类方法无法与前文提到的精心设计的特定方法在性能上媲美。此外,在时间序列分析中,预训练仅仅被用于参数初始化:如果不进行参数或架构调整,预训练模型无法直接执行下游任务。
论文标题:
UP2ME: Univariate Pre-training to Multivariate Fine-tuning as a General-purpose Framework for Multivariate Time Series Analysis
https://openreview.net/pdf?id=aR3uxWlZhX
https://github.com/Thinklab-SJTU/UP2ME
其工作流程如图 1 所示,当数据给定但下游任务和任务设定尚未确定时,UP2ME 进行与下游任务解耦的预训练。
在不进行任何参数和架构调整的情况下,预训练模型能够在 Immediate Reaction(IR)模式下为预测、缺失补全和异常检测提供初步的合理解。一旦下游任务和设置确定,UP2ME 可以进一步通过在 Fine-tuning(FT)模式更好的适配下游任务以提供更准确的解。
方法:单变量预训练到多变量微调
单变量预训练:时序依赖捕捉
数据生成
如图 2 所示,预训练采用 Masked AutoEncoder (MAE) 的方法,但与之前的时间序列 MAE 方法相比,UP2ME 在数据样例生成上有两点不同:
1. 可变窗口长度(VariableWindow Length):与之前的使用定长窗口的方法不同,为应对下游任务对于输入输出窗口长度的多样化需求,UP2ME 在生成数据样例时使得窗口长度可变。具体实现是在生成每一个 batch 时先随机采样窗口长度,再根据窗口长度得到一个 batch 的样例。
2. 通道解耦合(Channel Decoupling):在通道独立 (Channel Independence) 的基础上更进一步,UP2ME 完全打乱通道间的对齐关系,不再将同一时段的所有通道完全输入模型,不同时段不同通道的数据会被 pack 在一起输入模型。这一过程完全舍弃跨通道依赖,使得预训练期只关注时序依赖性。另一个好处是使用通道解耦在处理通道数较多的高维数据时效率更高。
快速响应模式
预测:将未来视为被掩盖的 patch,输入的历史数据视为未被掩盖的数据进行重构;
异常检测:迭代的掩盖每一个 patch,并用剩余的 patch 进行重构,迭代执行完后得到一个重构序列,与原始序列进行比较找出异常点。
多变量微调:跨通道依赖捕捉
稀疏依赖图构建
最直接的捕捉跨通道依赖的方法是对所有通道使用 Self-Attention,相当于构建一个全连接的依赖图。然而, 平方复杂度限制了其在高维数据集中的应用。因此,有必要构建一个稀疏图,用更少的边来保留绝大部分依赖关系。
Temporal-Channel Layer
实验
主要实验结果
预训练的消融实验
预训练中掩码比例的影响
微调中的依赖图构建
微调中的超参数r的影响
预测中历史窗口长度的影响
有限数据场景的迁移
总结
本文提出了名为 UP2ME 的首个通用多变量时间序列分析框架。从技术上,它采用了单变量预训练到多变量微调的范式,在预训练阶段捕捉时序依赖,并在微调阶段融入跨通道依赖。从功能上,预训练的 UP2ME 在不进行参数调整的情况下,为预测、缺失补全和异常检测提供了初步合理的解决方案,这在之前是未曾实现的。通过微调,准确性可以进一步提高。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:[email protected]
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
微信扫码关注该文公众号作者