使用分解學習實現更清晰的時間序列預測建模

分解學習(xi) +對比學習(xi) 實現更清晰的時間序列預測建模

簡介

上百數據實戰技巧，歡迎關(guan) 注Kaggle競賽寶典。

基於(yu) 深度學習(xi) 的時間序列預測方法一般采用端到端的方式訓練模型，將原始的時間序列通過網絡映射到一個(ge) 表示，再基於(yu) 這個(ge) 表示進行預測。然而，這種方法將時間序列的所有信息映射成一個(ge) 向量，這個(ge) 向量耦合了很多不同維度的信息，容易造成過擬合，對序列中噪聲的敏感程度也更高。

ICLR 2022中Salesforce發表了一篇基於(yu) 分解學習(xi) +對比學習(xi) 的時間序列預測方法，將時間序列的表示分解成趨勢項和季節項，實現更清晰的時間序列建模，下麵給大家介紹一下這篇文章的核心思路。

下載地址：https://openreview.net/pdf?id=PilZY3omXV2

1Motivation

季節項、趨勢項、噪聲三個(ge) 因素構成時間序列預測觀測值，是時間序列預測中常用的的框架。如下麵的因果圖所示，觀測到的時間序列是由不可預測的噪聲項和可預測的可預測的隱變量構成的。而可預測的隱變量又是由趨勢項和季節項兩(liang) 個(ge) 因素構成的。

以前的深度學習(xi) 建模方法，直接學習(xi) 一個(ge) 統一的表征進行時間序列預測。這個(ge) 表征通過觀測數據學習(xi) ，其實耦合了噪聲項、趨勢項和季節項。將這些因素耦合在一起的問題在於(yu) ，模型可能無法捕捉到真正有用的特征，學習(xi) 過程不夠清晰，導致過擬合問題。

如果能將噪聲、趨勢項、季節項三種信息解耦，就可以實現更清晰的時間序列預測建模。分解學習(xi) 的思路在表示學習(xi) 、CV、NLP等領域已經得到了非常廣泛的驗證，將向量表征解耦往往會(hui) 得到更魯棒的表示。

基於(yu) 分解學習(xi) 的思路，本文提出了CoST，利用分解學習(xi) +對比學習(xi) 實現時間序列預測向量的解耦。

2建模方法

CoST的整體(ti) 模型結構如下圖所示，底層是一個(ge) 時間序列骨幹網絡，用於(yu) 將輸入的時間序列編碼成向量。接下來這個(ge) 向量會(hui) 輸入到兩(liang) 個(ge) 獨立的分解學習(xi) 模塊中，一個(ge) 用來提取趨勢項（Trend Feature Disentangler），另一個(ge) 用來提取季節項（Seasonal Feature Disentangler）。整體(ti) 模型的目標是，每個(ge) 時間步生成兩(liang) 個(ge) 向量，分別代表趨勢項和季節項，然後用這兩(liang) 個(ge) 向量組合到一起進行預測。

趨勢項模塊核心是利用不同卷積核尺寸的因果卷積提取不同尺寸的特征，再使用average pooling融合各個(ge) 卷積的結果，生成最終的趨勢項向量。這種提取趨勢項的方法好處是，可以自動學習(xi) 哪些長度的時間窗口對於(yu) 提取趨勢項更有效，而不用預先定義(yi) 時間窗口長度，在最近的一些工作中也比較常用。公式表示為(wei) ：

上述表征會(hui) 利用對比學習(xi) 輔助信息提取過程，通過scale、shift等方式構造時間序列增強樣本作為(wei) 正樣本，結合隨機采樣的負樣本，讓正樣本之間的趨勢項表示距離近，負樣本之間遠。這個(ge) 思路在之前的文章介紹過多次，這裏就不再贅述了，感興(xing) 趣的同學可以查看相關(guan) 文章時間序列分析的表示學習(xi) 時代來了？。

季節項的提取利用傅裏葉變換將表示映射到頻域實現。首先利用傅裏葉變換將原始表示映射到頻域，然後在每個(ge) 頻率項上使用可學習(xi) 的NN網絡實現頻域內(nei) 的信息交互，再通過反傅裏葉變換映射到時域空間，得到季節項表征。公式可以表示為(wei) ：

為(wei) 了讓模型能夠學習(xi) 到可以區分不同季節項的表示，文中引入了兩(liang) 個(ge) 相應的對比學習(xi) 損失函數。將每一個(ge) 頻率項轉換為(wei) 幅度和相位兩(liang) 個(ge) 分量，在這兩(liang) 個(ge) 分量上分別進行對比學習(xi) ：

最終模型整體(ti) 的loss由趨勢項的對比學習(xi) loss和季節項上述兩(liang) 個(ge) 對比學習(xi) loss加權求和得到。

3實驗結果

文中主要對比了兩(liang) 類模型的效果，第一類是基於(yu) 表示學習(xi) 的方法，第二類是端到端的時間序列預測方法。從(cong) 實驗結果可以看出，本文提出的CoST在大多數數據集和預測時間長度上都取得不錯的效果提升。

文中通過可視化對比CoST和TS2Vect兩(liang) 種表示學習(xi) 方法的趨勢項向量和季節項向量的提取效果。分別固定趨勢項和季節項相同，對比季節項和趨勢項的表示分布。從(cong) 下圖可以看出，CoST提取的不同類型趨勢項和季節項的類簇更加明顯，表明CoST比較強的表示學習(xi) 能力。

4總結

本文介紹了ICLR 2022的一篇時間序列預測文章，利用分解學習(xi) 的思路將時間序列的表示分解成趨勢項和季節項，讓時間序列建模過程更加清晰，緩解了噪聲的幹擾，提升預估模型的魯棒性。