多元時序預測何時獨立預測何時聯合預測？

作者：Fareise

多元時序預測：獨立預測 or 聯合預測！

簡介

今天介紹一篇南大今年4月份發表的文章，主要探討了多元時間序列預測問題中，獨立預測（channel independent）和聯合預測（channel dependent）二者效果的差異、背後的原因以及優(you) 化方法。

論文標題：The Capacity and Robustness Trade-off: Revisiting the Channel Independent Strategy for Multivariate Time Series Forecasting

下載地址：https://arxiv.org/pdf/2304.05206v1.pdf

1獨立預測和聯合預測

多元時間序列預測問題中，從(cong) 多變量建模方法的維度有兩(liang) 種類型，一種是獨立預測（channel independent，CI），指的是把多元序列當成多個(ge) 單變量預測，每個(ge) 變量分別建模；另一種是聯合預測（channel dependent，CD），指的是多變量一起建模，考慮各個(ge) 變量之間的關(guan) 係。二者的差異如下圖。

這兩(liang) 種方式各有特點：CI方法隻考慮單個(ge) 變量，模型更簡單，但是天花板也較低，因為(wei) 沒有考慮各個(ge) 序列之間的關(guan) 係，損失了一部分關(guan) 鍵信息；而CD方法考慮的信息更全麵，但是模型也更加複雜。

2哪種方法更好

文中首先做了詳細的對比實驗，在多個(ge) 數據集，觀察CI方法和CD方法哪種效果更好（采用線性模型）。文中實驗得到的一個(ge) 核心結論是：CI方法在大多數任務上表現的更好，並且效果方差也更小。下麵這張圖中可以看到，CI的MAE、MSE等指標在各個(ge) 數據集上基本都小於(yu) CD，同時效果的波動也更小一些。

從(cong) 下麵的實驗結果可以看到，CI相比CD，在絕大多數預測窗口長度和數據集上，效果都是提升的。

為(wei) 什麽(me) CI方法在實際應用中比CD效果更好、更穩定呢？文中進行了一些理論證明，核心的結論是：真實數據往往存在Distribution Drift，而使用CI方法有助於(yu) 緩解這個(ge) 問題，提升模型泛化性。

下麵這張圖，展示了各個(ge) 數據集trainset和testset的ACF（自相關(guan) 係數，反映了未來序列和曆史序列之間的關(guan) 係）隨時間變化分布，可以看到Distribution Drift在各個(ge) 數據集上是廣泛存在的（也就是trainset的ACF和testset的ACF不同，即兩(liang) 者的曆史與(yu) 未來序列的關(guan) 係不同）。

文中通過理論證明了CI對於(yu) 緩解因此Distribution Drift有效，CI和CD之間的選擇，是一種模型容量和模型魯棒性之間的權衡。CD模型更加複雜，但是也對於(yu) Distribution Drift更敏感。這其實和模型容量與(yu) 模型泛化性之間的關(guan) 係類似，越複雜的模型，模型擬合的訓練集樣本越準確，但是泛化性較差，一旦訓練集和測試集分布差異較大，效果就會(hui) 變差。

3如何優(you) 化

針對CD建模的問題，文中提出了一些優(you) 化方法，可以幫助CD模型更具魯棒性。

正則化：引入一個(ge) 正則化損失，用序列減去最近的樣本點作為(wei) 曆史序列輸入模型進行預測，同時使用平滑約束預測結果，讓預測結果和最近鄰的觀測值偏差不要太大，使得預估結果更平；

低秩分解：將全連接參數矩陣分解成兩(liang) 個(ge) 低階矩陣，相當於(yu) 減少了模型容量，緩解過擬合問題，提升模型魯棒性；

損失函數：采用MAE替代MSE，降低模型對於(yu) 異常值的敏感度；

曆史輸入序列長度：對於(yu) CD模型來說，輸入的曆史序列越長，可能反而會(hui) 造成效果的下降，也是因為(wei) 曆序列越長，模型越容易受到Distribution Shift的影響，而對於(yu) CI模型，增長曆史序列長度可以比較穩定的提升預測效果。

4實驗效果

文中將上麵提到的改進CD模型的方法在多個(ge) 數據集上進行實驗，相比CD取得比較穩定的效果提升，說明上述方法對於(yu) 提升多元序列預測魯棒性有比較明顯的作用。此外，文中也列舉(ju) 了低秩分解、曆史窗口長度、損失函數類型等對於(yu) 效果的影響實驗結果。