時序最新研究（附源碼）|NeuIPS 2022

時序最新研究（附源碼）|NeuIPS 2022

NeurIPS，全稱神經信息處理係統大會(hui) (Conference and Workshop on Neural  Information Processing Systems)，是一個(ge) 關(guan) 於(yu) 機器學習(xi) 和計算神經科學的頂級國際會(hui) 議。該會(hui) 議固定在每年的12月由NeurIPS基金會(hui) 主辦，被中國計算機協會(hui) 推薦為(wei) A類會(hui) 議。 NeurIPS 是由連接學派（connectionist）神經網絡的學者於(yu) 1987年在加拿大創辦，後來隨著影響力逐步擴大，也曾移師美洲、歐洲等地舉(ju) 辦。

早年發布在 NeurIPS 中的論文包羅萬(wan) 象，從(cong) 單純的工程問題到使用計算機模型來理解生物神經元係統等各種主題。近幾年主題主要以機器學習(xi) ，人工智能和統計學為(wei) 主。今年 NeurIPS 已是第 36 屆，將於(yu) 11 月 28 日至 12 月 9 日在美國新奧爾良舉(ju) 行，為(wei) 期兩(liang) 周。最近 NeurIPS 公布了論文接收結果：共吸引了10411篇研究論文投稿，其中有2665篇論文被接收，接收率為(wei) 25.6%，基本與(yu) 上年持平。

完整的接收列表可以訪問如下鏈接獲取：https://nips.cc/Conferences/2022/Schedule?type=Poster

本文梳理 NeurIPS 2022 有關(guan) 時間序列領域的最新研究成果，一共23篇，供大家參考。

• 時間序列預測：8篇

• 時間序列可解釋建模：2篇

• 時間序列生成：1篇

• 時間序列算法優(you) 化：2篇

• 序列神經網絡：4篇

• 時空分析：6篇

時間序列

01、預測

時序預測是時間序列領域的經典問題之一。本次NeurIPS帶來了8篇研究：

Non-stationary Transformers: Rethinking the Stationarity in Time Series Forecasting

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=55235

論文源碼：https://github.com/thuml/Nonstationary_Transformers

論文摘要：transformer 由於(yu) 其全局範圍建模能力，在時間序列預測方麵表現出了強大的能力。但是，在非平穩真實世界數據上，它們(men) 的性能可能會(hui) 嚴(yan) 重退化，其中聯合分布隨時間變化。以前的研究主要采用平穩化來減少原始序列的非平穩性，以獲得更好的可預測性。但是被剝奪了固有的非平穩性的平穩序列對於(yu) 現實世界的突發事件預測可能不太有指導意義(yi) 。這個(ge) 問題在本文中稱為(wei) 過度平穩化，導致 transformer 為(wei) 不同的序列產(chan) 生無法區分的時間注意力，並阻礙了深度模型的預測能力。為(wei) 了解決(jue) 串聯可預測性和模型能力之間的困境，我們(men) 提出非平穩變壓器作為(wei) 一個(ge) 通用框架，具有兩(liang) 個(ge) 相互依賴的模塊：串聯穩態化和非穩態注意。具體(ti) 來說，串聯平穩化統一了每個(ge) 輸入的統計信息，並將輸出與(yu) 恢複的統計信息進行了轉換，以提高可預測性。為(wei) 了解決(jue) 過度平穩化的問題，設計了去平穩注意力，通過近似從(cong) 非平穩化序列中學到的可區分注意力，將內(nei) 在的非平穩信息恢複到時間依賴關(guan) 係中。

Generative Time Series Forecasting with Diffusion, Denoise and Disentanglement

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=53118

論文源碼：https://github.com/ramber1836/d3vae

論文摘要：時間序列預測是一項被廣泛探索的任務，在許多應用中都非常重要。然而，真實世界的時間序列數據記錄在短時間內(nei) 是很常見的，這導致深度模型與(yu) 有限且噪聲的時間序列之間存在較大差距。在這項工作中，我們(men) 建議使用生成建模解決(jue) 時間序列預測問題。並提出了一種配備擴散、去噪和解糾的雙向變分自動編碼器（BVAE），即D3VAE。具體(ti) 而言，該文提出一種耦合擴散概率模型，在不增加數據隨機不確定性的情況下，對時間序列數據進行擴充。為(wei) 了確保生成的序列朝著真實目標移動，我們(men) 進一步建議將多尺度去噪得分匹配調整並集成到擴散過程中，以進行時間序列預測。此外，為(wei) 了增強預測的可解釋性和穩定性，我們(men) 以多變量的方式處理潛在變量，並在最小化總相關(guan) 性的基礎上解開它們(men) 。

SCINet: Time Series Modeling and Forecasting with Sample Convolution and Interaction

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=53511

論文源碼：https://github.com/cure-lab/SCINet

論文摘要：時間序列的一個(ge) 獨特屬性是，在對兩(liang) 個(ge) 子序列進行下采樣後，時間關(guan) 係在很大程度上得以保留。通過利用這一特性，我們(men) 提出了一種新穎的神經網絡架構，該架構為(wei) 時間建模和預測進行樣本卷積和交互，名為(wei) SCINet。具體(ti) 來說，SCINet是一種遞歸的下采樣-卷積-交互架構。在每一層中，我們(men) 使用多個(ge) 卷積濾波器從(cong) 下采樣的子序列或特征中提取獨特但有價(jia) 值的時間特征。通過結合這些從(cong) 多個(ge) 分辨率聚合的豐(feng) 富特征，SCINet有效地對具有複雜時間動態的時間序列進行建模。實驗結果表明，在各種真實世界的時間序列預測數據集中，SCINet在各種真實世界的時間序列預測數據集中，與(yu) 現有的卷積模型和基於(yu) 變壓器的解決(jue) 方案相比，預測精度都有顯著提高。

Learning Latent Seasonal-Trend Representations for Time Series Forecasting

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=55179

論文源碼：https://github.com/zhycs/LaST

論文摘要：預測複雜的時間序列在一係列應用中無處不在且至關(guan) 重要，但具有挑戰性。最近的進展努力通過將各種深度學習(xi) 技術整合到順序模型中來取得進展。然而，清晰的模式仍然難以提取，因為(wei) 複雜的時間序列由幾個(ge) 糾纏的組件組成。受解糾變分自動編碼器在計算機視覺和經典時間序列分解中的成功推動，我們(men) 計劃推斷出幾個(ge) 描述時間序列的季節性和趨勢分量的表示。為(wei) 了實現這一目標，我們(men) 提出了LaST，它基於(yu) 變分推理，旨在解開潛在空間中的季節性趨勢表示。此外，LaST從(cong) 自身和輸入重建的角度監督和解關(guan) 聯表示，並引入一係列輔助目標。大量實驗證明，LaST在時間序列預測任務上實現了最先進的性能，與(yu) 最先進的表示學習(xi) 和端到端預測模型相比，相對提高了23.7%和20.5%。

FiLM: Frequency improved Legendre Memory Model for Long-term Time Series Forecasting

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=55013

論文源碼：https://github.com/tianzhou2011/FiLM/

論文摘要：最近的研究表明，RNN和Transformers等深度學習(xi) 模型為(wei) 時間序列的長期預測帶來了顯著的性能提升，因為(wei) 它們(men) 有效地利用了曆史信息。然而，我們(men) 發現，在如何保留神經網絡中的曆史信息，同時避免過度擬合曆史中存在的噪聲方麵，仍有很大的改進空間。解決(jue) 這個(ge) 問題可以更好地利用深度學習(xi) 模型的功能。為(wei) 此，我們(men) 設計了一個(ge) 模型，FiLM：它應用勒讓德多項式投影來近似曆史信息，使用傅裏葉投影來消除噪聲，並添加低秩近似以加快計算速度。實證研究表明，所提出的 FiLM 顯著提高了多變量和單變量長期預測中最新模型的準確性。我們(men) 還證明了這項工作中開發的表示模塊可以作為(wei) 通用插件來改善其他深度學習(xi) 模塊的長期預測性能。

Multivariate Time-Series Forecasting with Temporal Polynomial Graph Neural Networks

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=55345

論文源碼：暫未公布

論文摘要：多變量時間序列 （MTS） 建模在現代智能係統中至關(guan) 重要。由於(yu) 潛在的變量相關(guan) 性複雜，MTS數據的準確預測仍然具有挑戰性。最近的工作將圖神經網絡（GNN）應用於(yu) 任務，其基本思想是將相關(guan) 性表示為(wei) 靜態圖。但是，使用靜態圖進行預測會(hui) 導致明顯的偏差，因為(wei) 在現實世界的 MTS 數據中相關(guan) 性是隨時間變化的。此外，在他們(men) 的工作中，實際相關(guan) 性和學習(xi) 相關(guan) 性之間沒有差距分析來驗證有效性。該文提出一種用於(yu) 精確MTS預測的時間多項式圖神經網絡（TPGNN），該網絡分兩(liang) 步將動態變量相關(guan) 性表示為(wei) 時態矩陣多項式。首先，我們(men) 以靜態矩陣為(wei) 基礎捕獲整體(ti) 相關(guan) 性。然後，我們(men) 使用一組時變係數和矩陣基為(wei) 每個(ge) 時間步構建一個(ge) 矩陣多項式。構建的結果憑經驗捕獲了由非重複隨機遊走模型生成的六個(ge) 合成 MTS 數據集的精確動態相關(guan) 性。此外，理論分析表明，TPGNN在交換條件下可以實現完美的近似。我們(men) 對兩(liang) 個(ge) 具有先驗結構的交通數據集和四個(ge) 基準數據集進行了廣泛的實驗。結果表明，TPGNN在短期和長期MTS預測方麵都達到了最先進的水平。

Time Dimension Dances with Simplicial Complexes: Zigzag Filtration Curve based Supra-Hodge Convolution Networks for Time-series Forecasting

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=53664

論文源碼：暫未公布

論文摘要：圖神經網絡 （GNN） 為(wei) 多變量時間序列預測提供了一種新的強大替代方案，在從(cong) 城市流量監測係統到醫療保健信息學再到金融分析的各種時空應用中取得了顯著的成功。然而，這種GNN模型主要隻捕獲低階交互作用，即節點之間的成對關(guan) 係，並且在很大程度上忽略了多變量時間序列底層拓撲的內(nei) 在時間條件信息。為(wei) 了解決(jue) 這些限製，我們(men) 提出了一種新的時間感知GNN架構，該架構以鋸齒形持久性的形式放大了最近出現的簡單神經網絡的能力，具有時間條件拓撲知識表示。也就是說，我們(men) 的新方法，基於(yu) 鋸齒形過濾曲線的超霍奇卷積網絡（ZFC-SHCN）建立在兩(liang) 個(ge) 主要組件之上：（i）一種新的高計算效率之字形持久曲線，允許我們(men) 係統地編碼時間條件拓撲信息，以及（ii）用於(yu) 學習(xi) 高階網絡交互的新時間多路複用圖表示模塊。我們(men) 討論了所提出的時間條件拓撲知識表示的理論性質，並結合廣泛的合成和現實世界數據集的時間序列預測廣泛驗證了新的時間感知ZFC-SHCN模型：交通流，COVID-19生物監測，以太坊區塊鏈，地表氣溫和矢量自回歸。實驗表明，ZFC-SHCN在對計算成本要求較低的情況下實現了最先進的性能。

WaveBound: Dynamically Bounding Error for Stable Time Series Forecasting

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=54133

論文源碼：暫未公布

論文摘要：時間序列預測因其在交通、能源消耗、經濟和金融以及疾病分析等實際應用中的高度實用性而成為(wei) 一項關(guan) 鍵任務。最近基於(yu) 深度學習(xi) 的方法在時間序列預測方麵取得了顯著的成功。盡管如此，由於(yu) 時間序列數據的動態，深度網絡仍然遭受不穩定的訓練和過度擬合。真實世界數據中出現的不一致模式會(hui) 導致模型偏向於(yu) 特定模式，從(cong) 而限製了泛化。在這項工作中，我們(men) 引入了訓練損失的動態誤差邊界，以解決(jue) 時間序列預測中的過擬合問題。因此，我們(men) 提出了一種稱為(wei) WaveBound的正則化方法，該方法估計每次迭代時每個(ge) 時間步長和特征的訓練損失的適當誤差邊界。通過允許模型減少對不可預測數據的關(guan) 注，WaveBound穩定了訓練過程，從(cong) 而顯著提高了泛化。通過廣泛的實驗，我們(men) 表明WaveBound始終如一地在大範圍內(nei) 改進現有模型，包括最先進的模型。

02、可解釋建模

理解時間序列模型的決(jue) 策原理，獲取新的知識，在工業(ye) 界有很重要的作用。本次NeurIPS帶來了2篇相關(guan) 研究：

Dynamic Sparse Network for Time Series Classification: Learning What to “See”

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=54534

論文源碼：https://github.com/QiaoXiao7282/DSN

論文摘要：感受野（RF）決(jue) 定了在時間序列模型中可以“看到”哪些隱藏信號，對於(yu) 提高時間序列分類（TSC）的性能至關(guan) 重要。然而，時間序列數據之間和內(nei) 部信號尺度的變化使得為(wei) TSC確定適當的RF尺寸變得具有挑戰性。在本文中，我們(men) 提出了一種具有稀疏連接的TSC動態稀疏網絡（DSN），它可以學習(xi) 覆蓋各種RF，而無需繁瑣的超參數調諧。各稀疏層中的核是稀疏的，可以通過動態稀疏訓練在約束區域下進行探索，從(cong) 而可以降低資源成本。實驗結果表明，與(yu) 最近的基線方法相比，所提出的DSN模型可以在單變量和多變量TSC數據集上實現最先進的性能，計算成本低於(yu) 50%，為(wei) 更準確的資源感知時間序列分析方法開辟了道路。

Causal Disentanglement for Time Series

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=54358

論文源碼：暫未公布

論文摘要：最近在非線性獨立分量分析（ICA）領域，除了獨立性之外，還通過使用某些側(ce) 麵信息（例如類標簽或時間序列的曆史信息）建立了強大的解纏可識別性結果。然而，大多數現有工作都受到功能形式假設（例如平穩獨立源或進一步具有線性躍遷）和分布假設（例如指數族分布）的約束。如果潛在的潛在過程及其因果關(guan) 係介於(yu) 兩(liang) 者之間具有任意的、非參數的因果影響，則尚不清楚它們(men) 是否可識別。我們(men) 提出了一種稱為(wei) LCD-NM的原則框架，用於(yu) 恢複延時潛在因果變量，並從(cong) 靜止環境和不同分布偏移下的測量時間數據中識別它們(men) 之間的關(guan) 係。具體(ti) 而言，該框架將未知分布變化分解為(wei) 由固定動力學和時變潛在因果關(guan) 係以及觀測中的全局變化引起的過渡分布變化。我們(men) 從(cong) 非線性混合中建立了固定動力學下非參數潛在因果過程的可識別性理論，並分析了分布變化如何進一步有利於(yu) 可識別性。通過實驗，我們(men) 表明，時間延遲的潛在因果影響得到了可靠的識別，並且我們(men) 的方法大大優(you) 於(yu) 沒有正確利用這種變化的模塊化表示的現有基線。我們(men) 的結果表明，在靜止環境和一般非平穩環境中，時間序列設置中的解纏似乎很有希望，其中潛在過程在兩(liang) 者之間具有非參數因果影響。

03、生成

AI生成是最近比較熱的研究方向，時間序列領域也有學者嚐試生成時間序列。本次NeurIPS帶來了1篇相關(guan) 研究：

GT-GAN: General Purpose Time Series Synthesis with Generative Adversarial Networks

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=54370

論文源碼：暫未公布

論文摘要：時間序列合成是深度學習(xi) 領域的重要研究課題，可用於(yu) 數據增強。時序數據類型大致可分為(wei) 常規數據類型和非常規數據類型。但是，沒有現有的生成模型可以在不進行任何模型更改的情況下為(wei) 這兩(liang) 種類型顯示良好的性能。因此，我們(men) 提出了一個(ge) 能夠合成規則和不規則時間序列數據的通用模型。據我們(men) 所知，我們(men) 是第一個(ge) 設計通用時間序列合成模型的公司，這是時間序列合成最具挑戰性的設置之一。為(wei) 此，我們(men) 設計了一種基於(yu) 生成對抗網絡的方法，其中許多相關(guan) 技術被仔細地集成到一個(ge) 框架中，從(cong) 神經普通/受控微分方程到連續的時間流過程。我們(men) 的方法優(you) 於(yu) 所有現有方法。

04、算法優(you) 化

高性能的時間序列模型對於(yu) 工業(ye) 落地，商用有至關(guan) 重要的作用。本次NeurIPS帶來2篇相關(guan) 研究：  

BILCO: An Efficient Algorithm for Joint Alignment of Time Series

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=54683

論文源碼：https://github.com/yu-lab-vt/BILCO

論文摘要：許多實際應用程序中會(hui) 出現多個(ge) 時間序列數據，它們(men) 之間的對齊通常是數據分析的基本步驟。通常，這些多個(ge) 時間序列是相互依賴的，這為(wei) 對齊任務提供了額外的信息，並且這些信息在傳(chuan) 統的成對對齊方法中無法得到充分利用。最近，將接頭對齊建模為(wei) 最大流量問題，其中對齊時間序列之間的輪廓相似性和相鄰翹曲函數之間的距離共同優(you) 化。然而，盡管新模型具有優(you) 雅的數學公式和優(you) 越的對準精度，但由於(yu) 使用了現有的通用最大流量算法，計算時間長，內(nei) 存占用大，這極大地限製了其當之無愧的廣泛應用。在本報告中，我們(men) 提出了線性分量運算（BILCO）的雙向推動，這是一種新穎的算法，可以高效，準確地解決(jue) 接頭對齊最大流量問題。我們(men) 開發了線性元件操作策略，該策略集成了動態規劃技術和推送-重新標記方法。這種策略的動機是，關(guan) 節對齊最大流量問題是動態時間扭曲（DTW）的推廣，並且嵌入了許多單獨的DTW問題。此外，該文提出一種雙向推動策略，通過利用另一個(ge) 事實，即可以輕鬆計算接頭對齊最大流量問題的良好初始化，引入先驗知識並減少不必要的計算。我們(men) 使用合成和真實實驗來證明BILCO的效率。在各種模擬場景和三個(ge) 不同的應用類別下對數千個(ge) 數據集進行了測試，與(yu) 現有的最佳最大流量方法相比，BILCO 的速度始終至少提高了 10 倍，平均提高了 20 倍，並且最多使用了 1/8 和平均 1/10 的內(nei) 存。

LSAR: Efficient Leverage Score Sampling Algorithm for the Analysis of Big Time Series Data

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=56137

論文源碼：暫未公布

論文摘要：我們(men) 應用隨機數值線性代數（RandNLA）的方法開發用於(yu) 分析大規模時間序列數據的改進算法。我們(men) 首先開發了一種新的快速算法來估計大數據體(ti) 係中自回歸（AR）模型的杠杆得分。我們(men) 表明，近似的準確性在高概率的真實杠杆分數範圍內(nei) 。隨後利用這些理論結果開發一種稱為(wei) LSAR的有效算法，用於(yu) 將適當的AR模型擬合到大時間序列數據。我們(men) 提出的算法保證了高概率地找到底層真實AR模型參數的最大似然估計，並且具有最壞情況下的運行時間，顯著改善了大數據製度中最先進的替代方案。大規模合成和真實數據的實證結果對理論結果有較強的支持，揭示了這一新方法的有效性。

序列神經網絡

對帶時間的序列建模在深度學習(xi) 中是重要的一支，工業(ye) 界有非常廣泛的應用。很多研究者不斷追求創新序列神經網絡的結構，以達到更好的效果。本次NeurIPS帶來4篇相關(guan) 研究：

Self-Supervised Contrastive Pre-Training For Time Series via Time-Frequency Consistency

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=52895

論文源碼：https://github.com/mims-harvard/TFC-pretraining

論文摘要：由於(yu) 預訓練和目標域之間存在各種差異，例如時間動態的變化、快速發展的趨勢、長期和短周期效應，時間序列數據集對預訓練提出了獨特的挑戰。雖然領域適應方法可以緩解這些變化，但大多數方法需要直接從(cong) 目標領域獲得示例，這使得它們(men) 對於(yu) 時間序列的預訓練來說不是最佳的。為(wei) 了填補這一空白，方法需要適應一組具有不同時間動態的目標域，並且能夠在預訓練期間看不到任何目標示例的情況下做到這一點。相對於(yu) 其他領域，在時間序列中，我們(men) 希望同一示例的基於(yu) 時間和基於(yu) 頻率的表示及其局部增強在時頻空間中靠近。為(wei) 此，我們(men) 假設時頻一致性（TF-C）---嵌入特定示例的基於(yu) 時間的鄰域，靠近其基於(yu) 頻率的鄰域和後---對於(yu) 預訓練是可取的。在TF-C的激勵下，我們(men) 優(you) 化了一個(ge) 可分解的預訓練模型，其中自監督信號由時間和頻率分量之間的距離提供，每個(ge) 分量都通過對比估計單獨訓練。我們(men) 在八個(ge) 數據集上評估了新方法，包括電診斷測試、人類日常活動識別、機械故障檢測和物理狀態監測。針對八種最先進方法的實驗表明，我們(men) 的方法在一對一設置（例如，在EMG數據上微調EEG預訓練模型）中平均優(you) 於(yu) 基線15.4%（F1分數），在具有挑戰性的一對多設置（例如，微調EEG預訓練模型以進行手勢識別或機械故障預測）中，性能高達8.4%（F1分數），反映了實際應用中出現的場景的廣度。

Efficient learning of nonlinear prediction models with time-series privileged information

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=55317

論文源碼：暫未公布

論文摘要：在樣本量有限的領域，高效的學習(xi) 算法至關(guan) 重要。使用特權信息（LuPI）進行學習(xi) ，允許預測模型在訓練時訪問信息類型，從(cong) 而提高樣本效率，而這些信息在使用模型時不可用。在最近的工作中，表明對於(yu) 線性高斯動力係統中的預測，能夠訪問中間時間序列數據的LuPI學習(xi) 器永遠不會(hui) 比任何無偏的經典學習(xi) 器更差，而且在期望方麵通常更好。我們(men) 為(wei) 這種分析提供了新的見解，並將其推廣到潛在動力係統中的非線性預測任務，將理論保證擴展到連接潛在變量和觀測值的地圖已知到線性變換的情況。此外，我們(men) 提出了基於(yu) 隨機特征和表示學習(xi) 的算法，以應對該地圖未知的情況。一係列實證結果證實了理論發現，並顯示了在非線性預測中使用特權時間序列信息的潛力。

Theoretical analysis of deep neural networks for temporally dependent observations

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=53665

論文源碼：暫未公布

論文摘要：深度神經網絡是使用非線性模式對隨時間推移的觀察進行建模的強大工具。盡管神經網絡在此類環境中被廣泛使用，但深度神經網絡的大多數理論發展都是在獨立觀測的假設下進行的，並且時間依賴觀測的理論結果很少。為(wei) 了彌合這一差距，我們(men) 研究了深度神經網絡在非線性時間序列數據建模上的理論特性。具體(ti) 而言，在混合型假設下，建立了具有ReLU激活函數的前饋神經網絡預測誤差的非漸近邊界。這些假設是溫和的，因此它們(men) 包括廣泛的時間序列模型，包括自回歸模型。與(yu) 獨立觀測相比，已建立的收斂率具有額外的對數因子，以補償(chang) 由於(yu) 數據點之間的依賴性而導致的額外複雜性。理論結果通過各種數值模擬設置以及宏觀經濟數據集的應用得到支持。

Counterfactual Temporal Point Processes

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=54193

論文源碼：暫未公布

論文摘要：基於(yu) 時間點過程的機器學習(xi) 模型是涉及連續時間內(nei) 離散事件的各種應用中的最新技術。然而，這些模型缺乏回答反事實問題的能力，隨著這些模型被用來為(wei) 有針對性的幹預措施提供信息，這些問題越來越重要。在這項工作中，我們(men) 的目標是填補這一空白。為(wei) 此，我們(men) 首先在Gumbel-Max結構因果模型的基礎上，為(wei) 時間點過程開發了一個(ge) 變薄的因果模型。該模型滿足理想的反事實單調性條件，足以識別變薄過程中的反事實動力學。然後，給定具有給定強度函數的時間點過程的觀測實現，我們(men) 開發了一種采樣算法，該算法使用上述變薄的因果模型和疊加定理來模擬給定替代強度函數下時間點過程的反事實實現。使用合成和真實流行病學數據的模擬實驗表明，我們(men) 的算法提供的反事實實現可能為(wei) 加強有針對性的幹預措施提供有價(jia) 值的見解。

時空分析

除了對時間先後的分析，結合空間的時空組合分析近年來吸引了很多研究者的關(guan) 注，在城市治理，用戶行為(wei) 分析，多時序關(guan) 聯分析，因果推導等領域有大量的場景與(yu) 課題。本次NeurIPS帶來6篇相關(guan) 研究：

AZ-whiteness test: a test for signal uncorrelation on spatio-temporal graphs

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=54220

論文源碼：暫未公布

論文摘要：我們(men) 提出了第一個(ge) 圖的白度假設檢驗，即與(yu) 動態圖節點相關(guan) 的多變量時間序列的白度檢驗;因此，該測試代表了圖深度學習(xi) 的重要模型評估工具，例如在預測設置中。統計測試旨在檢測接近時間觀測值之間的現有連續依賴性，以及給定基礎圖的相鄰觀測值之間的空間依賴性。所提出的AZ測試可以作為(wei) 傳(chuan) 統測試的時空擴展，這些測試旨在用於(yu) 係統識別以繪製信號圖。AZ-測試是通用的，允許底層圖形是動態的，隨著時間的推移，拓撲和節點集的變化，以及加權，從(cong) 而考慮不同強度的連接，就像傳(chuan) 感器和運輸網絡等許多應用場景一樣。設計檢驗的漸近分布可以在原假設下推導，而無需假設數據分布相同。我們(men) 展示了該測試對綜合和現實世界問題的有效性，並通過分析附加到圖流的預測殘差來說明如何使用它來評估時空預測模型的質量。

Embracing Consistency: A One-Stage Approach for Spatio-Temporal Video Grounding

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=53372

論文源碼：暫未公布

論文摘要：時空視頻接地 （STVG） 側(ce) 重於(yu) 檢索由自由形式文本表達式描繪的特定對象的時空管。現有的方法主要將這種複雜的任務視為(wei) 並行幀接地問題，因此存在兩(liang) 種類型的不一致缺點：特征對齊不一致和預測不一致。在本文中，我們(men) 提出了一個(ge) 端到端的單階段框架，稱為(wei) 時空一致性感知轉換器（STCAT），以緩解這些問題。特別是，我們(men) 引入了一種新穎的多模態模板作為(wei) 解決(jue) 此任務的全局目標，該模板明確限製了接地區域並將所有視頻幀之間的預測相關(guan) 聯。此外，為(wei) 了在足夠的視頻文本感知下生成上述模板，該文提出一種編碼器-解碼器架構進行有效的全局上下文建模。得益於(yu) 這些關(guan) 鍵設計，STCAT享有更一致的跨模態特征對齊和管預測，而無需依賴任何預先訓練的目標檢測器。大量實驗表明，我們(men) 的方法優(you) 於(yu) 以前最先進的方法，在兩(liang) 個(ge) 具有挑戰性的視頻基準測試（VidSTG和HC-STVG）上具有明顯的餘(yu) 量，說明了所提出的框架在更好地理解視覺和自然語言之間關(guan) 聯的優(you) 越性。

Dynamic Graph Neural Networks Under Spatio-Temporal Distribution Shift

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=55422

論文源碼：暫未公布

論文摘要：動態圖神經網絡（DyGNN）通過利用圖結構和時間動力學展示了強大的預測能力。然而，現有的DyGNN無法處理分布偏移，這自然存在於(yu) 動態圖中，主要是因為(wei) DyGNN利用的模式可能是分布偏移下的標簽的變體(ti) 。本文提出通過發現和利用{it不變模式}來處理動態圖中的時空分布偏移，即在分布變化中預測能力穩定的結構和特征，這麵臨(lin) 兩(liang) 個(ge) 關(guan) 鍵挑戰：

1）如何發現動態圖中的複雜變體(ti) 和不變時空模式，其中涉及時變圖結構和節點特征。

2）如何處理已發現的變體(ti) 和不變模式的時空分布偏移。為(wei) 了應對這些挑戰，我們(men) 提出了基於(yu) 解耦幹預的動態圖注意力網絡（DIDA）。本所提出的方法通過發現並充分利用不變的時空模式，可以有效地處理動態圖中的時空分布變化。具體(ti) 來說，我們(men) 首先提出了一個(ge) 解開的時空注意力網絡來捕捉變體(ti) 和不變模式。然後，我們(men) 設計了一種時空幹預機製，通過跨鄰域和時間戳的變異模式進行采樣和重新組裝來創建多個(ge) 幹預分布，以消除變異模式的虛假影響。最後，我們(men) 提出了一個(ge) 不變性正則化項，以最小化幹預分布中預測的方差，以便我們(men) 的模型能夠基於(yu) 具有穩定預測能力的不變模式進行預測，從(cong) 而處理分布偏移。在三個(ge) 真實世界數據集和一個(ge) 合成數據集上的實驗證明了我們(men) 的方法在分布偏移下優(you) 於(yu) 最先進的基線。據我們(men) 所知，我們(men) 的工作是分布變化下對DyGNN的首次研究。

Masked Autoencoders As Spatiotemporal Learners

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=55378

論文源碼：https://github.com/facebookresearch/mae_st

論文摘要：本文研究了掩碼自動編碼器（MAE）在概念上對從(cong) 視頻中學習(xi) 時空表示的簡單擴展。我們(men) 隨機屏蔽視頻中的時空補丁，並學習(xi) 自動編碼器以像素重建它們(men) 。有趣的是，我們(men) 表明我們(men) 的MAE方法可以學習(xi) 強表示，幾乎沒有時空歸納偏差（隻有補丁和位置嵌入除外），並且時空不可知的隨機掩蔽表現最好。我們(men) 觀察到最佳掩蔽率高達90%（圖像為(wei) 75%），支持該比率與(yu) 數據的信息冗餘(yu) 相關(guan) 的假設。高掩蔽比會(hui) 導致較大的加速比，例如，掛鍾時間> 4 倍甚至更多。我們(men) 使用原版視覺變壓器在幾個(ge) 具有挑戰性的視頻數據集上報告競爭(zheng) 結果。我們(men) 觀察到，MAE可以大大優(you) 於(yu) 監督預訓練。我們(men) 進一步報告了對真實世界的、未經策劃的 Instagram 數據進行訓練的令人鼓舞的結果。我們(men) 的研究表明，掩碼自動編碼的一般框架（BERT，MAE等）可以是一種統一的表示學習(xi) 方法，具有最少的領域知識。

Local Spatiotemporal Representation Learning for Longitudinally-consistent Neuroimage Analysis

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=54733

論文源碼：暫未公布

論文摘要：醫療計算機視覺的最新自我監督進展利用全局和局部解剖學自相似性在下遊任務（如分割）之前進行預訓練。然而，目前的方法假設i.i.d.圖像采集，這在臨(lin) 床研究設計中是無效的，其中後續縱向掃描跟蹤受試者特定的時間變化。此外，醫學相關(guan) 圖像到圖像架構的現有自監督方法僅(jin) 利用空間或時間自相似性，並通過僅(jin) 在單個(ge) 圖像尺度上應用的損失來實現，樸素的多尺度時空擴展崩潰以退化解決(jue) 方案。為(wei) 此，本文做出了兩(liang) 個(ge) 貢獻：（1）提出了一種在縱向圖像上訓練的圖像到圖像架構的局部和多尺度時空表示學習(xi) 方法。它利用學習(xi) 的多尺度主體(ti) 內(nei) 圖像特征的時空自相似性進行預訓練，並開發了幾種特征正則化以避免退化表示;（2）在微調過程中，它提出了一種令人驚訝的簡單自監督分割一致性正則化，以利用受試者內(nei) 的相關(guan) 性。通過對各種分割任務進行基準測試，所提出的框架優(you) 於(yu) 經過良好調整的隨機初始化基線和當前為(wei) i.i.d.和縱向數據集設計的自監督技術。這些改進在縱向神經退行性成人MRI和發育中的嬰兒(er) 腦MRI中都得到了證明，並產(chan) 生了更高的性能和縱向一致性。

AutoST: Towards the Universal Modeling of Spatio-temporal Sequences

論文地址：https://nips.cc/Conferences/2022/Schedule?showEvent=53236

論文源碼：暫未公布

論文摘要：時空序列的分析在許多實際應用中發揮著重要作用，需要高模型容量來捕獲空間和時間維度之間的相互依賴性。以前的研究提供了三類單獨的網絡設計：空間優(you) 先，時間優(you) 先和時空同步。然而，人工設計的異構模型難以滿足時空依賴性捕獲各種任務的優(you) 先級。為(wei) 了解決(jue) 這個(ge) 問題，我們(men) 提出了一個(ge) 具有三個(ge) 特征的通用建模框架：

（i）基於(yu) 注意力的網絡骨幹，包括S2T層（空間優(you) 先）、T2S層（時間優(you) 先）和STS層（時空同步）。

（ii） 通用建模框架，稱為(wei) UniST，具有統一的結構，能夠對擬議的三個(ge) 不同模塊進行靈活的建模優(you) 先次序。

（iii） 一種名為(wei) AutoST的自動搜索策略，通過網絡架構搜索自動搜索最佳時空建模優(you) 先級。在五個(ge) 真實數據集上進行的廣泛實驗表明，UniST與(yu) 我們(men) 提出的三個(ge) 模塊中的任何一種類型都可以實現最先進的性能。此外，AutoST可以通過UniST實現壓倒性的性能。