清華給 ChatGPT 做逆向發現了 ChatGPT 的進化軌跡！

你應該知道

立足一個(ge) ChatGPT，現在對大模型的研究簡直是百花齊發百家爭(zheng) 鳴，用 ChatGPT 做化學實驗、給 ChatGPT 做心理測試、誘導 ChatGPT 越獄泄漏隱私、讓幾個(ge) ChatGPT 形成一個(ge) 小社會(hui) 等等不勝枚舉(ju) 。

而最近，清華的研究團隊又在大模型研究中另辟蹊徑，不僅(jin) 構建了一個(ge) 數據集記錄 ChatGPT 隨時間的“版本迭代”，更是通過逆向分析探索得到了 OpenAI 對 ChatGPT 動的手腳做的改進，推演出了 ChatGPT 的進化軌跡！論文和項目地址如下：

論文題目：

ChatLog: Recording and Analyzing ChatGPT Across Time

論文鏈接：

https://arxiv.org/pdf/2304.14106.pdf

項目鏈接：

https://github.com/THU-KEG/ChatLog

首先讓我們(men) 來看一張圖，其實毋庸置疑，OpenAI 在 ChatGPT 如此龐大的用戶基數下，必然會(hui) 借助這些海量的“優(you) 質數據”讓 ChatGPT 不斷的迭代進化。

以 ELI5 數據集（包含很多 Explain Like I am 5 問題的數據集）為(wei) 例，在 3 月 9 號的 ChatGPT 版本中，ChatGPT 隻給出了一個(ge) 相當簡陋的回答，很顯然 ChatGPT 在 3 月 9 號還沒有完全理解什麽(me) 是“Explain Like I am 5”，但是在 4 月 9 號時，ChatGPT 已經完成了進化，不僅(jin) 表達更加生動，甚至還使用了比喻的修辭。

顯然，一個(ge) 直覺的問題是“ChatGPT 是沿著什麽(me) 方向變化的？”，如果可以搞清楚這個(ge) 問題，不僅(jin) 是可以滿足一下我們(men) 的好奇心，更是給 ChatGPT 客觀的評估工作帶來了方便。但這個(ge) 問題並不是 OpenAI 會(hui) 寫(xie) 在文檔裏供我們(men) 即插即用的問題，因而，這篇工作應運而生，總的來說，論文完成了兩(liang) 件事，一是分別構建了一個(ge) 按日還按月記錄 ChatGPT 變化的數據集；二則是利用這個(ge) 數據集對 ChatGPT 的進化軌跡進行了分析，得出了不少有意思的結論。

ChatLog——ChatGPT 進化數據集

關(guan) 於(yu) 數據集，作者團隊從(cong) 兩(liang) 個(ge) 角度出來，一個(ge) 是構建一個(ge) 以月份為(wei) 時間維度的數據集，一個(ge) 是構建一個(ge) 以日期為(wei) 時間維度的數據集。對於(yu) 按月記錄的數據集而言，作者團隊從(cong) 數據集 HC3（一個(ge) 包含大約兩(liang) 萬(wan) 四千條問題及其對應的人類專(zhuan) 家答案和 ChatGPT 答案的數據集） 、Jack of All Trades （一個(ge) 用於(yu) 評估 ChatGPT 在25個(ge) 公共 NLP 數據集上的 25 個(ge) 不同 NLP 任務性能的數據集）以及一係列其他數據集中抽取了涵蓋計算機、數學、金融等不同領域的共 38730 個(ge) 問題-答案對，每月詢問一次 ChatGPT，構成 ChatLog-Monthly。

而為(wei) 了監測 ChatGPT 每天的變化，論文從(cong) HC3 數據集中隨機抽取了1000個(ge) 問題，從(cong) 2023 年 3 月 5 日到 4 月 9 日重複發送給ChatGPT。其中有些問題是開放性的，可能需要 ChatGPT 借助外部知識，而有部分問題是分析性的，主要考驗 ChatGPT 的分析能力。總體(ti) 大約 30% 是“What”類型的問題，30% 是“How”類型的問題，58% 是為(wei) “Why”類型的問題，其他類型的問題占 6%。通過在這些問題上 ChatGPT 的表現，可以評估它在多方麵的表現，如多領域知識理解、推理、解釋等。

分析——ChatGPT 的進化軌跡

有了數據集，選取相應評價(jia) 指標，便可以看出 ChatGPT 隨時間的進化軌跡。如下表所示，對比 1 月份的 ChatGPT 在不同任務數據集上的結果，可以看出 New ChatGPT 有了幾乎全線的提升。

總結來看，對比 1 月，ChatGPT 主要完成了以下的升級：

1. 在攻擊性與垃圾文本分類任務中，New ChatGPT 有了顯著的提升，幾乎接近現有模型的 SOTA，這表明 ChatGPT 在識別攻擊性與垃圾文本的能力方麵有了巨大的提升，這種提升很有可能是開放用戶的攻擊帶來的；
2. 對於需要數學推理的任務，ChatGPT 有了顯著的改進，在 MathQA 數據集上的準確率從 71.40% 提高到了 78.00%。

關(guan) 注推理能力，從(cong) 下麵的圖中可以看出，3 月 5 號的 ChatGPT 使用了錯誤的推理得出來了錯誤的答案，但是在 4 月份，ChatGPT 的推理能力便完成了升級，已經可以正確的理解問題並加以推導並得到正確的答案。顯然，在 ChatGPT 這種進化速度下，如果沒有固定 ChatGPT 的時間版本，那麽(me) 非常有可能因為(wei) 忽略 ChatGPT 升級這一關(guan) 鍵因素而得出錯誤的評估結果。

值得注意的是，在一些依賴先驗知識的任務中，ChatGPT 的性能發生了下降，如在 WNLI 數據集上，ChatGPT的準確率從(cong) 1 月份的 81.69% 下降到 71.83%。換言之，大量語料的湧入對 ChatGPT 而言有可能並不全然是一件好事，與(yu) 人類的互動也會(hui) 增加 ChatGPT 的機器幻覺。

而對 ChatLog-Daily 而言，這種變化可以被更加細致的可視化如下（後綴 p，r，f 分別表示精確度，召回率和 F1 分數）：

可以看到，ChatGPT 生成的答案正在變得更加簡潔，在追求精度與(yu) 廣度的平衡，以獲得更高的可讀性。但是，單純分析這種準確率召回率，其實沒法真正透視 OpenAI 到底做了什麽(me) ，這些指標也無法分析出為(wei) 什麽(me) 時隔一個(ge) 月，ChatGPT 便學會(hui) 用比喻來解釋問題了。因此，作者在這個(ge) 基礎上更進一步做了全麵的特征提取，具體(ti) 而言，作者團隊將 個(ge) query 在 天內(nei) 持續丟(diu) 給 ChatGPT，得到了 維的回複矩陣 ，再對 中每天的回複提取 個(ge) 特征（情感特征、知識特征、語言特征），構成集合 。如下圖所示，作者利用對應不同的工具，提取出了知識、語言、情感等總計 265 個(ge) 的豐(feng) 富特征。

根據這些特征，作者探索了特征與(yu) 對應得分之間的關(guan) 係，可以看到，語義(yi) 特征與(yu) 召回率正相關(guan) 與(yu) 準確率負相關(guan) ，結合前麵 ChatLog-Daily 的分析結果，可以看出 OpenAI 在語義(yi) 豐(feng) 富度方麵加強了 ChatGPT。

那麽(me) 什麽(me) 在快速迭代中，ChatGPT 的什麽(me) 特征是穩定的呢？論文定義(yi) 了一個(ge) 特征穩定的評估指標——變異係數。

其中， 為(wei) 特征的索引。通過在 ChatLog-Daily 上進行測試，可以看到最穩定的指標是可讀性與(yu) 語義(yi) 清晰度 。也就是說，這幾個(ge) 指標是 ChatGPT 做的最好的核心競爭(zheng) 力。

總結與討論

總的來說，這篇論文從(cong) ChatGPT 時間變化性這個(ge) 角度切入去深入的了解了 ChatGPT 所關(guan) 注的特征，並且也關(guan) 注到了 ChatGPT 特征的動態變化，這為(wei) 許多基於(yu) ChatGPT 的探索性研究鋪了一條方便的道路，也或多或少規避了一些因為(wei) ChatGPT 的進化而不應該得出的錯誤結論。

或許，這樣對 ChatGPT 進化數據集的記錄與(yu) 開源，也可以為(wei) 我們(men) 譜寫(xie) 大模型的史書(shu) 留下了殷實的資料庫吧！