麻省理工開發的係統 使用大型語言將AI解釋轉換為用戶更容易理解的敘事文本

使人工智能能夠用通俗易懂的語言解釋其預測

機器學習(xi) 模型可能會(hui) 出錯且難以使用，因此科學家們(men) 開發了解釋方法，幫助用戶了解何時以及如何信任模型的預測。

然而，這些解釋往往很複雜，可能包含數百個(ge) 模型特征的信息。它們(men) 有時被呈現為(wei) 多方麵的可視化，對於(yu) 缺乏機器學習(xi) 專(zhuan) 業(ye) 知識的用戶來說很難完全理解。

為(wei) 了幫助人們(men) 理解人工智能的解釋，麻省理工學院的研究人員使用大型語言模型（LLM）將基於(yu) 情節的解釋轉化為(wei) 通俗易懂的語言。

他們(men) 開發了一個(ge) 由兩(liang) 部分組成的係統，將機器學習(xi) 解釋轉換為(wei) 人類可讀的文本段落，然後自動評估敘述的質量，以便最終用戶知道是否信任它。

通過向係統提示一些示例解釋，研究人員可以定製其敘事描述，以滿足用戶的偏好或特定應用程序的要求。

從(cong) 長遠來看，研究人員希望通過使用戶能夠詢問模型後續問題來建立這項技術，了解它是如何在現實世界中做出預測的。

“我們(men) 這項研究的目標是邁出第一步，讓用戶與(yu) 機器學習(xi) 模型進行全麵的對話，了解他們(men) 做出某些預測的原因，這樣他們(men) 就可以更好地決(jue) 定是否聽取模型，”電氣工程和計算機科學（EECS）研究生、一篇關(guan) 於(yu) 這項技術的論文的主要作者Alexandra Zytek說。

麻省理工學院博士後Sara Pido也參與(yu) 了這篇論文；Sarah Alnegheimish，EECS研究生；Laure Berti-Équille，法國國家可持續發展研究所研究主任；資深作者Kalyan Veeramachaneni是信息與(yu) 決(jue) 策係統實驗室的首席研究科學家。該研究將在IEEE大數據會(hui) 議上發表。

闡明解釋

研究人員專(zhuan) 注於(yu) 一種流行的機器學習(xi) 解釋，稱為(wei) SHAP。在SHAP解釋中，為(wei) 模型用於(yu) 進行預測的每個(ge) 特征分配一個(ge) 值。例如，如果一個(ge) 模型預測房價(jia) ，一個(ge) 特征可能是房子的位置。位置將被分配一個(ge) 正值或負值，表示該特征對模型整體(ti) 預測的修改程度。

通常，SHAP解釋以條形圖的形式呈現，顯示哪些特征最重要或最不重要。但對於(yu) 具有100多個(ge) 特征的模型，條形圖很快就會(hui) 變得難以處理。

Veeramachaneni說：“作為(wei) 研究人員，我們(men) 必須對視覺呈現的內(nei) 容做出很多選擇。如果我們(men) 選擇隻顯示前10名，人們(men) 可能會(hui) 想知道情節中沒有的另一個(ge) 特征發生了什麽(me) 。使用自然語言使我們(men) 不必做出這些選擇。”。

然而，研究人員沒有使用大型語言模型來生成自然語言的解釋，而是使用LLM將現有的SHAP解釋轉化為(wei) 可讀的敘述。

Zytek解釋說，通過讓法學碩士隻處理流程的自然語言部分，它限製了在解釋中引入不準確之處的機會(hui) 。

他們(men) 的係統名為(wei) EXPLINGO，分為(wei) 兩(liang) 部分協同工作。

第一個(ge) 組件稱為(wei) NARRATOR，它使用LLM創建符合用戶偏好的SHAP解釋的敘述性描述。通過最初向旁白提供三到五個(ge) 敘事解釋的書(shu) 麵例子，LLM將在生成文本時模仿這種風格。

Zytek說：“與(yu) 其讓用戶嚐試定義(yi) 他們(men) 想要什麽(me) 類型的解釋，不如讓他們(men) 寫(xie) 下他們(men) 想看到的內(nei) 容。”。

這允許通過向NARRATOR顯示一組不同的手動編寫(xie) 的示例，輕鬆地為(wei) 新用例定製NARRATOR。

在NARRATOR創建了一個(ge) 簡單的語言解釋後，第二個(ge) 組件GRADER使用LLM根據四個(ge) 指標對敘述進行評分：簡潔性、準確性、完整性和流暢性。GRADER會(hui) 自動向LLM提示旁白中的文本及其描述的SHAP解釋。

她說：“我們(men) 發現，即使法學碩士在執行任務時犯了錯誤，在檢查或驗證該任務時也通常不會(hui) 犯錯誤。”。

用戶還可以自定義(yi) GRADER，為(wei) 每個(ge) 指標賦予不同的權重。

她補充道：“你可以想象，在一個(ge) 高風險的情況下，對準確性和完整性的權重遠高於(yu) 流利性。”。

分析敘事

對於(yu) Zytek和她的同事來說，最大的挑戰之一是調整LLM，使其產(chan) 生聽起來自然的敘事。他們(men) 為(wei) 控製風格添加的指導方針越多，LLM就越有可能在解釋中引入錯誤。

她說：“每次發現並修複每個(ge) 錯誤都需要進行大量的快速調整。”。

為(wei) 了測試他們(men) 的係統，研究人員使用了9個(ge) 帶有解釋的機器學習(xi) 數據集，並讓不同的用戶為(wei) 每個(ge) 數據集編寫(xie) 敘述。這使他們(men) 能夠評估旁白模仿獨特風格的能力。他們(men) 使用GRADER對所有四個(ge) 指標的每個(ge) 敘述性解釋進行評分。

最後，研究人員發現，他們(men) 的係統可以生成高質量的敘事解釋，並有效地模仿不同的寫(xie) 作風格。

他們(men) 的研究結果表明，提供一些手動編寫(xie) 的示例解釋可以大大改善敘事風格。然而，這些例子必須仔細書(shu) 寫(xie) ——包括比較詞，如“更大”，可能會(hui) 導致GRADER將準確的解釋標記為(wei) 不正確。

基於(yu) 這些結果，研究人員希望探索可以幫助他們(men) 的係統更好地處理比較詞的技術。他們(men) 還希望通過為(wei) 解釋添加合理化來擴展EXPLINGO。

從(cong) 長遠來看，他們(men) 希望將這項工作作為(wei) 邁向交互式係統的墊腳石，在該係統中，用戶可以向模型提出有關(guan) 解釋的後續問題。

Zytek說：“這將在很多方麵有助於(yu) 決(jue) 策。如果人們(men) 不同意模型的預測，我們(men) 希望他們(men) 能夠快速弄清楚他們(men) 的直覺是否正確，或者模型的直覺是否準確，以及這種差異來自哪裏。”。