ChatGPT優勢和使用局限性分析

作者：甄科學

轉載：秦朔朋友圈

ID：qspyq2015

ChatGPT於(yu) 去年11月30日發布，我就開始試用了，寫(xie) 過幾篇小文章。那時在海外和業(ye) 內(nei) 人圈子裏，火了一波，國內(nei) 大部分人都沒反應。

春季後，券商報告強推，微軟百億(yi) 投資openAI，百度緊跟形勢不掉隊，國內(nei) 爆炒ChatGPT的熱度甚至超過國外，大超預期。

然而，ChatGPT不開放來自中國地區IP和手機號碼的用戶注冊(ce) ，大部分人沒有真正用過。有人用國外賬號架設了中繼服務器，給國內(nei) 朋友使用。受條件所限，大部分使用者淺嚐輒止、看熱鬧的多。有些文章甚至存在誇大ChatGPT能力的情況。

所以，我想用我這兩(liang) 個(ge) 月的使用心得，聊聊科學使用ChatGPT和不科學使用ChatGPT的地方。

這些科學和不科學的地方，也反映了大家對ChatGPT在具體(ti) 應用場景中的科學性的思考。

01

先說不科學的地方。

1、當搜索引擎用

由於(yu) 穀歌和百度入局，很多人討論將來搜索引擎會(hui) 被替代。所以有人很自然地，現在就把ChatGPT當搜索引擎來使用和測試。

這個(ge) 問題很大！

如果輸入“如何做魚香肉絲(si) ”這個(ge) 問題，搜索引擎找到已經存在於(yu) 互聯網上的做法，並把結果排序。而ChatGPT給出的是看起來像“做法”的一段文字。這段文字不是從(cong) 一個(ge) 完整的做菜秘籍來的，而是它的算法根據每個(ge) 字的概率和上下文，一個(ge) 字一個(ge) 詞產(chan) 生的。你貌似看到了一個(ge) 完整的做法，但這個(ge) 做法從(cong) 來沒有存在過，也沒有人用過。

ChatGPT隻是造了一段做菜的文字。要理解這一點，需要回到ChatGPT的模型。

ChatGPT模型綜合使用了in-context learning、RLHF等模型。此處不展開技術部分的討論。其中一部分模型是用類似我們(men) 英語考試最熟悉的、完形填空的方法來訓練的。

比如一道完形填空題：我喜歡___的感覺。

空格裏，可以填成我喜歡跑步的感覺，可以填成我喜歡炒菜的感覺，也可以填我喜歡發呆的感覺。填什麽(me) 取決(jue) 於(yu) 對話場景。

如果填成我喜歡被殺死的感覺，這種場景出現的概率很低。算法會(hui) 降低“我喜歡”後麵跟“被殺死”三個(ge) 字的概率。

如果填成我喜歡桌子的感覺，就是完全錯誤的答案，算法給“桌子”的概率是零。

基於(yu) 很多類似這樣的題目，讓機器做題，再糾正對錯，就可以訓練出算法。

所以，ChatGPT是文字編碼和概率組合的遊戲，不是準確的事實信息。

搜索引擎最大的難度是找到最相關(guan) 的準確信息。現在ChatGPT還當不了搜索引擎。將來它會(hui) 是搜索引擎的好幫手，可以把搜索引擎的準確結果，組合得更易讀。

想象一個(ge) “搜索引擎+ChatGPT”的場景：基於(yu) 搜索引擎的準確信息，ChatGPT組合出一篇結構嚴(yan) 謹、文字優(you) 美的文章。不用你把每個(ge) 搜索頁麵打開、拷貝、組織、粘貼了。

2、當專(zhuan) 家用

我曾經試過問ChatGPT：如果中國經濟想在2023年重新回到較高的增長速度，需要解決(jue) 什麽(me) 問題，你有什麽(me) 建議？

它回答：對於(yu) 中國經濟重新回到較高的增長速度，我有以下建議：1. 重點加強消費需求；2. 加強改革和創新；3. 完善金融體(ti) 係；4. 加強社會(hui) 投資；5. 健全科技體(ti) 係。

這些回答看起來頭頭是道，確實和專(zhuan) 家說的一樣，並且還有新穎的地方。這是因為(wei) ，當問這個(ge) 問題的時候，模型訓練過的大部分文本中，涉及經濟增速的那些話，都是專(zhuan) 業(ye) 人士說的。在專(zhuan) 業(ye) 的語境裏，出來的語言就是專(zhuan) 家的語言，不會(hui) 是老百姓的回答：增速高低管我啥事，有人給我發工資就行。

所以，不能信ChatGPT說的話，不能把它當專(zhuan) 家。但是這些話可以給你啟發，你自己可以想這五條建議對不對。

3、想一次得到想要的結果

ChatGPT這個(ge) 名字，Chat部分，會(hui) 給人一些誤導。

一般來說，我們(men) 和人交流，不會(hui) 重複問對方同一個(ge) 問題；正常人不會(hui) 每次對同一個(ge) 問題，給出不一樣的答案。人的思想是一致的，說出來的話是一致的。一言九鼎，人不能瞎說。

ChatGPT不一樣，不能把它當成人。如果問了一個(ge) 問題，覺得它回答得不好，你可以重複問同樣的問題，直到得到滿意的答案。ChatGPT算法的隨機性，讓它每次給出的答案都不一樣，會(hui) 有完全相反的觀點。

ChatGPT模型有個(ge) 參數，叫temperature。如果temperature是0，它不說不靠譜的話，在是與(yu) 否、答案唯一的問題上，它不胡說。不知道的，它說不知道。如果temperature大於(yu) 零，它說的是有一定概率相關(guan) 的話，每次說的不一樣。

我把temperature參數叫做胡說參數。胡說參數值越高，越天馬行空，直到語言都對，但張冠李戴、事實完全錯誤。就像生活中偶爾碰到的正兒(er) 八經的胡說八道的人一樣。

我看到有的朋友試用ChatGPT，問了開放性問題，看一眼回答後，覺得答案沒意思，就認為(wei) ChatGPT沒意思，不再用了。這樣體(ti) 會(hui) 不到ChatGPT的妙處。要得到有趣的結果，要不停地問它，就會(hui) 有驚喜。

再比如，同樣的問題，可以設定文字的語氣。比如，我讓ChatGPT禮貌地提醒別人請戴口罩，它的回答是：

“請您注意戴口罩，以保護您和他人的健康。”

如果讓它言辭激烈地提醒別人戴口罩，結果是這樣的：

"不戴口罩，你就是在自尋死路！"

完全不一樣。

這是ChatGPT強大的地方，會(hui) 產(chan) 生非常有用的應用場景。

02

下麵說幾個(ge) 科學的方麵，也就是ChatGPT適合的、現在就可以派上用處的地方。

1、萬(wan) 能提綱

在討論“不科學”的部分，我們(men) 認識到了ChatGPT照貓畫虎、生產(chan) 出像虎的文字。當把邏輯嚴(yan) 謹、考慮全麵的科學論文數據訓練後，ChatGPT從(cong) “表麵上”獲得了最強的邏輯和最全麵的思維，於(yu) 是它非常適合針對一個(ge) 研究主題，分解研究這個(ge) 問題的各個(ge) 方麵，列出研究提綱或模板。

比如，我要寫(xie) 一篇題目是《怎麽(me) 幫助男人走出中年危機》的論文，或者朋友中年焦慮了，你想幫助開導朋友，從(cong) 哪些方麵著手、怎麽(me) 談，ChatGPT可以迅速列出提綱：

一、中年危機的定義(yi) （1. 什麽(me) 是中年危機；2. 中年危機的主要表現；3. 中年危機的原因）

二、幫助男人走出中年危機的方法（1. 充實自我：增強自信，拓展興(xing) 趣；2. 加強聯係：和家人、朋友、同事保持良好的溝通；3. 改變生活：改變工作狀態，改善生活習(xi) 慣）

三、男人走出中年危機的心理護理（1. 正確認識中年危機；2. 找到自我實現的方式；3. 找到自我調節的方法）

四、社會(hui) 環境對男人走出中年危機的影響（1. 家庭環境；2. 工作環境；3. 社會(hui) 環境）

同時，它可以告訴你一些克服中年危機的最新研究結論和方法：

男性中年危機的主要原因是職業(ye) 發展和家庭壓力。因此，幫助男性走出中年危機的最佳方法是提高他們(men) 的職業(ye) 發展能力和家庭技能，以減少他們(men) 承受的壓力。參加社交活動、培養(yang) 良好的心理狀態和調節情緒，以及找到自己的愛好，可以有效幫助男性走出中年危機。通過健康的生活方式和良好的睡眠習(xi) 慣，可以幫助男性改善心理和生理狀態，從(cong) 而緩解中年危機。

ChatGPT生成的這些完整的方麵和觀點，並不是誰都可以簡單想到。

或者，如果想知道如何評估一家上市公司的投資價(jia) 值，ChatGPT可以完整地列出考慮的因素：

一、財務指標（1、財務報表：分析公司的資產(chan) 負債(zhai) 表、利潤表和現金流量表，比較公司的收入、利潤和財務狀況，及其與(yu) 行業(ye) 公司的比較分析。；2、財務比率：研究公司的資產(chan) 收益率、現金流量比率、存貨周轉率、固定資產(chan) 折舊率等指標，反映公司的財務狀況；3、財務風險：分析公司的財務風險，包括短期償(chang) 債(zhai) 能力、流動性、抵押貸款，研究公司的負債(zhai) 狀況，以及公司與(yu) 行業(ye) 比較）

二、市場表現（1、股票價(jia) 格：研究股票的曆史價(jia) 格走勢，及其與(yu) 行業(ye) 公司的比較分析；2、股票流動性：研究股票的流通性，觀察股票的換手率、成交量、收益率等，以及公司與(yu) 行業(ye) 比較；3、股息政策：分析公司的股息政策，包括股息支付水平等）

此處是微軟看好ChatGPT的原因。知識工作者即使學過這些知識，但已經大部分還給了老師，在1分鍾內(nei) 想不到如此全麵。即使想到了，還得一個(ge) 字一個(ge) 字敲出來，對吧？ChatGPT不用敲鍵盤了，自動生成各種提綱供選擇、優(you) 化。極大地提升效率。

ChatGPT的訓練模型經過專(zhuan) 業(ye) 論文庫的訓練，它把問題分解出的層麵非常全麵、深入。提綱對仗工整、非常漂亮。寫(xie) 過論文、發言稿、研究報告的人，知道此處的價(jia) 值。

2、文字改寫(xie)

不同語境需要不同的語言風格。文字工作者在寫(xie) 文章的時候，如果想把文字寫(xie) 得更精致，更優(you) 美，或更通俗，ChatGPT可以改寫(xie) 成作者想要的寫(xie) 作風格。

比如，上文這段話，風格偏正式，我想改得更輕鬆一點。ChatGPT可以改成：

不同的場景需要不同的語言風格，ChatGPT就像一個(ge) 魔法棒，能夠幫助文字工作者把文字寫(xie) 得更炫酷，更棒棒噠，或更容易懂！

不同場景，需要不同的語言搭配。文字工作者在寫(xie) 文章的時候，如果想把文字寫(xie) 得更精彩，更優(you) 雅，或更易懂，ChatGPT就是你的福音，能幫助你把文字寫(xie) 得更符合你的寫(xie) 作風格。

或者，我想改成更文縐縐的古文範兒(er) ，ChatGPT會(hui) 改成：

文人文章，若欲精致，美輪美奐，或淺顯易懂，

ChatGPT可以協助作者，以至於(yu) 達到所欲之文韻。（文韻這個(ge) 詞似乎用得很好。）

3、細節優(you) 化

我不是專(zhuan) 業(ye) 作家，寫(xie) 不好描寫(xie) 場景的文章。我可以讓ChatGPT幫我寫(xie) 細節。比如，描寫(xie) 一朵迎春花：

這朵美麗(li) 的迎春花，鮮豔的花瓣像一片絢爛的繡線，把春天的熱情洋溢出來；

燦爛的花蕊，像一顆顆閃耀的星星，傳(chuan) 遞著春天的溫暖；

清新的花香，像一陣清風，把春天的活力拂拭而來。

它就像一個(ge) 美麗(li) 的小仙子，把春天的美麗(li) 和溫暖帶給每一個(ge) 人。

這極大地提升了效率。小說家們(men) 隻要把精力放在構思情節上，而不需要花時間在潤色文字上。

那麽(me) ，ChatGPT的文字能不能帶感情呢？上麵迎春花的文字是帶著美好的感情，我可以讓ChatGPT寫(xie) 傷(shang) 感的感情：

這朵迎春花，嬌豔欲滴，似乎在悲傷(shang) 地輕歎著什麽(me) 。

它的瓣片，如同剛剛落淚的眼眶，濕潤而又柔軟；

它的花蕊，如同曾經深情相擁的雙手，無奈而又溫柔。

它的芳香，似乎在悄悄訴說著什麽(me) ，卻又無人可以聽見。

它的美麗(li) ，既是一種悲傷(shang) ，又是一種溫柔。

有些描寫(xie) 像中學生的作文。雖不錯，但稍感幼稚。ChatGPT更厲害的在於(yu) 還有個(ge) 性化訓練模型，可以訓練出一個(ge) 人的語言風格，此後寫(xie) 的文字就都是類似的語言風格了。

我在之前的文章中，寫(xie) 了生成任意風格藝術家的畫作，ChatGPT也可能達到生成任意作家的寫(xie) 作風格。

此處就產(chan) 生了知識產(chan) 權問題。國外有很多反對AI生成作品的組織。ChatGPT也非常謹慎地開放所服務的國家和地區，因為(wei) 每個(ge) 地方的法律不同，不加控製地應用，可能會(hui) 產(chan) 生知識產(chan) 權糾紛。

4、代碼助手

編程程序也是語言。把自然語言轉化為(wei) 程序語言，也是ChatGPT可以用武的地方。由於(yu) 這塊的受眾(zhong) 以程序員為(wei) 主，我不展開。

此處的問題還聚焦在準確性上。寫(xie) 代碼耗費最多時間的是找bug。如果準確性不夠，寫(xie) 出來的代碼bug太多，還不如自己寫(xie) 。如果要用好這個(ge) 功能，對使用者的要求比較高，需要清晰的語言把代碼的目的描述出來。這樣，ChatGPT才可能準確地把自然語言“翻譯”成代碼語言。

在未來，碼農(nong) 的工作將更多走向理解需求、架構、算法，而不是寫(xie) 代碼這個(ge) 過程上。

5、啟發靈感

文字工作者最痛苦的是寫(xie) 不出東(dong) 西。寫(xie) 不出東(dong) 西的時候，有兩(liang) 種情況，一種是肚裏沒貨，一種是不知道從(cong) 何下筆。有了AI，它可以給你很多東(dong) 西，讓你挑選。

本來以為(wei) 人工智能隻能替代機械的工作，實際卻是AI可以用隨機性創造出無數可能的東(dong) 西。創新就是跨界、組合、異想天開。AI可以隨機地生成很多東(dong) 西，在裏麵淘金，可以挖到很好的靈感。

如果涉及事實之間的組合，需要你自己判斷其事實的基礎是否準確。AI擅長一本正經地胡說八道，所以，人需要比AI更強，才用得好AI。如同領導一定要有辨識下屬說的話的能力，才能做好事情一樣，AI對人類提出了更高的要求。

有人用ChatGPT寫(xie) 了書(shu) 、論文，有人用ChatGPT隻能寒暄幾句聊天。使用ChatGPT需要技巧。就像有人把PPT做成電影大片，有人把PPT做成Word都不如。當中的區別還是人怎麽(me) 用。

1950年代以前，識字的人就是人才，現在識字這個(ge) 技能已經不算技能了。AI的發展如同消滅文盲一樣，讓某些技能普惠大眾(zhong) ，不再成為(wei) 一些人的獨有技能。

最後總結一下，AI的“不科學”在於(yu) ，要避免它的“不科學”濫用，一旦互聯網充斥AI產(chan) 生的不準確信息，互聯網就被毀了——AI自己毀了自己。提高準確性是ChatGPT的競品和ChatGPT自己未來要解決(jue) 的問題。

AI的“科學性”在於(yu) ，AI用更快的電子信號，實現對人類大腦的化學信號的學習(xi) 過程的模仿、加速。AI現在還是一個(ge) 剛學會(hui) 說話，什麽(me) 都敢說的三歲小孩。這個(ge) 小孩，加以時日、持續學習(xi) ，前途不可限量。