中國作家協會主管

2月9日，美籍華裔科幻作家特德·姜（Ted Chiang）在《紐約客》上發表文章，表達了他對時下大熱的人工智能ChatGPT獨特見解。特德·姜在科幻小說領域成績斐然，曾獲得星云獎、雨果獎等科幻小說大獎。他的短篇小說《你一生的故事》在2016年被改編成電影《降臨》。

以下是全文譯文：

2013年，德國一家建筑公司的工人注意到他們的施樂復印機有一些奇怪的地方：當他們復印一張房子平面圖時，副本與原件之間存在微妙而顯著的差異。在最初的平面圖中，每棟房子的三個房間都有一個矩形來說明其面積：房間分別為14.13平方米，21.11平方米和17.42平方米。然而，在復印件中，所有三個房間都被標記為14.13平方米。該公司聯系了計算機科學家大衛·克里塞爾（David Kriesel），讓他對這一看似不可思議的結果進行調查。他們需要一名計算機科學家，因為現代施樂復印機使用的不是20世紀60年代流行的物理靜電復印工藝。相反，它以數字方式掃描文檔，然后打印生成的圖像文件。結合這一事實，為了節省空間，幾乎每個數字圖像文件都經過了壓縮。謎底開始浮出水面。

壓縮文件需要兩個步驟：首先是編碼，在此期間文件被轉換為更緊湊的格式；然后是解碼，將編碼的過程反向進行。如果恢復的文件與原始文件相同，則壓縮過程被描述為無損，即沒有丟失信息。相比之下，如果恢復的文件只是原始文件的近似值，則壓縮被描述為有損，即一些信息已丟失而無法恢復。無損壓縮通常用于文本文件和計算機程序，因為在這些領域中，即使是一個錯誤的字符也有可能造成災難性的后果。在絕對精度不重要的情況下，有損壓縮通常用于照片、音頻和視頻。大多數時候，我們不會注意到一張圖片、一首歌或電影是否被完美地復制。只有當文件被壓縮得非常緊時，保真度的損失才會更加明顯。在這些情況下，我們會注意到所謂的壓縮偽影——最小的JPEG和MPEG圖像的模糊，或者低比特率MP3的微弱聲音。

施樂復印機使用一種被稱為jbig2的有損壓縮格式，專為黑白圖像而設計。為了節省空間，復印機會識別圖像中看起來相似的區域，并為所有這些區域存儲一份副本；當文件被解壓時，它會重復使用該副本來重建映像。結果是，復印機判斷出指定房間面積的標簽非常相似，所以它只需要存儲其中一個，即14.13平方米的房間，并且在打印樓層平面圖時，它對所有三個房間都重復使用這一個標簽。

施樂復印機使用有損壓縮格式而不是無損格式，這本身并不是一個問題。問題是復印機以一種微妙的方式壓縮了圖像，使其中壓縮的偽影不能被立即識別出來。如果復印機只是打印出模糊的照片，每個人都會知道這不是原件的準確復制品。導致問題的原因是復印機輸出的數字是可讀的，但不準確——它使副本看起來準確，但實際上并不準確。（2014年，施樂發布了一個補丁來糾正這個問題。）

我認為，在我們研究OpenAI的ChatGPT和其他類似程序（人工智能研究人員稱之為大語言模型）時，施樂復印機的這起事件值得我們銘記于心。復印機和大語言模型之間的相似之處可能不是很明顯，但請考慮以下場景：想象一下，你即將永遠失去上網的機會。在準備階段，你計劃為萬維網上的所有文本創建一個壓縮副本，以便將其存儲在專用服務器上。不幸的是，你的私人服務器只有所需空間的1%；如果你想要所有的一切都是準確的，你就不能使用無損壓縮算法。相反，你可以編寫一個有損算法來識別文本中的統計規律，并將它們存儲在專門的文件格式中。由于你在這個任務中擁有幾乎無限的計算能力，因此你的算法可以識別非常細微的統計規律，這允許你實現所需的100:1的壓縮比。

于是，失去網絡連接不再那么可怕，因為你把網絡上的所有信息都存儲在了你的服務器上。唯一的問題是，由于文本被高度壓縮，你無法通過搜索準確的引用來查找信息；你永遠不會得到一個精確的匹配，因為存儲的不是單詞。為了解決這個問題，你創建了一個接口，該接口接受問題形式的查詢，并以傳達服務器上的要點的答案進行響應。

我所描述的聽起來很像ChatGPT，或者大多數其他大語言模型。可以把ChatGPT看作是萬維網上所有文本的模糊JPEG。它保留了萬維網上的大部分信息，就像JPEG保留了高分辨率圖像的大部分信息一樣。但是，如果你要尋找精確的比特序列，你無法找到它，你得到的只是一個近似值。但是，因為這個近似值是以語法文本的形式呈現的，而ChatGPT擅長創建語法文本，所以它通常是可以接受的。你看到的仍然是一張模糊的JPEG，但模糊發生的方式不會使圖片整體看起來不那么清晰。

這種與有損壓縮的類比不僅僅是一種理解ChatGPT通過使用不同的單詞重新打包萬維網上找到的信息的方法，它也是一種理解“幻覺”或對事實性問題的無意義回答的方法。而大語言模型（如ChatGPT）都很容易出現這種情況。這些幻覺是壓縮后的產物。但是，就像施樂復印機產生的錯誤標簽一樣，它們似乎是可信的，要識別它們就需要將它們與原件進行比較。在這種情況下，這意味著要么是萬維網，要么是我們自己對世界的認識。當我們這樣想的時候，這樣的幻覺一點也不令人驚訝。如果一種壓縮算法被設計成在99%的原始文本被丟棄后重建文本，我們應該預料到它生成的很大一部分內容將完全是捏造的。

當我們記得有損壓縮算法使用的一種常用技術是插值（譯者注：一種通過已知的、離散的數據點，在范圍內推求新數據點的過程或方法）時，這個類比就更有意義了——也就是說，通過查看間隙兩側的內容來估計缺失的內容。當圖像程序顯示照片時，必須重建壓縮過程中丟失的像素時，它會查看附近的像素并計算平均值。這就是當ChatGPT被提示用《獨立宣言》的風格描述丟在烘干機里的襪子時所做的事情：它在“詞匯空間”中取兩個點，并生成占據它們之間位置的文本。（“在人類事件的過程中，一個人有必要把他的衣服與他們的同伴分開，以保持其清潔和秩序……”）ChatGPT非常擅長這種形式的插值，人們發現它很有趣：他們發現了一種用于段落而不是照片的“模糊”工具，并且玩得很開心。

鑒于像ChatGPT這樣的大語言模型經常被吹捧為人工智能的前沿，將它們描述為有損文本壓縮算法可能聽起來令人不屑一顧，或者至少令人泄氣。我確實認為這種觀點為將大語言模型人格化的趨勢提供了有用的糾正，但是壓縮類比還有另一個方面值得考慮。自2006年以來，一位名叫馬庫斯·赫特（Marcus Hutter）的人工智能研究人員提供了一項現金獎勵——被稱為“壓縮人類知識獎”或“赫特獎”，獎勵任何能夠無損地壓縮維基百科特定1GB快照的人，要求比上一位獲獎者的數據更小。你可能遇到過使zip文件格式壓縮的文件。zip格式將赫特的1GB文件壓縮到300兆左右；而最近的獲獎者已經設法將其減少到115兆字節。這不僅僅是一次磨合練習。赫特認為，更好的文本壓縮將有助于創造人類級別的人工智能，部分原因是通過理解文本可以實現最大程度的壓縮。

為了理解壓縮和理解之間的關系，假設你有一個文本文件，其中包含上百萬個加減乘除的示例。盡管任何壓縮算法都可以減小這個文件的大小，但要實現最大的壓縮比，可能需要推導出算術原理，然后編寫計算器程序的代碼。使用計算器，你不僅可以完美地重建文件中的數百萬個示例，還可以重建將來可能遇到的任何其他算術示例。同樣的邏輯也適用于壓縮維基百科的一部分。如果壓縮程序知道力等于質量乘以加速度，那么在壓縮有關物理的頁面時，它可以丟棄大量的單詞，因為它能夠重建它們。同樣，程序對供求關系了解得越多，在壓縮有關經濟的頁面時，就能丟棄越多的單詞，等等。

大型語言模型識別文本中的統計規律。對網絡文本的任何分析都會揭示，像“供應不足”這樣的短語經常出現在“價格上漲”這樣的短語附近。當被問及有關供應短缺影響的問題時，包含這種相關性的聊天機器人可能會回答有關價格上漲的問題。如果一個大語言模型已經編譯了大量經濟術語之間的相關性——多到可以對各種各樣的問題提供合理的回答——我們是否應該說它實際上理解了經濟理論？像ChatGPT這樣的模型沒有資格獲得赫特獎，原因有很多，其中之一就是它們不能精確地重建原始文本，也就是說它們不執行無損壓縮。但是，它們的有損壓縮是否可能表明，人工智能研究人員真正理解了他們感興趣的那種類型？

2023年2月6日，上海，一位年輕人使用手機和電腦訪問OpenAI的網站，顯示ChatGPT目前已滿負荷運轉，已關閉服務，用戶可要求ChatGPT在恢復服務時收到電郵通知。 視覺中國 圖

讓我們回到算術的例子。如果你要求GPT-3（ChatGPT構建的大語言模型）添加或減去一對數字，當數字只有兩位數時，它幾乎總是會給出正確的答案。但數字越大，準確率就會顯著下降，當數字有五位數時，準確率會下降到10%。GPT-3給出的大多數正確答案都不能在網上找到——例如，包含“245 + 821”文本的網頁并不多——所以它不是在進行簡單的記憶。但是，盡管吸收了大量的信息，它也無法推導出算術原理。仔細檢查GPT-3的錯誤答案表明，它在執行算術時不帶“1”。萬維網上當然包含攜帶“1”的解釋，但是GPT-3不能包含這些解釋。GPT-3對算術例子的統計分析使它能夠產生與真實事物的表面近似，但僅此而已。

鑒于GPT-3在小學教學科目上的失敗，我們如何解釋它有時在寫大學水平的論文時表現良好的事實？盡管大語言模型經常產生幻覺，但當它們清醒時，它們好像真的能理解經濟理論等學科。也許算術是一個特殊的情況，大語言模型不太適合。有沒有可能，在加減法之外的領域，文本中的統計規律確實與真實世界的真實知識相對應？

我認為有一個更簡單的解釋。想象一下，如果ChatGPT是一種無損算法會是什么樣子。如果是這樣的話，它總是通過提供來自相關網頁的逐字引用來回答問題。我們可能會認為這個軟件只是對傳統搜索引擎的輕微改進，并對它印象不太深刻。ChatGPT從網絡上重新表達材料，而不是逐字引用，這讓它看起來像一個學生用自己的話表達思想，而不是簡單地重復他讀過的東西。它會造成ChatGPT理解了材料的錯覺。在人類學生中，死記硬背并不是真正學習的標志，因此ChatGPT無法從網頁中準確地引用內容，這恰恰使我們認為它學到了一些東西。當我們處理單詞序列時，有損壓縮看起來比無損壓縮更聰明。

大語言模型已經有了很多種用法。把它們看作是模糊的JPEG文件，這就提供了一種評估它們可能適合或不適合的方法。讓我們思考幾種情況。

大語言模型能取代傳統搜索引擎嗎？為了讓我們對它們有信心，我們需要知道他們有沒有被灌輸政治宣傳和陰謀論——我們需要知道JPEG是否捕捉了正確的網絡區域。但是，即使大語言模型只包含我們想要的信息，仍然存在模糊性的問題。有一種模糊是可以接受的，那就是用不同的詞重新陳述信息；對于完全捏造的模糊，當我們尋找事實時，我們認為這是不可接受的。在消除不可接受的模糊性的同時，保留可接受的模糊性，在技術上是否可行尚不清楚，但我希望在不久的將來，我們能找到答案。

即使有可能限制大語言模型參與制作，我們應該使用它們來生成萬維網內容嗎？只有當我們的目標是重新打包網絡上已有的信息時，這才有意義。有些公司就是這么做的，我們通常稱它們為內容工廠。也許大語言模型的模糊性對他們來說是有用的，它可以作為一種避免侵犯版權的手段。不過，一般來說，我想說的是，任何對內容工廠有好處的東西都不適合搜索信息的人。這種重新包裝的興起使我們現在更難在網上找到我們想要的東西。大型語言模型生成的文本在網絡上發布得越多，網絡本身就變得越模糊。

關于OpenAI即將推出的ChatGPT繼任者GPT-4的信息非常少。但是我想做一個預測：當收集用于訓練GPT-4的大量文本時，OpenAI會盡一切努力排除由ChatGPT或任何其他大語言模型生成的材料。若事實果真如此，那么將大語言模型與有損壓縮進行類比是有用的。反復保存JPEG會產生更多的壓縮制件，因為每次都會丟失更多的信息。這就相當于過去不斷復制副本的做法，圖像質量只會越來越差。

事實上，衡量大語言模型質量的一個有用標準可能是，公司是否愿意使用它生成的文本作為新模型的訓練材料。如果ChatGPT的輸出對GPT-4來說不夠好，我們或許會認為它對我們來說也不夠好。相反，如果一個模型生成的文本非常好，可以用來訓練新的模型，那么我們應該對文本的質量有信心。（我懷疑這樣的結果需要在用于構建這些模型的技術上取得重大突破。）如果我們開始看到模型產生的輸出和輸入一樣好，那么有損壓縮的類比將不再適用。

大語言模型能幫助人類創作原創作品嗎？要回答這個問題，我們需要明確這個問題的含義。有一種藝術類型被稱為影印藝術，在這種藝術中，藝術家們利用復印機的獨特特性作為創作工具。在ChatGPT復印機上，沿著這些路線的事情肯定是可能的，所以，在這個意義上，答案是肯定的。但我認為沒有人會說，復印機已經成為藝術創作中的必備工具。絕大多數藝術家在創作過程中不會使用它們，沒人會認為他們的這種選擇會讓自己處于不利地位。

所以讓我們假設，我們并不是在談論一種類似于“施樂藝術”的新的寫作類型。鑒于這一規定，大語言模型生成的文本能否成為作家在創作原創作品時有用的起點，無論是小說還是非虛構？讓一個大語言模型來處理樣板文件，能讓作者把注意力集中在真正有創意的部分嗎？

顯然，沒有人能代表所有的作家，但我想說的是，以一份模糊的非原創作品作為起點，并不是創作原創作品的好辦法。如果你是一個作家，在你寫原創作品之前，你會寫很多非原創的作品。花在非原創工作上的時間和精力不會被浪費。相反，我認為正是它讓你最終能夠創作出原創的作品。花在選擇正確的詞匯和重新排列句子以更好地遵循彼此上的時間，教會了你如何通過文章傳達想要表達的意思。讓學生寫論文不僅僅是一種測試他們對材料掌握程度的方法，這給了他們表達自己想法的經驗。如果學生從來不用寫我們都讀過的文章，他們就永遠不會獲得寫我們從未讀過的東西所需的技能。

這并不是說，一旦你不再是學生，你就可以安全地使用大語言模型提供的模板。想要表達自己想法的掙扎并不會在你畢業后消失。每當你開始起草一篇新文章時，這種掙扎就會出現。有時候，只有在寫作的過程中，你才能發現自己最初的想法。有些人可能會說，大語言模型的輸出看起來與人類作家的初稿沒有太大不同，但是，我認為這只是表面上的相似。你的初稿不是一個明確表達的非原創想法；這是一個原始想法的拙劣表達，它伴隨著你無定形的不滿，你意識到它所說的和你想說的之間的距離。這是在重寫時能夠指導你的東西，這是當你開始使用人工智能生成的文本時所缺乏的東西之一。

寫作沒什么神奇或神秘的，但它不僅僅是把現有的文件放在一臺不可靠的復印機上，然后按下打印按鈕。在未來，我們有可能創造出一個人工智能，它能夠僅憑自己對世界的經驗就寫出好文章。我們實現這一目標的那一天確實意義重大，但那一天遠遠超出了我們的預測范圍。與此同時，我們有理由提出這樣一個問題：重新表述萬維網有何用途？如果我們永遠無法訪問互聯網，不得不在空間有限的私人服務器上存儲副本，那么像ChatGPT這樣的大語言模型可能是一個很好的解決方案，假設它可以防止偽造。但我們并沒有失去對互聯網的訪問。那么，當你還有原始圖片的時候，一張模糊的JPEG到底有多大用處呢？