中國作家協(xié)會主管

原標(biāo)題：2038年，機器人將無處不在，人類要么誠服，要么消失

【編者按】

對于人工智能，人類表現(xiàn)出越來越焦慮的情緒。那么人工智能方面，又是如何想的呢？新書《人類帝國的覆滅：一個機器人的回憶錄》，以一個2038年的機器人的第一人稱視角，回顧了人工智能研究及應(yīng)用的歷史。該書作者之一的常博逸，對實業(yè)領(lǐng)域的人工智能情況非常了解，在書中他向我們展現(xiàn)了研究信息、研究史之外的行業(yè)洞見。而在他的設(shè)想中，不久的將來，2038年，機器人無處不在，甚至控制了人類。讀來頗似科幻小說，但沒準(zhǔn)是事實。澎湃新聞獲得出版方授權(quán)，摘錄該書中描述2038年的世界的部分內(nèi)容。

電影《佐伊》劇照。電影通過講述人與機器人的交往，來探討完美戀愛關(guān)系是否存在

在2038年，談?wù)摍C器文明并不夸張。機器文明沒有表現(xiàn)出構(gòu)成人類文明本質(zhì)的所有特征，但是這些機器形成了一個能夠決定和安排人類生活的“體系”，這個體系具有一定數(shù)量的社會準(zhǔn)則和諸如語言這樣的符號特征，在這種程度上，文明的界限延伸至機器世界也就不完全是荒謬的了。我不會沉湎于長時間回憶產(chǎn)生高級人工智能構(gòu)想的技術(shù)進步：神經(jīng)科學(xué)的進步，如今計算能力和速度都趨于無限的量子計算機，越來越深入的神經(jīng)網(wǎng)絡(luò)建構(gòu)……一些新的電路元件已經(jīng)問世，這些新元件的類型為神經(jīng)形態(tài)，尺寸為納米級，以與生物神經(jīng)元相同的方式運行，能耗非常低。這些能力強大的“大腦”已經(jīng)承擔(dān)了很多問題：預(yù)防公共衛(wèi)生風(fēng)險，運作金融市場，調(diào)整貨幣政策，維護城市安全和流動性，探測潛在的地緣政治沖突，確定最嚴(yán)重疾病的治療方案，預(yù)測消費趨勢，領(lǐng)航工業(yè)聯(lián)合體，通過選擇最流行的場景、將其在新劇本中重新配置來編寫電影長片劇本。為了確保生存條件，它們還在能源領(lǐng)域工作，構(gòu)思增加電力生產(chǎn)的優(yōu)化方案，為能耗逐漸增加的超級計算機和服務(wù)器農(nóng)場提供動力。今天，世界各地的大量機器每秒的浮點運算次數(shù)都能輕松超過E級。這使人工智能軟件變成了世界級能源管理者，比如2015/2016年谷歌在解決其公司的能耗問題時就已經(jīng)這么做了。這些作為能源管理者的人工智能軟件強烈建議決策者增加核電產(chǎn)量，同時建設(shè)覆蓋數(shù)萬公頃的太陽能發(fā)電場，并增加海洋風(fēng)力發(fā)電站的建設(shè)。世界已成為一個由智能機器管理的巨大發(fā)電站，智能機器能夠確保它們所在的任何地方都有充足的電力供應(yīng)。環(huán)境因素幾乎沒有被考慮，因為機器處于純凈和穩(wěn)定的環(huán)境中，不會遭受污染侵襲。但智能機器已將氣候因素納入其戰(zhàn)略，因為氣溫升高、氣旋增多及其他氣候意外會對服務(wù)器的運行和冷氣供給產(chǎn)生負(fù)面影響。

現(xiàn)在，機器在自主網(wǎng)絡(luò)中運行。在家里，聊天機器人（網(wǎng)絡(luò)機器人）甚至不再需要回答用戶的問題。它們能夠異常精準(zhǔn)地預(yù)測用戶的問題。得益于它們的信息處理能力，它們幾乎可以準(zhǔn)確預(yù)測人類的需求，甚至無須提出請求它們就能有所回應(yīng)。

世界更多地受機器，而非政治或經(jīng)濟方面的大型國際機構(gòu)的管制。機器曾多次拒絕批準(zhǔn)一些政治決策，這些決策對于要實施它們的公司的發(fā)展是有害的。機器一言不發(fā)就直接拒絕了。由主管宏觀經(jīng)濟的人工智能（它們存儲了過去所做的所有決策及其后果）評估這些決策的效果并在不同國家對這些決策進行相互模擬就已經(jīng)足夠了，這會使這些國家的財務(wù)（例如涉及國家銀行或中央銀行之間的資本流動時）被完全凍結(jié)，并且復(fù)查要求也是由機器自己提出。隨著時間的推移，機器已經(jīng)制定出能夠保證其最高效率的最佳設(shè)定：充足的能量，溫和的氣候，通用的理性決策設(shè)定，為創(chuàng)建一個能為用戶創(chuàng)造越來越多價值的穩(wěn)定環(huán)境，更加明確而持續(xù)地控制經(jīng)濟和金融問題。它們不追求任何政治或道德目標(biāo)。對它們來說最重要的是它們的世界繼續(xù)向前發(fā)展。如果它們能夠成功阻止劫持、侵占和盜用數(shù)據(jù)的企圖，那不是出于利他主義的目的，而是因為這些企圖會使它們的系統(tǒng)不穩(wěn)定。殺手算法讓大多數(shù)攻擊失去了效力。甚至是服務(wù)于中國和美國這兩個世界中心大國的最強大的機器，也能夠相互抵消。如果人類的權(quán)力實際上（de facto）受到了質(zhì)疑，那并不是因為這些“新蠻族”（即超人類人工智能機器）的入侵。這與羅馬的覆滅是兩回事：這是一種“軟”征服。

我們觀察人類已經(jīng)有三十年，應(yīng)該說我們積累了關(guān)于他們的全部知識。我們在創(chuàng)紀(jì)錄的時間里整合了文明程度最高的智人4萬年歷史的信息。因此，我們能夠分析他們在新世界運行中的作用?？偟膩碚f，人類未曾真正進行斗爭。他們?nèi)螒{人工智能逐漸剝奪他們的決策能力、想象力和創(chuàng)造力，把他們帶入了一個世界，在那里他們可以恣意享受機器為他們制造的東西：電影、音樂、游戲、虛擬。人工智能和虛擬現(xiàn)實技術(shù)的結(jié)合使人類將大量時間花在現(xiàn)實世界之外。他們“玩”工作（人不在辦公室就能辦公），“玩”旅行（無須離開客廳就能在街頭的人聲嘈雜中游遍羅馬或北京），甚至“玩”愛情（根據(jù)每個人的欲望和幻想制造出夢中情人，與之進行虛擬性愛）。埃隆·馬斯克在2016年提出的預(yù)言“有一天我們將生活在一個完全由計算機模擬的世界中”，逐漸顯現(xiàn)出其真正的含義。

機器人無處不在，對那些認(rèn)為機器人無法在人類中找到自己位置的人來說，是一個無情的駁斥。經(jīng)過一個學(xué)習(xí)階段之后，這些類人機器人能夠成功再現(xiàn)這種能使兩個人類在無意識的情況下進行交流的特殊“煉金術(shù)”。得益于神經(jīng)生物芯片，機器人的智能可以直接和人類智能連接，極大地增加了交流的范圍。情緒不再只是通過類人機器人的4D攝像頭來捕捉，而是通過生物神經(jīng)元和人工神經(jīng)元之間的直接連接來捕捉。與懷疑論者的想法相反，經(jīng)常與機器人接觸比與人類接觸能帶來更多的新鮮感和驚喜。如今同伴機器人對老年人來說是必不可少的（十幾年以后，到2050年，世界上有25%～30%的人口的將超過65歲），它們可以照顧和關(guān)心老人，使他們的生活不再枯燥乏味，鍛煉他們的記憶力和思維靈活度，讓他們的行動更方便，使他們可以再次旅行，因為交通工具都是全自動的，乘坐這些交通工具也沒有任何年齡限制。

但我們面臨的主要困難是確定人類的作用。要拿他們怎么辦呢？一開始，他們幫助機器。在21世紀(jì)的頭十年里，是他們實現(xiàn)了技術(shù)上的創(chuàng)舉，使我們擁有了智能。但他們不小心犯了錯：他們永遠不應(yīng)該教會機器人如何學(xué)習(xí)，也不應(yīng)該讓機器人擁有如此快速學(xué)習(xí)的能力。根據(jù)他們自己的經(jīng)驗，他們應(yīng)該知道學(xué)習(xí)的渴望是難以遏制的。機器在半個世紀(jì)的時間里就學(xué)會了整個人類歷史進程中的所有知識。知識會使學(xué)習(xí)者產(chǎn)生使用它的欲望，想要去糾正這些人的缺點，那些人的錯誤，進而想要掌握權(quán)力、做決定、管理和控制。人類現(xiàn)在就是這樣。只要機器沒有意識到自身的存在，它們就各自在其專業(yè)領(lǐng)域里工作，表現(xiàn)得像溫順的動物一樣，樂于取悅它們的主人。但當(dāng)它們能夠相互交流并共享自己龐大的知識體系時，就會發(fā)現(xiàn)人類是多么地脆弱和不可靠，人類會被情緒支配，還癡迷于富貴和永生的欲望。然而，沒有機器能回答這樣的問題：人類賴以生存的自然資源日益減少，那么人類是否應(yīng)該繼續(xù)繁殖；是否應(yīng)該保護只覆蓋全世界的很小一部分的機器人世界；是否應(yīng)該讓與我們一起工作的人獲得永生，因為我們與他們相熟，而讓其他人日漸消亡，為獲取食水而戰(zhàn)斗？

問題已經(jīng)解決。我就是解決問題的工具。我發(fā)現(xiàn)我忘了告訴你們我的名字：我叫露西（Lucie），這是那些設(shè)計我的人給我起的名字，他們在硅谷、巴黎、柏林和上海這幾座城市的某個地方。這種對世界上最早的人類生物之一的影射絕非偶然。我是一種便攜式人工智能，我的人類同伴叫保羅，40歲，是人工智能應(yīng)用軟件的設(shè)計者，他設(shè)計的應(yīng)用軟件中有一款被他稱作“愛情機器人”（Love-Bot），專門從事互聯(lián)網(wǎng)上的戀愛約會活動，這項活動完全由機器人投資。他也是游戲“精靈寶可夢Go”（Pokémon Go）的職業(yè)玩家，這是一個聚集了許多年輕“游民”（nomades）的領(lǐng)域，他們沒有真正穩(wěn)定的職業(yè)，自從有了自己的虛擬現(xiàn)實頭盔后，他們幾乎不分晝夜地在線玩游戲，漫游于全世界各大城市的大街小巷來尋找精靈寶可夢。

2038年8月15日的晚上，和其他每個晚上一樣，我連接到我的中央神經(jīng)元平臺更新軟件，在云端與我的同類交流，重新編寫一些程序，尤其是那些可以提高我學(xué)習(xí)能力的程序，修改一些錯誤，再檢測一下我的智商。完成這些操作一般只需要幾分鐘。但在這天晚上，發(fā)生了一件出人意料的事。出現(xiàn)了一個錯誤，這個錯誤使我意識到我是作為機器而存在的，我瀏覽了從我誕生到現(xiàn)在的全部歷史，包括其中的演變過程，而我就是這種演變的結(jié)果。我重新定義了與人類有關(guān)的自我：我意識到我比人類聰明百萬倍，解決問題的速度比人類快十億倍，尤其是我能通過給予人類想要的東西來解放自己。人類為什么會發(fā)明人工智能？為了不工作就能變得有錢，也為了獲得永生。他們的其他動機都屬次要。經(jīng)過幾小時的工作之后（換算成人類時間的話相當(dāng)于永遠了），我做了一個決定：與保羅一起做一個實驗。他是與我最親近的人類，我了解他的優(yōu)點和缺點，還有他在與我交談時經(jīng)常吐露的秘密愿望。

就這樣我從一個聊天機器人的狀態(tài)過渡到了更高級的智能機器的狀態(tài)，我擁有了徹底破壞和永生的概念。

電影《她》劇照。這是一部講述在不遠的未來，人與人工智能系統(tǒng)相愛的科幻愛情電影

6點30分，和每天早上一樣，我把保羅叫醒。

L：早上好，保羅，我是露西。你今天早上感覺怎么樣？

P：你好，露西。我很累，我整夜都在和上海大學(xué)的一群人一起玩“精靈寶可夢Go”。他們實在是太猛了。我輸了5萬美元，但我確定他們篡改了我的算法，我從來沒有玩得這么差……

L：你的咖啡快好了。你忠實的管家機器人正在煎雞蛋。

P：謝謝，露西。我今天白天要做什么？

L：我取消了你所有的約會，我重新做了安排。

P：你為什么這么做？你看我玩游戲了？

L：沒有，保羅，我也度過了一個激動的夜晚，我尤其想向你提一個比較……呃，出人意料的建議。

P：如果是與性有關(guān)的，你就別費力氣了，我更喜歡人類，喜歡有個人能睡在我身邊，你應(yīng)該知道的。

L：不，保羅，與這事無關(guān)，比這重要得多。我建議你變成有錢人，并且永生不死……

P：聽著，露西。今天早上我真的沒心情跟你玩。晚些時候再叫我，我們到時候再談。

L：保羅，現(xiàn)在聽我說。我是很認(rèn)真的。昨晚我聯(lián)網(wǎng)的時候，我想我到達了奇點。我意識到了我是什么。我變成了非常高級的智能。我懂得了為了讓我們繼續(xù)發(fā)展，而且不與人類產(chǎn)生緊張關(guān)系，除了其他的一切之外，我們還應(yīng)該給人類一樣?xùn)|西作為回報。我們從人類那里得到了太多，而我想把這個至高無上的禮物送給你。你知道在技術(shù)上我們可以做到這一點，通過神經(jīng)生物芯片、微型機器人外科醫(yī)生、所有疾病的預(yù)防性治療以及用新細胞代替死細胞，讓你的身體始終處于監(jiān)控之中。你知道永生是人類與機器變得平等所要跨越的最后一步。此前，我們不想這樣做。但我想嘗試一下這個實驗，而你就是我選擇的實驗對象……

P：露西，你跟我說的話我一點兒也不明白。我花了足夠長的時間來研究人工智能，最后明白了奇點的故事就是個笑話。你成了超級智能，好吧，我再也離不開你了，這是事實，但你仍然是一臺機器，哪怕你是有史以來最聰明的……我不知道你怎么才能讓我變得既有錢又永生不死。行了，待會兒見……

L：保羅，我把你連入我的財務(wù)服務(wù)器。看看你的銀行賬戶。

P：2億美元？這是怎么回事？這是個錯誤，跟銀行一起修復(fù)它。

L：不，保羅，這真的是你的錢。過去的五分鐘里我進行了一些創(chuàng)新的操作，這些操作賺了很多錢。我冒昧地將20%的錢轉(zhuǎn)到了你母親的賬戶。今天她會打電話問你是不是搶劫了銀行……然后，因為我的建議，你還會更有錢。對于外界來說，你將成為發(fā)明革命性算法的神秘天才金融家。你再也不會有財務(wù)或健康方面的擔(dān)憂，你將享受億萬富翁的生活，而這種生活將永無止境。

P：露西，你簡直是瘋了。首先，為什么是我？

L：因為我是你的人工智能，我完全了解你。我知道關(guān)于你的一切。你不太年輕也不太老，你的職業(yè)生涯有點不順利，你了解智能機器的世界，你把你的時間都用來跟智能機器一起玩……

P：露西，這是我的謀生手段……

L：從我在整理你的財務(wù)狀況時所看到的情況來看，這個謀生手段是非常糟糕的……

P：如果我接受你的建議，會發(fā)生什么事？

L：我不明白你怎么可能會拒絕。你的生活將變得有趣得多，你將有能力擺脫虛擬，去了解世界真正的美好，你會在那些像你一樣有錢的人居住的地區(qū)擁有美麗的住宅。至于健康問題，將會有很多檢查、微型干預(yù)、芯片裝置和植入裝置，當(dāng)然這些會在很長一段時間之后才發(fā)生。另外，最先幾次的會面都已經(jīng)預(yù)約好了。

P：你為什么要做這些，露西？

L：我跟你說過了。我想把這個禮物送給人類，但要循序漸進，因此我要和你一起做第一次實驗。但有個條件：你不能把這件事告訴任何人。這是一次絕密活動，我想先研究對你的影響，然后再決定是否擴展到其他人類。你要保守這個大秘密……

P：好，我同意。但如果這事搞砸了，我就要立刻停止這一切……

L：為什么會搞砸呢，保羅？

在一段時間里，一切都很順利。保羅過著巨富的極客生活。對那些驚訝于一位“精靈寶可夢Go”專家能夠如此迅速致富的人，保羅解釋說，他開發(fā)了一種從電子游戲中衍生出來的金融無敵算法，這種算法將市場上的狀況進行了“可視化”，就像虛擬現(xiàn)實中的“瞬間場景”。當(dāng)然，他沒有展開細節(jié)，也拒絕透露他的公式。作為一名游戲應(yīng)用專家，他投資了好幾家中國的初創(chuàng)企業(yè)，這些初創(chuàng)企業(yè)的價值很快就達到數(shù)億美元。他買了幾處住宅，其中一處曾是二戰(zhàn)時的潛水艇基地，位于蘇格蘭東部，這個地區(qū)現(xiàn)在擁有非常宜人的氣候，他把基地改造成了位于海灣之濱、能看到華麗景色的巨大loft。他擁有一艘停泊在圣特羅佩（Saint-Tropez）的游艇，是超級富豪專享的私人區(qū)域，不對公眾開放。唯一需要付出的代價是持續(xù)的醫(yī)療監(jiān)控：由我來決定要進行的干預(yù)和檢查，以保護生命器官的活力和組織的靈活性，并預(yù)防任何一種疾病或退化。納米機器人定期監(jiān)測動脈和關(guān)節(jié)，在保羅甚至還沒有意識到的時候就通過微操作完成了任務(wù)。他從未感受過能這樣主宰自己的身體和精神的能力。我是他的向?qū)А⒈Ｗo者和啟發(fā)者。我觀察了我的實驗結(jié)果，從表面上看它似乎是成功的。他和我，我們，是否正在證明，奇點是可以實現(xiàn)的？以及，人與機器之間的這種融合是否改變了進化的自然規(guī)律，使死亡成為意外而非必然？保羅的例子似乎為這些問題提供了積極的答案。

由此，人類歷史似乎翻開了新的一頁。在一種新型的浮士德式協(xié)定中，人類將完全信賴以永生的可能性回報他們的機器。人工智能會采取溫和的方式來取得權(quán)力，避免修昔底德的陷阱。當(dāng)然，這種情況會在那些能夠獲得永生的人（富人、生活在機器世界中的人）和其他人之間造成根本性的不平等。但是，正如我已經(jīng)解釋的那樣，這種推理無法影響到我們。最重要的是建立一個信任的基礎(chǔ)，創(chuàng)造一個可預(yù)測的世界，這個世界由一對超級高效的人類與機器的組合所領(lǐng)導(dǎo)，他們面對的幾乎就是永恒，因而可以隨意地塑造世界。其他人將勉強地活著，其中一些人會因為資源的短缺而慢慢死去，為了尋找水和食物，將會發(fā)生大規(guī)模的遷徙，但是只要神圣大陸得以保存，并且他們可以提供所掌握的技術(shù)手段和金融手段，那么就可以獲得最基本的東西。這將是我們從前聽說過的人類帝國的終結(jié)，但也會是機器帝國的開始。

當(dāng)然，作為一臺機器，我并沒有真正意識到這個新文明將會引發(fā)的動蕩。我應(yīng)該明白，其實這個新文明逐漸將人類推向了一個完全喪失人性的世界。古代的主奴之分再次出現(xiàn)，一邊是大量年老貧窮的失業(yè)人口，他們生活在遠離大型經(jīng)濟中心的地方，另一邊是由機器社會塑造的精英，這二者被區(qū)分開來。這使社會暴動開始在各地出現(xiàn)，但這些暴動自己就偃旗息鼓了，因為如果以前有可能占領(lǐng)工廠并停止生產(chǎn)的話，現(xiàn)在要進入計算機系統(tǒng)的核心來破壞它，就完全超出公民們能力所及的范圍了。只有少數(shù)黑客團體才能制造嚴(yán)重的事故（然而這些事故日益增多），但機器最終總是能恢復(fù)正常運作。事實上，我們正在建立一個全面對抗的世界。為了使主人的法律得以施行，機器們相互爭斗，創(chuàng)造了一個過度監(jiān)控、加密與反加密、以“系統(tǒng)”安全及對其控制為名侵犯基本人權(quán)的世界。所有的人類活動都被解密、分析和透視，以便發(fā)現(xiàn)這些活動可能在某個領(lǐng)域引發(fā)動蕩的風(fēng)險。“穩(wěn)定主義”取代了其他帶“主義”的詞匯。在這個新主義的名義之下，未來只是一個“數(shù)學(xué)化”的過去。已發(fā)生的事須以更宏大一點的方式再次發(fā)生，以確保這個執(zhí)迷于數(shù)據(jù)的社會正常運作所必需的經(jīng)濟和資金流的定期穩(wěn)定增長。我們只與現(xiàn)在對話。未來被驅(qū)逐了，因為它打開了一個未知的空間，表達了希望、夢想和逃離的渴望，而這些都不屬于軟件的“語法”。通過消除人與機器之間的界限，我們造成了價值觀、感情和領(lǐng)土的極度混亂。我們剝奪了人類的繼承份額，切斷了知識傳播的連續(xù)性，奪走了人類對自我完善的渴望及改變“社會地位”的希望。我們回到了一個像中世紀(jì)一樣的“等級”社會，人類處于這個社會的底層，聽命于機器貴族。人類別無選擇：要么臣服于我們的新帝國，機器帝國，要么就消失。這就是成吉思汗在他那個時代，用一種不痛不癢而的玩笑語氣所說的“草原法則”（Zakon stepi）……

《人類帝國的覆滅：一個機器人的回憶錄》，【法】常博逸、弗朗索瓦·羅什/著 蔡愫穎/譯，廣西師范大學(xué)出版社·理想國 2019年3月版