比爾·蓋茨：我最喜歡的關于AI的書

導讀

比爾·蓋茨在文中寫道：          

當人們問我關于人工智能的問題時，他們的問題往往歸結為這一點：我應該擔心什么，應該有多擔心？過去一年，我的回答是建議他們讀一讀穆斯塔法·蘇萊曼的《浪潮將至（The Coming Wave）》。這是我向國家元首、商界領袖和其他任何有此疑問的人推薦最多的一本關于AI的書，因為它提供了一種罕見的東西：對未來非凡機遇和真正風險的清晰看法。                

作者穆斯塔法·蘇萊曼對這個話題有著獨特的見解。在幫助DeepMind從一家小型初創公司發展成為過去十年最重要的AI公司之一后，他又創立了Inflection AI，現在領導著微軟的AI部門。但這本書的特別之處不僅在于穆斯塔法的親身經歷，更在于他對科學史和技術革命發展過程的深刻理解。他是一位嚴肅的知識分子，能夠將幾個世紀的科學進步進行有意義的類比。            

對《浪潮將至》的大多數報道都聚焦于它對人工智能的論述上——這也在情理之中，因為它是有史以來關于AI的最重要書籍之一。可能沒有人比穆斯塔法更有資格來寫這本書了。2016年，當DeepMind的AlphaGo擊敗世界頂級圍棋選手時，他就在現場。圍棋是一種比國際象棋復雜得多的游戲，背后有著2500年的戰略思考，而AlphaGo的行棋步法是從未有人想到過的。通過這一勝利，這個基于AI的計算機程序展示了機器可以在我們自己的游戲中打敗人類，并讓穆斯塔法提前瞥見了未來的趨勢。           

但使得他的書與眾不同的，是穆斯塔法對AI的見解：人工智能只是前所未有的科學突破匯聚的一部分。基因編輯、DNA合成和生物技術的其他進步也在同步向前發展。正如書名所示，這些變化就像海面上的浪潮——對許多人來說仍然不可見，但它們正在積聚力量。每一項技術單獨來看都足以改變游戲規則，而它們結合在一起，將重塑社會的方方面面。            

歷史學家尤瓦爾·赫拉利認為，在開發先進的AI之前，人類應該先弄清楚如何合作和建立信任。理論上，我同意這一觀點。如果我有一個神奇的按鈕，可以在30到40年內放慢這一進程，讓人類有時間解決信任和共同目標的問題，我或許會按下它。但那個按鈕并不存在。無論任何個人或公司做什么，這些技術都會被創造出來。                

眼下，隨著成本急劇下降和計算能力的增長，進展已經在加速。而推動發展的動力則來自于利潤和權力的誘惑。此外，利益和權力也是推動發展的動力。國家與國家之間競爭，公司與公司之間競爭，個人與個人之間競爭榮譽和領導地位。這些力量使得科技進步勢不可擋，同時也使得其更加難以控制。            

在我關于AI的討論中，我經常強調我們需要考慮的三大風險。首先是經濟動蕩的快速步伐。AI能會從根本上改變工作的本質，影響到幾乎所有行業的工作，包括那些傳統上被認為不受自動化威脅的白領職位。第二個風險是控制問題，即確保AI系統隨著技術的進步，仍然與人類的價值觀和利益保持一致的困難。第三個風險是，當不法分子掌握AI時，他們將變得更加強大，并且更有能力進行網絡攻擊、制造生物武器，甚至危害國家安全。            

最后一個風險——賦能不法分子——引出了我們這個時代最大的挑戰：遏制。我們如何在利用這些技術的好處的同時，限制它們的危險？這就是《浪潮將至》一書的核心問題，因為遏制是所有其他問題的基礎。沒有它，AI和生物技術的風險將變得更加尖銳。首先解決這個問題，我們才能創造解決其他問題所需的穩定和信任。       

當然，說起來容易做起來難。            

如核武器等以往的變革性技術可以通過物理安全和嚴格的訪問控制來遏制，而AI和生物技術則帶來了根本不同的挑戰。它們越來越容易獲取和負擔得起，它們的發展幾乎無法被察覺或監控，而且它們可以在幕后操作，只需要很少的基礎設施。如果禁止這些技術，意味著好人會單方面解除武裝，而壞人依然會向前推進。而且這會傷害到所有人，因為這些技術本質上是雙重用途的。可以用來制造生物武器的工具，也可以用來治愈疾病；可以用于網絡攻擊的AI，也可以增強網絡防御。

那么，在這個新現實中，我們如何實現遏制呢？抱怨穆斯塔法沒有憑一己之力解決人類歷史上最復雜的問題之一，顯然是不公平的。盡管如此，他還是提出了一個與挑戰規模相稱的雄心勃勃的議程——涵蓋了從技術解決方案（如為AI系統建立緊急關機開關）到廣泛的制度性變革，包括新的全球條約、現代化的監管框架，以及政府、企業和科學家之間的歷史性合作。當你讀完他的建議清單時，你可能會懷疑我們是否真的能及時完成所有這一切。但這正是這本書如此重要的原因：它幫助我們在仍有時間采取行動時，理解這種緊迫性。

我一直是個樂觀主義者，閱讀《浪潮將至》也沒有改變這一點。我堅信，AI和生物技術的進步能夠幫助我們實現突破性的進展來治療致命疾病、應對氣候變化的創新解決方案，以及為每個人提供高質量的教育。但真正的樂觀主義不是盲目相信，而是看到其潛力和風險，然后努力塑造更好的結果。

無論你是科技愛好者、政策制定者，還是僅僅想了解世界未來走向的人，都應該閱讀這本書。它不會給你簡單的答案，但它會幫助你提出正確的問題——并讓你更好地準備駕馭即將到來的浪潮，而不是被它卷走。

在某種程度上，人類的歷史就是一部災難史。大流行病廣泛存在。其中有兩場大流行病曾導致世界上多達30%的人口死亡：6世紀的查士丁尼瘟疫和14世紀的黑死病。1300年，英格蘭的人口約為700萬，但到了1450年，由于瘟疫的肆虐，人口銳減到僅剩200萬。

當然，災難也可能是人為造成的。一戰和二戰分別導致全球約1%和3%的人口死亡。隨著原子彈的出現，人類現在擁有了足以多次毀滅地球上所有生命的致命力量。過去需要數年甚至數十年才可能發生的災難性事件，現在只需按下按鈕，便可在幾分鐘內發生。

隨著新的技術浪潮逼近，我們又朝著潛在的災難邁出了一大步。風險的上限顯著提升，同時，那些企圖釋放災難性力量的人所擁有的途徑也大幅增加。我們將從國家的脆弱性和國家職能所面臨的威脅出發，展開更廣泛的討論，并進一步設想：在技術遏制無法實現的情況下，人類世界遲早會發生什么。   

這些技術中的絕大多數都將用于有益目的。雖然它們的風險是我討論的焦點，但我們必須記住，這些技術也將日復一日地改善無數人的生活。我們探討的是幾乎沒人愿意看到的極端情況，尤其是開發這些工具的人所不愿看到的。然而，即使這些情況僅代表極罕見的應用案例，我們也不能忽視它們。在新的技術浪潮下，不法分子有可能造成嚴重破壞，引發大規模的不穩定。請想象一下，當任何一個具備一定能力的實驗室或黑客都能合成復雜的DNA鏈時，我們離災難性事件還有多遠？

最終，隨著史上最具影響力的技術滲入我們生活的方方面面，極端情況的發生概率也將大幅提升。一定會出現一些問題，其嚴峻程度和擴散速度都將與技術所蘊含的巨大能力相當。新技術浪潮的4個特征預示著，如果不在各個層面采取強有力的遏制措施，那么像人為策劃的流行病這樣的災難性后果將比以往任何時候都更可能發生。

這是不可接受的。然而，這里存在一個困境：人們同樣難以接受那些最為穩妥的技術遏制方案，因為它們可能會將我們引向專制主義和反烏托邦的道路。

一種可能性是，社會轉向技術驅動的全面監控模式。這種強制執行的機制，旨在應對那些難以控制或根本不受控制的技術。這是以犧牲自由為代價來換取安全。另一種可能性是，人們選擇徹底遠離技術前沿。這種情況不大可能發生，而且這顯然并非我們所尋求的解決方案。從理論上講，能夠應對這一關乎人類未來命運的困境的唯一實體，正是民族國家體系。我們需要它來遏制技術力量，而這一體系正在這些技術力量的沖擊下面臨崩塌的風險。

隨著時間的推移，這些技術的影響將迫使人類在災難與反烏托邦的兩種極端之間探尋一條中間道路。這已成為我們這個時代的根本性困境。

關于即將到來的技術浪潮所帶來的風險，人工智能領域的隱患尤其引人關注，而其風險仍在不斷攀升。一旦軍隊實現全面自動化，沖突的發生門檻將會顯著降低。戰爭可能因某些永遠難以明確的原因而意外觸發，人工智能系統在檢測到特定行為模式或威脅時，可能會立即以勢不可當的力量做出反應。可以說，這樣的戰爭將呈現出一種完全陌生的性質，它容易迅速升級，并帶來前所未有的毀滅性后果。   

正是基于這樣的邏輯，我常聽到這類聲音：“通用人工智能是人類所面臨的最大風險！它將毀滅世界！”然而，當被追問那將是怎樣的場景，那一切將如何發生、有多么危險時，人們開始回避，給出含糊不清的回答。他們認為，人工智能可能會占用所有計算資源，將整個世界變成一臺龐大的計算機；隨著人工智能不斷增強，必須認真思考和減輕那些最極端情況的影響。然而，在我們能夠做到這些之前，很多問題可能已經發生。

在未來10年里，人工智能將成為歷史上最強大的力量放大器。這就是為什么它將引發大規模的權力重新分配。它將成為人類進步的最大加速器，但也將為戰爭和事故、恐怖組織、專制政府、權力過度擴張的公司以及公然盜竊和故意破壞等危害行為提供助力。設想一個能夠輕松通過現代圖靈測試卻用于災難性目的的通用人工智能。先進的人工智能和合成生物學技術不僅能為那些致力于尋找新能源或研發改善生命的藥物的組織所用，也可能成為像特德·卡欽斯基這樣的恐怖分子的工具。

人工智能既極具價值，又充滿危險，因為它正是人性的最好與最壞方面的延伸。作為一種基于學習的技術，它能夠持續適應、不斷探索，生成全新的策略與見解，這些可能遠遠超出以往的人工智能的考慮范圍。無論是要求它提出切斷淡水供應的方法、讓股市崩潰、觸發核戰爭，還是設計出終極病毒，它都能做到。相較于設想的巨型回形針場景或奇異的科技惡魔，我更擔憂的是在未來10年內，人工智能將會放大哪些現有的力量。

如果未能遏制即將到來的技術浪潮，災難的降臨就是遲早的事。

阻止災難發生顯然是緊迫之事。災難越大，利害關系越大，對對策的需求也越大。如果災難的威脅變得過于嚴峻，那么政府可能會得出結論，即阻止災難的唯一方法是嚴格控制技術的各個方面。這將確保沒有任何東西逃過安全警戒線，沒有任何失控的人工智能或人造病毒能夠被制造、被泄漏，甚至被研究。    

技術已滲透到我們文明的方方面面，因此，監控技術就意味著監控一切。每個實驗室、工廠、服務器，每段新代碼，每串合成的DNA，每個企業和大學，每個隱匿在森林小屋中的生物黑客，每個龐大的匿名數據中心，無一例外。面對即將到來的技術浪潮所帶來的前所未有的復雜局面，為了遏制潛在的災難，我們必須采取前所未有的應對措施。這不僅要求對一切進行嚴密監控，還需要保留在必要時制止一切的能力。

一定會有人提出這樣的觀點：我們應該讓權力集中到極端程度，構建全景式的監控體系，對人類生活的方方面面做出細致安排，以確保大流行病或人工智能失控等情況永遠不會發生。許多國家會逐漸說服自己，真正實現這一目標的唯一途徑就是實施我們在上一章中所描述的那種全面監控，即由強大技術支持的全面控制。這無疑打開了通往反烏托邦世界的大門。事實上，面對潛在的災難，對某些人而言，反烏托邦的結果可能會被視為一種解脫。

這些提議目前仍處于邊緣地位，特別是在西方社會。然而，在我看來，它們受到更廣泛的關注只是時間問題。即將到來的技術浪潮為反烏托邦式的統治提供了動機和手段，即在穩步增加的數據搜集和強制措施的支持下，形成一種自我強化的“人工智能專政”。

只要出現巨大的災難，人們就會呼吁建立極端的監控設施，以防未來再次發生類似事件。當技術出現問題時，技術限制和打壓措施會在多久后出現呢？在可能面臨災難的壓力下，誰又能有效地反對這些措施呢？監控式的反烏托邦機制會在多久后生根發芽，并進一步擴散和深化呢？隨著局部的技術失敗案例不斷累積，加強控制的呼聲也會越來越高。而隨著控制的加強，權力的制衡往往會被削弱，這將改變總體的社會趨勢，為進一步的權力干預鋪平道路。最終，社會將逐漸進入技術反烏托邦狀態。

自由與安全之間的權衡是一個古老的兩難困境。

我認為，一個完全透明且基于精細監控的壓制性社會，不過是另一種失敗形態。在這種情境下，即將到來的技術浪潮不會將人類引向繁榮，而是引向繁榮的反面。每一項強制性的、帶有偏見和不公平的技術應用都將被肆意放大。人們來之不易的權利和自由將被剝奪，而對許多國家來說，國家自決權也難免會受到損害。這次被放大的不再是國家的脆弱性，而是徹頭徹尾的壓迫。如果我們避免災難的方式是建立這樣的反烏托邦社會，那么這根本不是一個可以接受的方式。   

災難威脅和對安全的渴望將持續推動人們朝著反烏托邦方向前進。每一場技術浪潮都曾為社會秩序帶來系統性的沖擊。不過迄今為止，以往的技術浪潮尚未帶來廣泛且系統性的全球災難風險。但即將到來的技術浪潮與此前截然不同，這可能促使人類采取一種反烏托邦式的應對方案。

有人認為我們已深陷壓制性局面，我想說，與未來可能的景象相比，我們目前的處境根本不算什么。我們當前的路徑并非唯一的反烏托邦路徑，還有諸多其他潛在的反烏托邦路徑。然而，目前這一路徑似乎與即將到來的技術浪潮及其伴隨的政治挑戰和潛在的災難性后果直接相關。這并非一個抽象的思想實驗。我們必須直面以下問題：技術背后的推動力強大而不可阻擋，人類是否應該暫緩技術的飛速發展？我們是否應該拒絕技術的無節制發展？盡管這種想法看起來不太可能實現，但現在，我們是否應該給技術按下一個暫停鍵？

數百年來，技術的持續發展似乎使社會得以掙脫歷史規律的桎梏。然而，認為歷史的動態演變已經停滯不前是一種誤解。21世紀的文明固然與瑪雅文明大相徑庭，但龐大且渴望權力的上層建筑、眾多的人口、能源供應以及文明發展的硬性限制依然存在；它們所帶來的影響只是被暫時抑制了。

假設存在一種情況，即技術的驅動力能夠被有效遏制。那么，在這種情況下，我們能否全面暫停技術的發展？答案是否定的，絕對不可能。   

現代文明只有依靠持續的技術發展才能兌現其承諾。社會體系存在的前提是能夠確保長期的經濟增長，這依賴于新技術的發明和推廣。無論是我們期望以更低的成本享受更多的消費，在不增加稅收負擔的情況下獲得更多的公共服務，還是我們認為可以在不斷提高生活質量的同時無限制地破壞環境，國家與公民之間的契約（可以說是最重要的契約）也都建立在技術的基礎之上。

正如我們所討論過的，開發新技術是應對地球面臨的重大挑戰的關鍵所在。沒有新技術的支持，我們將難以克服這些挑戰。人力和物質資源的消耗成本不容忽視。我們目前所擁有的技術組合雖然在很多方面令人驚嘆，但并沒有明顯的跡象表明它們能夠可持續地以發達國家的標準支持超過80億的人口。這一點可能對一些人來說難以接受，但值得強調的是，在不引入新技術的情況下，解決氣候變化問題，或維持不斷提高的生活和醫療水平，或改善教育和職業機會，都是不可能實現的。

假設暫停技術發展是可能的，那么從某種意義上說，這將意味著一種安全保障。首先，它將限制新的災難性風險的出現。然而，這并不意味著我們能成功避開反烏托邦的局面。相反，隨著21世紀的社會日益顯現出脆弱性和不可持續性，技術的暫停可能會引發另一種形式的反烏托邦。如果沒有新技術的支持，一切遲早都會陷入停滯，甚至可能徹底崩潰。

鑒于人口和資源限制，僅僅為了維持現有生活水平，我們可能就需要將全球生產率提高2~3倍。然而，對世界上大部分人來說，僅僅維持現有生活水平仍然是不可接受的。許多國家的兒童死亡率比發達國家要高出12倍。當然，即使只是保持當前的生活水平，也不僅僅意味著人口和資源方面的壓力，還將加劇氣候緊急狀況。

請注意：停滯不前本身就是災難。

這不僅關乎餐廳勞動力短缺或電池價格昂貴的問題。這意味著現代生活的方方面面都存在崩潰的風險，從而帶來一系列深遠影響，并與眾多本已棘手的問題相互交織。我認為，人們往往低估了我們的生活方式在多大程度上依賴于持續的技術進步。歷史的先例—幾乎是每個過往文明的常態，都清晰地揭示了這一點。在最好的情況下，停滯不前預示著未來的衰敗；但更可能的情況是，它將導致令人擔憂的崩潰。有些人可能會說，停滯意味著第三種極端情況，使我們面對一個巨大的三難困境。在我看來，這個觀點并不成立。首先，到目前為止，這種路徑是最不可能的選擇。其次，即使這種情況真的發生了，它也只是以另一種形式呈現了前面所提到的困境。暫停技術發展并非解決之道；其只會導向另一種形態的反烏托邦，另一種形式的災難。   

即使存在可能性，試圖阻止即將到來的技術浪潮的想法也并不受歡迎。維持現有生活水平已然離不開技術，更不用說提高生活水平了。同時，防止社會崩潰也需要技術的支持。對技術說“不”的代價可能關乎人類的生死存亡。然而，無論我們以何種態度面對技術，其都伴隨著重大風險和潛在負面效應。

這就是我們面臨的巨大困境。

從核時代和數字時代開始，這一困境逐漸凸顯。1955 年，在生命的最后階段，數學家約翰·馮·諾依曼撰寫了一篇名為《我們能在技術中幸存嗎？》的論文。他的觀點與本書的主旨不謀而合，他認為全球社會“深陷迅速成熟的危機之中—這場危機的根源在于技術進步所必需的環境已經變得過于狹隘且缺乏有序組織”。在論文的結尾部分，馮·諾依曼將生存視為“一種可能性”，仿佛他正身處自己設計的計算機所造成的“蘑菇云” 陰霾之下。“技術性風險沒有任何'解藥’，”他提到，“任何試圖為當前爆炸式的進步尋找自動安全通道的嘗試都將是徒勞的。”

在技術構建方面，我并非唯一一個既想享受技術帶來的諸多益處，又想消除相關風險的人。有些人會嘲笑這種野心，認為它是一種典型的硅谷式狂妄自大。但是我始終堅信技術仍是改善我們世界和生活的主要驅動力。盡管技術帶來了諸多危害、缺陷和意外后果，但總體而言，它的貢獻迄今為止仍是較大的。畢竟，即便是技術的最嚴厲批評者，也不會拒絕使用熱水壺、服用阿司匹林、觀看電視和乘坐地鐵。對于每一支槍，技術提供了一劑救命的青霉素；對于每一條錯誤信息，技術也協助揭露真相。   

然而，不知為何，自馮·諾依曼的時代以來，我和許多人開始對技術發展的長期軌跡感到憂慮。我擔心的是，技術呈現出了一種其凈收益可能會急劇轉變為負值的可能性，而我們卻無法阻止這種轉變，我們陷入了一種無能為力的困境。

沒有人能確切預知這一切將如何展開。由于該困境涉及的因素廣泛，其具體結果的規模和性質都難以預測和估量。然而，我堅信，在未來幾十年里，社會繁榮、監視與災難威脅之間的權衡狀態將變得更加尖銳。即使是健康狀況最好的國家體系，也難以應對這樣的困境。

這是人類作為“技術人”所面臨的終極挑戰。

如果這本書對技術的態度有些自相矛盾，顯得部分積極，部分消極，那是因為這種看似矛盾的觀點恰恰是對我們當前處境最為誠實的評估。我們的曾祖父母若是在世，定會對我們今日世界的富足感到驚嘆，但他們也會對這個世界的脆弱性與危險性感到震驚。隨著新技術浪潮的到來，我們正面臨著一個真正的威脅，面臨一系列潛在的災難性后果—這樣的風險甚至關乎人類的生死存亡。技術同時代表了人類最好和最壞的方面。任何片面的觀點都不足以被稱為對技術的客觀審視。唯一合理的技術認識論便是同時認識到技術的正負兩面。

在過去的10 年里，這一困境越發凸顯，擺脫它的任務也變得更加緊迫。審視現實世界，技術遏制似乎難以實現。然而，考慮到那些可能的后果，另一件事情也同樣顯而易見：為了所有人的利益，我們必須讓遏制成為可能。