人工智能與倫理

倫理與決策機器的黎明

2018年3月18日晚上10點左右，伊萊恩·赫茨伯格在亞利桑那州坦佩市的一條街道上騎著自行車，被一輛自動駕駛的汽車撞死。盡管有人坐在方向盤后，但一個自主駕駛系統——人工智能完全控制著駕駛。與其他涉及人與人工智能技術交互的事件一樣，這一事件也引發了一系列倫理和原始法律問題。系統的程序員有什么道德義務來阻止他們的創造奪走人類的生命？誰對赫茨伯格的死負責？駕駛座上的那個人？公司在測試汽車的性能？人工智能系統的設計者，甚至是車載感覺設備的制造商？

“人工智能”是指能夠從環境中獲得提示，并根據這些輸入來解決問題、評估風險、做出預測和采取行動的系統。在強大計算機和大數據出現之前的時代，這種系統是由人類編程的，遵循人類發明的規則，但技術的進步導致了新方法的發展。其中之一是機器學習，是人工智能最活躍的領域，統計方法允許系統從數據中“學習”并做出決策，而不需要明確編程。這樣的系統將一個算法或一系列解決問題的步驟與一個知識庫或一個算法用來構建世界模型的信息流配對。

對這些進展的倫理關注集中在一個極端，即在致命的軍用無人機中使用人工智能，或人工智能可能摧毀全球金融系統的風險。更顯示的問題是，人工智能引發了人們對失業的擔憂，因為無人駕駛可能會取代數百萬卡車司機，并使Lyft和Uber過時。除了這些更大的社會和經濟考慮之外，數據科學家們還真正關注偏見、技術的倫理實施以及人工智能系統與人類之間互動的屬性，如果這些系統能夠在最簡單的應用中恰當而公平地地部署的。

想想一個看似平淡無奇的社會變革：機器已經被賦予了改變生活的能力，可以對人們做出日常的決定。人工智能可以收集和評估大量數據，這些數據有時超出了人的分析能力，從而使人工智能能夠提出招聘建議，在幾秒鐘內確定貸款申請人的信用度，并預測犯罪分子重新消失的可能性。

但是這樣的應用引發了令人不安的倫理問題，因為人工智能系統可以加強它們從現實數據中所學到的東西，甚至放大人們熟悉的風險，如種族或性別偏見。當遇到不熟悉的場景時，系統也會產生判斷錯誤。因為許多這樣的系統都是“黑匣子”，所以他們做出決定的原因不容易被人類訪問或理解，因此很難被質疑或探究。

例子很多。2014年，亞馬遜開發了一個招聘工具，用于識別其可能想要雇用的軟件工程師；該系統迅速開始歧視女性，因此于2017年放棄了它。2016年，ProPublica分析了一個商業開發的系統，該系統預測了罪犯再次犯罪的可能性，該系統旨在幫助法官做出更好的判決，但發現該系統對黑人有偏見。在過去的兩年中，依靠規則和培訓數據來操作的自動駕駛汽車在遇到不熟悉的感官反饋或輸入時，會導致致命的事故，而這些反饋或輸入的引導系統無法解釋。私人商業開發人員通常拒絕讓他們的代碼供審查，因為該軟件被視為專有知識產權，這是另一種非透明的法律形式，而不是技術形式。

與此同時，技術的進步本身并不能解決人工智能核心的根本問題：即使是一個經過深思熟慮的算法也必須根據一個有缺陷、不完美、不可預測、特殊的現實世界的輸入做出決定。

計算機科學家比其他人更早地意識到，在設計了一個系統之后，工程技術不能總是在事后解決這些問題。盡管在數據隱私等領域取得了顯著進展，并清楚了解算法公平的局限性，但在部署系統之前，在許多情況下必須考慮道德問題的認識已導致將哲學博士后研究員和研究生教授的倫理學課程融入哈佛大學的許多計算機科學課程中。關于人工智能對世界的社會影響的廣泛討論正在哈佛全校以及由哈佛法學院Berkman Klein中心和MIT的媒體實驗室組織的“人工智能的倫理和治理體系論壇”的數據科學家中進行。這種對倫理的強化關注源于一位計算機科學系教授。

從溝通到合作——關于倫理

“幾年前，”自然科學希金斯講席教授芭芭拉·格羅斯說，“我在微軟拜訪朋友——開發了計算機視覺系統的伙計——我們開車去某個地方散步。在我們前面的高速公路上有一輛卡車，后面有一個廁所，還有一輛自行車連在廁所上。‘我的系統將如何處理這件事？’這位伙計想知道。‘它知道如何應對嗎？’”答案可能不是。這樣的場景不太可能是它的“經驗”的一部分——由人類費力標記的大量圖像集合，構成了系統的訓練數據。

芭芭拉·格羅斯教授

當前人工智能系統的脆弱性與人類智能形成了鮮明的對比，這就是魯棒性——能夠在一個環境中學習某些東西，并迅速將其應用到另一個環境中。即使計算機能夠區分自行車和卡車，它也很難識別它們是如何連接在一起，以每小時60英里的速度橫著自行車沿著高速公路行駛的。（利用這一輸入漏洞是“人工智能和對抗性攻擊”的主題。）換句話說，人工智能缺乏常識和推理能力，即使它也能做出令人難以置信的發現，例如能夠在復雜的生物網絡中檢測到三階或更高階交互（當三個或更多變量需要交互以形成一種效果時）。格羅斯總結道：“別再想著機器人會取代我們。我們應該更擔心人們認為智能的粗笨系統，而不是那些知道他們不足的智能系統。”

格羅斯曾在康奈爾大學學習數學，然后在伯克利大學學習計算機科學。自1973年起，她就一直致力于人工智能領域的問題研究，當時她被SRI國際人工智能中心聘為研究數學家。她被認為是人工智能子領域的架構師，致力于計算機如何生成和解釋人類的語言和文本。她在2017年獲得了計算語言學協會終身成就獎，并能迅速解決語言能力系統（如Alexa、Siri和Google）的一系列問題。例如，這些系統知道最近的急診室在哪里，但不知道引導腳踝骨折的人去那里可能有用。

因為她在語言方面的人工智能工作早于自然語言處理的數據驅動方法，格羅斯開發了一種基于模型的方法，以計算機能夠理解的方式來表示人類的話語。事實證明，這對該領域尤其有價值，因為它使她深刻地反思了人機交互的本質，后來，在想象未來計算機和人類可能一起工作的過程中，提出了設計用于與人一起工作的協同人工智能系統的理論模型。

她對語篇計算模型的研究遠遠超出了語法規則的編程。理解說話人的意圖，以確定對話的結構，從而解讀人類語言中的意義，是她首創的一個關鍵策略。她指出，真正的演講充滿了離題和焦點轉移。她引用了一個值得關注的例子：她記錄了一個人試圖通過電傳打字機告訴另一個人如何組裝空氣壓縮機時的自發對話。（在談話中，一個發言者用代詞“it”指的是一個半小時沒有被提及的物體，兩人都能準確理解它的意思。）她補充說，語調也是理解其他模棱兩可的短語的關鍵。“你是一個真正的王子”可能是字面上的意思，也可能是諷刺，在這種方式下，計算機必須學會理解。

從這個跨學科的研究中，我們得出了有關人機交互本質的一般原則。格羅斯和博士生Ece Kamar（現在是微軟研究院的高級研究員）開發了一種“中斷管理”理論，例如，用于指導人與計算機之間的信息交換，以使這種交流取得指數形式的效率。在她漫長的職業生涯中，她開始相信人工智能的最佳應用是將這些系統與人類團隊集成在一起。她設想一個未來，將智能計算機的速度和統計能力與人類的天賦結合起來，而不是像國際象棋和圍棋中人工智能系統擊敗世界冠軍的描述那樣，將機器和人類對立起來，或者在工作場所里把人替代。這種協同方法可以說是人工智能系統的前沿。

當格羅斯開始在醫療保健領域試驗基于團隊的人工智能系統時，她和斯坦福的一名兒科醫生開始了一個項目，該項目協調了由許多人照顧的罕見疾病兒童，這些人包括醫學專家、家庭護理助理、物理治療師和課堂教師。她說，這種關注持續了數年，“我從未遇到過任何人能夠跟蹤其他15個人以及他們在這么長時期內所做的事情。”

格羅斯和博士生Ra Amir（現在是Technion的教員）首先分析了病患護理團隊的工作方式，并發展了團隊合作理論，指導人類成員與人工智能系統之間的互動，該系統旨在協調有關兒童護理的信息。正如她對語言所做的那樣，她從一般原則開始。“從理論上講，我們要做的是更好地理解如何在多成員團隊環境中共享信息，然后構建工具，首先是為家長，然后是為醫生。”

她和同事巴伊蘭大學教授薩里特·克勞斯提出的一個關鍵原則是，團隊成員不應承擔他們缺乏必要知識或能力來完成的任務。這是良好的團隊合作的一個特點，也是“了解其局限性的智能系統”的一個關鍵特征。“問題不僅在于人工智能，而且在于世界上有許多技術無法完成分配給它的工作”——在線客戶服務聊天機器人通過“無法理解你想要什么”的文本進行互動，這是一個很好的例子。她說，這些系統的設計可能會有所不同，因此第一次交互是與計算機輔助的人進行的；該人將與客戶建立關系，同時審查計算機明顯存在的誤解，同時該系統將使此人更快地提供答案。如果不尊重智能系統設計的基本原理，就會認為系統能夠完成其無法完成的任務，或以不適當的方式使用。

格羅斯的研究方法是高度跨學科的，由語言學、哲學、心理學、經濟學，甚至是人類學和社會學提供信息，這讓她思考了哪些學科最適合人工智能系統設計的教學。雖然她在1987年至2001年教授了一門人工智能入門課程，當時人工智能的應用基本上還是理論性的，但到她在2013年和2014年重新啟動這門課程時，世界已經發生了變化，當時正在部署完全可操作的人工智能系統。格羅斯意識到人工智能所帶來的倫理挑戰與良好的系統設計之間存在著一個教學機會。

這導致了格羅斯在哈佛大學計算機科學教學中最重要的貢獻之一：倫理學應該緊密結合到每門課程中。2015年秋季，她推出了一門新課程“智能系統設計與倫理挑戰”。到第二年，140多名學生申請，但只有25個名額，這使她有勇氣鼓勵她的計算機科學同事將一些倫理教學融入到課堂中。因為他們中的大多數人缺乏足夠的背景來從容地教授倫理學，她開始與沃爾科特哲學教授艾莉森·西蒙斯合作，后者是哲學系的系主任。他們一起與各自領域的同事合作，招募愿意在計算機科學課程中加入倫理模塊的計算機科學教授和哲學研究生來教授他們。

她說，這個“嵌入式倫理”計劃的目的是指導那些將構建未來人工智能系統的人如何識別和思考倫理問題（計算機科學現在是哈佛大學本科生中第二大集中學科；如果將統計學或應用數學等相關領域的學生包括在內，那么入學總人數將大大超過排名靠前的經濟學的學生。）。“這些倫理挑戰中的大多數都沒有單獨的正確答案，“她指出，”因此，正如[學生]學習基本的計算技能，我希望他們學習基本的倫理推理技能。”在2017年春，四門計算機科學課程包括一些倫理學習內容。那年秋季，共有五門，到了2018年春季，有8門，現在是18門。課程從系統編程到機器學習及其對公平和隱私的影響，到社交網絡和審查問題，到機器人和工作，以及人機交互。

對這些班級的學生進行的調查顯示，80%到90%的學生贊成這種嵌入式倫理教學，并希望更多。格羅斯說：“我的幻想是，每門計算機科學課程，可能只有一兩個例外，都會有一個倫理模塊，”這樣到畢業時，每一個參與者都會看到“倫理處處都重要，不僅在人工智能領域”，她和她的同事們希望學生們能夠學習到，為了解決人工智能中的偏見和對人的可解釋性的需求等問題，他們必須從一開始就考慮到倫理原則來設計系統。

成為波士頓司機

Bemis講席國際法教授和計算機科學教授Jonathan Zittrain是Berkman Klein互聯網和社會中心的主任，他一直從原始法律的角度努力實現這一目標。2018年春，他與麻省理工學院媒體實驗室主任伊藤共同教授了一門課程，探討人工智能技術應如何塑造，以符合公眾的利益。自動駕駛汽車提供了一個特別突出的案例研究，迫使學生面對復雜問題的本質，超越了決定傷害誰和拯救誰的“失控的電車問題”。

Zittrain解釋說：“一旦一輛車真正實現了自動駕駛，這意味著如果有人被通緝，在他進入自動駕駛車輛時，車門可能會鎖上，汽車只需把他們送到最近的警察局。或者如果車上有人宣稱有緊急情況怎么辦？這輛車能以每小時70英里的速度在城市街道上行駛到醫院，而其他的車都像紅海一樣分開嗎？”

Zittrain班上的學生認為他們知道關于自動駕駛汽車的討論將如何展開。但當他提出一個非常簡單的問題——“司機應該能夠指示汽車每小時行駛80英里嗎？”——他們就面臨設計師的道德困境。如果可以，而汽車在那個速度下發生了事故，司機會負責嗎？或者汽車制造商對讓汽車加速負責？Zittrain指出：“人們一直想加速，但我們有一種內隱的舒適感，那就是知道我們對此幾乎無能為力。可以理解的最初前提是，對自動駕駛汽車，天哪，沒有司機，我們不能責怪像汽車這樣沒有生命的物體。這看起來似乎是一種責任的匱乏”——而事實上，是“責任過剩”。制造商、人工智能設計師、決策者和司機都可以被追究責任。

Zittrain指出，如果車輛的人工智能系統在“學習”道路經驗的過程中動態地改變其行為，情況就會變得更加復雜。“如果它在波士頓開得足夠多，它可能會成為波士頓的司機！”這適用于許多學習系統，而法律解決方案仍然是未知的。他建議，也許，如果一個人工智能設計師或其他貢獻者建立了一個學習系統，在這個系統中，行為不可能總是被預測到的，那么在這種不確定性下操作會有一個代價標簽。

“這是一個跨學科研究的紐帶，”Zittrain繼續說。在Berkman Klein中心和麻省理工學院的媒體實驗室，他和他的同事創建了一個名為“組裝”的小組，讓來自外部公司的軟件開發人員在休假時與學生們一起工作，并在幾個月的時間里相互合作，研究人工智能和其他數據科學中的一些難題。“嵌入式倫理教學是努力為來自大學的學生創造機會，讓他們彼此相遇，并將他們在各自學校學習的工具帶到團隊中承擔這類工作的一部分。”

“我認為這是芭芭拉（格羅斯）的教學和研究在這里如此有影響力的原因之一。所以是永恒的。她的教學不是如何干預計算機系統或軟件來修復它。它實際上是在更廣泛的層面上思考人們和技術應該如何相互作用。”它們能負責任嗎？他們能被理解嗎？它們公平嗎？

系統偏見與社會工程

在哈佛數據科學大會（HDSC）開幕式上，計算機科學柯羅尼教授David Parkes概述了哈佛數據科學研究的指導原則：它應該解決倫理問題，包括審計隱私；它不應使現有的偏見永久存在；它應該是透明的。但是，要創建包含這些原則的學習人工智能系統是很困難的。當數千個或更多的變量發揮作用時，系統復雜性可以使人們幾乎不可能真正理解，而且學習系統所依賴的數據集中的偏差很容易得到加強。

有很多原因可以解釋為什么有人想“揭開人工智能系統的蓋子看看”來弄清楚它是如何做出一個特定的決定的：評估輸出偏差的原因；在醫院里出院前進行安全檢查；或者在涉及自動駕駛車輛的事故發生后確定責任。

你能快速瀏覽這個簡單的決策樹嗎？輸入變量包括：ICML（國際機器學習會議）；2017年；澳大利亞；袋鼠；和陽光明媚。假設你做得正確，想象一下，試著用語言解釋你的決定是如何達成的。如果有一百萬個變量呢？

可能不太明顯的是，這樣的調查有多困難和復雜。計算機科學助理教授Finale Doshi-Velez在屏幕上展示了一個相對簡單的決策樹，四層深，涉及到根據五個輸入變量來回答問題（見上面一個稍微復雜的例子）。如果執行正確，最后的指令是舉起你的左手。一些與會者能夠跟進。然后她展示了一個更復雜的決策樹，大概有25層深，其中有五個新參數決定了通過樹到正確答案的路徑，這對于計算機來說是一個簡單的任務。但當她問聽眾中是否有人能用語言描述他們為什么能得到答案時，沒有人回答。即使強調了正確的決策路徑，用外行的術語描述復雜的交互輸入對結果的影響也是非常困難的。這只適用于簡單的模型，如決策樹，而不是具有數百萬參數的現代深層架構。開發技術，以實現從任意模型中提取解釋——可擴展系統具有任意數量的變量、任務和輸出——這是她的實驗室的研究課題。

偏見帶來了一系列不同的問題。在HDSC討論算法公平性的過程中，計算機科學的McKay講席教授辛西婭·德沃克解釋說，當有不同的人群（例如，種族、宗教或人種不同）時，一種確定貸款資格的算法應該以同樣的方式對待每一組人。但是在機器學習系統中，算法本身（解決特定問題的逐步過程）僅構成系統的一部分。另一部分是數據。在進行自動貸款決策的人工智能系統中，算法組件對每個組都可以是無偏的和完全公平的，但是在算法從數據中學習之后，總體結果可能不是。德沃克解釋道：“算法無法獲取基本事實”（計算機行話是Veritas）。如果用于作出決策的數據存在偏差，則決策本身可能存在偏差。

有辦法解決這個問題。一個是非常仔細地選擇申請人的屬性允許算法考慮（郵政編碼，作為眾所周知的種族指標，經常被刪除）。但是偏倚有一種方式可以通過與算法使用的其他變量（如姓氏和地理人口普查數據）的相關性而回歸。

德沃克說，對群體的偏見通常可以通過智能算法設計來解決，但由于算法決策的一個基本特征，確保對個體的公平性要困難得多。任何這樣的決定都有效地劃出了一條線，正如德沃克指出的那樣，在這條線附近，總會有兩個來自不同群體的個體，每邊一個，在幾乎所有方面都非常相似。但只有一個能得到貸款。

在某些情況下，通過系統設計糾正偏差可能是一種有缺陷的方法。考慮一個由計算機科學McKay講席教授陳一玲教授和2015屆研究生胡麗莉設計的招聘系統，其試圖消除對非洲裔美國人（歷史上是一個弱勢群體）的招聘偏見。正如胡所說，“算法是純粹由優化驅動的工具，可以繼承、內化、復制和加劇現有的不平等。假設我們有一個勞動力市場的不平等，沒有任何機器學習的幫助而持續存在，然后機器學習出現了，它學會了重新刻劃那些不平等。”他們的解決方案，利用經濟學和社會學的工具來理解勞動力市場的不平等，推動從計算機科學到跨學科、全系統的角度來思考算法的公平性。

陳在社會計算領域工作，這是一個數據科學領域，強調人類行為對算法輸入的影響。由于人類“自私自利、獨立、容易出錯且不可預測”，足以設計出一種算法，以確保在任何情況下都能保持公平，因此她開始考慮如何從招聘算法作為訓練數據的現實信息輸入中剔除偏差。

她和胡重點討論了在招聘中實施平權行動的問題。解決少數族裔群體所面臨的歷史劣勢的一個簡單的方法就是，在就業決策中支持該群體，而保持所有其他事情都是平等的（這本身可能對大多數人來說是不公平的，但在實現公平雇傭之前，這仍然被認為是可以接受的）。但陳和胡隨后考慮了人的因素。假設許多少數族裔群體的成員不上大學，理由是“這很昂貴，而且由于歧視，即使我獲得了學位，我獲得工作的機會仍然很低。”同時，雇主可能認為“少數民族群體的人受教育程度較低，而且表現不好，因為他們不努力。”陳和胡的觀點是，即使少數群體成員不上大學的決定是合理的，基于現有的歷史不公平性，這一決定加強了雇主對該群體作為整體的先入為主的觀念。這種反饋效應的模式不僅很難打破，而且算法通過觀察過去成功雇傭的員工并將他們與大學學位聯系起來的數據模式，將強化這種觀念。

陳和胡提出的解決方案并非僅基于數學：而是基于社會工程，使用一種算法來改變事實真相。它代表了對抵消數據偏差困難性的認知。研究人員提出的建議是建立一個臨時勞動力市場。陳說，把它當作一個實習機會，每個求職者都必須參加兩年的實習，然后才能被雇傭到永久性的勞動力市場。進入實習池將受到一個簡單的“公平約束”，這一算法要求雇主從少數族裔群體和多數族裔群體中選擇具有代表性的實習生。然后，在實習結束時，從實習生庫中招聘的人員將僅基于績效數據，而不考慮團隊成員。陳解釋說，由于兩個群體在人口水平上具有同等的天賦，這兩個群體最終達到了公平。

胡解釋說：“這篇論文試圖反擊的是，在機器學習/人工智能社區中，人們仍然認為一切從根本上來說都是一個優化問題、預測問題或分類問題。當你這樣做的時候，如果你用一種標準的機器學習方式來對待它，你最終會加劇那些不平等。”

去年，胡是格羅斯人工智能和倫理學課程的教員（與哲學研究員杰弗里·貝倫茲共同授課）。她說，人們需要理解的是，“構建技術，以及我們實現它們的方式”的行為本身就是政治行為。它們不存在于真空中，作為而是作為工具使用，時好時壞。我認為這是一種特別幼稚的技術思維方式。”

無論這項技術是用來提供面部識別，從視頻中識別犯罪嫌疑人，還是針對不同學習風格的教育，或醫學建議，胡強調，“我們需要考慮的是，技術如何嵌入特定的價值觀和假設。意識到問題這是第一步：認識到這不是存在一些倫理問題和一些非倫理問題的情況，真正情況是，在我們設計的每一件事情中……方法的每一步總會有一些規范性的問題。”將這種意識融入到現有的課程中，對于確保“我們正在建設的世界，擁有無處不在的技術，它確實是我們想要生活的世界”至關重要。