當 AI 開始「入侵」人類

【CSDN 編者按】當下，我們處在人工智慧時代，每個人的生活開始離不開各種機器，從虛擬的語音助手到智能家居以及逐漸成熟的智能工業機器人，人工智慧已然「入侵」到社會生活的很多領域。我不禁想，未來AI入侵世界會怎樣。

作者 | Bruce Schneier

譯者| 彎月 責編 | 歐陽姝黎

出品 | CSDN（ID：CSDNnews）

閒來無事，我們來幻想一下被AI入侵的世界會是什麼樣子。

駭客技術有著悠久的歷史。人類富有創造力，善於解決問題。我們利用漏洞、操控系統，並以此掠奪更大的影響力、權利和財富。迄今為止，駭客行為僅限於人類活動，然而，這種狀況不會維持太久。

我認為，終有一天人工智慧將發現人類社會、經濟和政治系統中的漏洞，並利用這些漏洞迅速、大規模、大範圍地入侵人類。在入侵人類之後，AI系統還將入侵其他AI系統，而屆時的人類也將間接受害。

下載自視覺中國

可能有些人會覺得我的這番言辭略顯誇張，但實際上這些都不是遙不可及的科幻小說。我想說的並不是AI的「奇點」（所謂的「奇點」指的是AI的學習反饋回路變得足夠快，並超越人類的理解力）。我想說的也不是智能機器人，或者AI的邪惡意圖。實際上，大多數的駭客行為甚至都不需要AI研究上的重大突破。這些入侵行為已經發生了。隨著AI變得越來越龐雜，我們常常對其的某些行為感到困惑。

人工智慧無法像人類一樣解決問題。它們關註的解決方案類型比我們更多。它們甚至會觸碰一些我們從未考慮過的龐雜方案。這就會引發所謂的可解釋性問題。現代AI系統本質上形同一個黑匣子。數據從一端輸入，而答案從另一端輸出。即使是找個程序員來查看代碼，可能也無法理解這些系統是如何得出這樣結論的。

2015年，一個研究小組通過70萬個人收集到了大量的健康與醫療數據，並將這些數據輸入到了一個名為Deep Patient的AI系統，他們想測試一下該系統是否可以預測疾病。結果發現，該系統確實可以預測疾病，但是它沒有提供診斷依據的解釋，研究人員也不明白為何會得出這些結論。醫生可以選擇相信或無視計算機給出的結果，但這種信任是盲目的。

研究人員也在嘗試研發可自我解釋的AI，但似乎AI的能力與可解釋性之間的關係就像魚與熊掌，不可兼得。解釋是人類擁有的一種認知的快速表達，適合人類做決策的方式。強迫AI做出解釋就有可能變成一種附加的約束，影響其決策質量。至少就目前而言，人工智慧的透明度越來越低，且越來越難以解釋。

另外，AI可以完成有獎勵的駭客活動。由於AI不會按照人類的方式解決問題，所以它們總是會在不經意期間發現人類從未想到過的解決方案，有些甚至會顛覆系統的意圖。這是因為AI並不會考慮那些對於人類來說理所當然的深層含義、上下文、規范和價值觀。AI雖然能夠在這種有獎勵的駭客活動中達成目標，但這絕不是AI設計者的希望和意圖。

以模擬足球比賽為例，人工智慧發現，如果將球踢到界外，守門員就不得不將球扔進去，而此刻球門就沒有人防守了。還有，在另一項模擬中，AI發現它根本不用帶著球全場跑，它只需要將自己身高拔到足夠長，然後一跤摔下去，就可以橫跨整個場地，跌倒在底線前了。再或者，有一臺掃地機器人沒有學會不撞到東西，而是學會了向後行駛，因為後方沒有傳感器告訴它撞到了東西。如果規則中存在問題、不一致性或漏洞，並且這些屬性可以得出一個符合規則定義且可接受的解決方案，則AI就會找到這些「駭客行為」。

古希臘神話中有一則著名的點石成金的故事。當酒神狄俄倪索斯許諾彌達斯滿足他一個願望時，彌達斯表示希望擁有點石成金的本領，凡是他觸碰到的東西都會立刻變成金子。但很快他就發現，他觸碰到的食物、飲料，甚至是他的女兒都變成了金子，而他自己也將被活活餓死。套用到AI系統中，這就是一個規范問題：彌達斯將錯誤的目標編寫到了系統中。

AI就像鎮尼（Genie，伊斯蘭教對於超自然存在的統稱，包括天使、精靈、魔鬼和靈魂等）一樣，許願時，你必須非常謹慎地選擇自己的措辭，有時甚至需要咬文嚼字。我們非常清楚這一點，但我們沒有辦法做到比鎮尼更聰明。無論你想要什麼，AI始終能夠按照出人意料的方式滿足你的願望。AI總是會「曲解」你的願望。AI系統的目標和願望都是按照人類的語言和思想規定的。我們永遠無法描述所有選項，也無法羅列所有的警告、例外和條款。我們指定的任何目標都不可能是完備的。

盡管人類一般都可以理解上下文，並按照善意行事，但我們沒辦法為AI指定一個完全的目標，而AI也無法完全理解上下文。

2015年，福斯被曝在排放控制測試中作弊。雖然該事件是人類工程師通過在常規計算機上編寫的程序來作弊，與AI無關，但這個例子可以說明問題所在。他們對引擎進行了編程，在檢測到進行排放控制測試時表現出不同的行為。而且他們的作弊行為持續了很多年，都沒有被發現。

如果我要求你設計一款車輛發動機的控制軟體，最大化性能，同時仍然可以通過排放控制測試，那麼你不可能「無意」地設計出一款作弊軟體。但對於AI而言，情況卻並非如此。它對目標的理解可能會「超出常規」，因為它沒有「常規」的概念。它不會明白福斯的解決方案會對他人造成損害，會破壞排放控制測試的目的，而且還違反了法律。除非程序員特意告訴AI不要專門為測試設定目標，否則AI很有可能會提出這種方案。屆時程序員會感到滿意，會計師也會欣喜若狂。且由於可解釋性的問題，沒有人會意識到AI採用了這樣的方案。雖然，我們會從福斯的事件中吸取教訓，明確設定目標，避免發生這種特殊情況。但AI還有多少不為我們所知的駭客行為呢？

AI的駭客行為究竟距離我們有多遠？AI發明新駭客行為的可能性在很大程度上取決於建模的特定系統。為了讓AI優化問題，讓它提出一個全新的解決方案，所有的規則都必須按照計算機能夠理解的方式表達出來。我們需要建立目標（也就是AI的目標功能），而且AI需要一些反饋，了解效果如何，才能不斷改進。

有時，這些工作很簡單。比如在國際象棋中，規則、目標和反饋都可以非常準確地制定：贏或者輸。除此之外，沒有其他上下文添亂。這就是為什麼目前大多數目標和獎勵駭客行為的範例都來自模擬環境的原因。模擬環境都是人為建造出來的，而且有著重重約束，而且所有的規則都為AI指明了。大多數其他系統固有的歧義最終都會歸結到如何防禦AI駭客行為的安全問題上。

有趣的是規范明確且幾乎完全由數字組成的系統。想一想稅務系統：我們有一系列的算法，且有各種輸入和輸出。還有金融系統，從算法的角度來看，這些系統都相對比較容易處理。

我們可以想像，在AI上加載全世界所有的法律和法規，實時的全球財務資訊，以及相幹的其他資訊，然後給它指定一個「最大利潤」的目標，結果會怎樣？我猜，AI一定會想出各種新穎的駭客行為。

但是，AI的進步是不延續的，且有違直覺。有些看似簡單的事情其實非常困難，而有些看起來很困難的事情實則很簡單。不到最後一刻突破，誰都不知道。

如果AI開始入侵人類，那麼一切都將改變。它們不會受到與人類一樣的約束或限制。它們的入侵行為的速度、規模和範圍都會超乎我們的想像。例如，文檔生成AI機器人將通過社交媒體，在一夜之間復制出幾百萬個。它們能夠24小時在線處理問題，發送數十億條消息，將人類實際的在線討論都沖掉。我們將看到機器人與機器人就某個政治問題展開激烈的討論。它們會改變我們對於正常行為和他人想法的認知。

AI系統範圍的擴大也會導致AI駭客行為的危險增大。如今AI已經能夠做出有關人類生活的重要決定，以前我們認為這些決定是人類特有的權利，比如假釋、獲得銀行貸款、考大學或找工作。隨著AI系統變得越來越強大，人類社會將放棄越來越多重要的決策權。而這些系統的駭客行為也將更具破壞性。

如果將整個美國的稅法都輸入到AI，結果會怎樣？或者，對於跨國公司而言，將整個世界的稅法都輸入到AI？它會不會發現你在巴拿馬註冊船舶是非常聰明的行為？它能夠發現多少我們尚不知道的漏洞？幾百個？幾千個？誰知道呢？

雖然我們的社會系統可以對付駭客行為，但是這些系統都是針對人類駭客開發的，其前提都是人類的速度、規模和範圍。美國國稅局連幾十個新發現的稅收漏洞都應付不了，更不用說幾千個了。如果AI能夠發現意想不到但合法的金融系統駭客行為，那麼它就能在瞬間顛覆我們的市場。

雖然駭客技術可能會被人濫用，但同時這些技術也可以成為修補和保護系統的力量。因此，從長遠來看，AI駭客行為更有可能成為防禦系統，因為我們的軟體、稅法、財務系統等都可以在生效前打補丁。當然，過渡期是非常危險的，因為我們不得不破壞所有的舊規則。所以說，我們的解決方案必須具有彈性。

我們需要建立彈性的管制結構，能夠快速有效地應對駭客行為。如果更新稅法需要數年時間，或者出於某種政治原因，而無法修補某個根深蒂固的法規，那麼更新本身就毫無意義。這是現代管制的難題，而且這個問題其實與建立資訊時代快速且龐雜的管制系統並無太大區別。

我希望描述出人類與計算機系統之間的相互作用，以及當計算機開始扮演起人的角色時，帶來的固有風險。與AI的駭客行為相比，這是一個更普遍的問題。這也是技術人員和未來主義者關註的問題。雖然通過技術引領我們邁向未來很容易，但是我們必須慎重思考技術在未來整個社會中承擔的角色。

在這些AI全面聯網，並入侵我們的世界之前，我們必須弄清楚這個問題。

原文鏈接：https://www.schneier.com/blog/archives/2021/04/when-ais-start-hacking.html

60+專家，13個技術領域，CSDN 《IT 人才成長路線圖》重磅來襲！

直接掃碼或微信搜索「CSDN」公眾號，後臺回復關鍵字「路線圖」，即可獲取完整路線圖！

☞ RISC-V 能打 50 年！不必期待 RISC-VI —— 對話 RISC-V CTO Mark Himelstein ☞ Java 開發者數量暴漲、C# 超越 PHP，揭曉全球開發最新趨勢！ ☞喬布斯曾帶頭反對 iPhone 第三方 App！由蘋果反壟斷案披露的那些往事