阿什頓·卡特：為了在人工智慧領域擊敗中國，美國需要制定新的計劃

【文/美國《連線》雜誌總編輯尼古拉斯·湯普森】

2021年1月13日，我對前國防部長阿什頓·卡特（Ashton Carter）進行了一次視訊採訪，他目前在哈佛大學肯尼迪學院貝爾弗科學與國際事務中心（the Belfer Center for Science and International Affairs at the Harvard Kennedy School）擔任主任。這次採訪是《連線》雜誌「2021美國消費電子展」(CES)系列訪談的一部分，策劃這一系列訪談的目的在於為大家介紹從醫學、無人駕駛到國防科技等對未來趨勢有重大影響的技術領域的發展情況。我所問的問題有些是從觀眾們實時提出的諸多問題中選出的。為了便於讀者理解，本文所呈現的採訪稿已經過編輯。

美國《連線》（Wired）雜誌2021年1月17日刊發了該雜誌總編輯尼古拉斯·湯普森對哈佛大學肯尼迪學院貝爾弗科學與國際事務中心主任、美國前國防部長阿什頓·卡特的採訪記錄：《為了在人工智慧領域擊敗中國，美國需要制定新的計劃》

尼古拉斯·湯普森（總編輯）：您在政府部門和私營公司積累了35年非凡的工作經驗，作為一位在共和黨政府和民主黨政府都工作過的高級官員，您總是很清晰地指出我們這個時代最關鍵的問題，您不但為此提出了極具智慧的解決方案而且還向大家介紹了自己成熟的思考過程。

在擔任國防部長期間，您曾經非常明智地規定：在做出任何與擊斃敵人有關的決定時都必須有人參與其中（in every kill decision,a human would have to be involved）。因此，對於一個人工智慧武器系統來說，它是沒有權限向無人機下達攻擊指令的。不過在這方面，我還有一個疑問，防禦性武器系統是否可以由人工智慧來控制呢？也就是說，未來是否可能出現一種能夠比人更精確地識別來襲導彈、更精準地進行瞄準響應、更快速地下達發射命令的反導系統呢？攻擊性武器必須由人來操作，而在進行防禦時，是否也必須由人來操作呢？

阿什頓·卡特：從道德角度來說，防禦比進攻時的顧慮更少，這是毫無疑問的。順便提一下，尼古拉斯，你剛才說「由人來操作」，我認為這並不符合事實。這是絕對不可能的，而且很早以前人就已經不在武器系統的決策環裡面了（it’s not literally possible, and hasn’t been for quite some time, to have a human in the decision loop）。你的意思或者說我們實際上在談論的問題是：我們該如何確保人工智慧技術在應用時能夠受到道德判斷的干預。或者換一種說法：如果人工智慧把問題搞砸了，你該如何為自己辯解呢？當你站在法庭上，站在股東面前，站在記者面前，你該如何解釋「人工智慧把事情搞砸不應被視為人類的一種犯罪」呢？這是一個非常實際的問題。

如果你是一個採用了人工智慧技術的廣告商，那當然問題不大。一個從不買東西的人可能收到了你推送的廣告，或者一個經常購物的人沒有收到你的廣告，這些都不是很嚴重的問題。可是在涉及國家安全時，在軍事、法律或者醫療領域，人工智慧犯下錯誤就會造成很嚴重的後果。

在軍事領域，相較於防禦，進攻行為所擔負的責任更加重大。例如，發射核武器的決策就是嚴重依賴人類意志的，發射核武器的命令必須由美利堅合眾國總統親自下達。我曾擔任國防部長，但是我本人和我所有的部下都沒有按下核按鈕的權力。我們繞過總統自行決定使用核武器的可能性是不存在的，我們必須獲得總統的核武密碼才能發射。而且我自己也有一組核武密碼以證明我就是國防部長本人，畢竟發射核武器是最高層級的軍事行為。

當然，也有層級不是那麼高的軍事行為，比如攔截來襲導彈。如果反導系統犯了錯誤，它在美國沒有受到攻擊時向空中發射了一顆導彈，這顆導彈在空中爆炸了，導彈很貴，損失了很多錢，軍方會出醜，可問題不大，畢竟沒有死人。總統把實施這一軍事行為的權力給了我，而我把這個權力又給了美國北方司令部的洛裡·羅賓遜(Lori Robinson)將軍。她當然也可以把這個權力再下放給更低層級的軍官，因為這種軍事行為沒有發射核武器那麼事關重大。

此外，在發射核武和反導這兩者之間還有一個居中的層級，比如擊落民航客機，這也是一個後果非常嚴重的軍事行為。不過總統把這一權力下放給了國防部長，我在任期間每天都是肩負這一責任的。你也許不知道，此類事件曾多次發生。有時候是民航客機偏離了航線，有時候是無線電應答出了問題，有時候甚至一架飛機直接沖著國會大廈飛過來，有時候悲劇是難以避免的。如何應對，還要看具體情況。

我想我們今天談論的問題是觀眾們日常在使用大數據和人工智慧時都會遇到的，那就是——我們該如何讓技術行為也符合倫理道德標準？向人們進行說教是意義不大的，大家需要很實際的建議。所以我希望把這個問題進行簡化，也就是說：我們該怎麼做才能讓技術行為符合倫理道德標準？我要講的是具體的做法而不是原因，因為我們每個人都想做一個有道德的人。我們必須做一個有道德的人，否則我們的事業就會失敗，我們的名譽就會喪失。對於任何一個有良心的人來說，做不道德的事是會令其內心崩潰的。

尼古拉斯·湯普森（總編輯）：是的，我們應該好好討論一下您說的問題，不過首先我們還是先談一談您剛才提到的擊落民航客機的話題。當一架飛機向白宮或五角大樓飛去的時候，您作為國防部長會收到關於飛機時速、方向等資訊的報告。不過在未來，自動化的防空系統可能會比現在更加高效，它可以追蹤每一架飛機，對其信號進行分析以判斷該飛機是否應被視為恐怖威脅。您認為未來有一天是否會出現一種工作效率極高、極可信賴且工作原理可被人類理解的人工智慧系統能夠在無需高級軍官授權的情況下自動執行擊落飛機的任務呢？

阿什頓·卡特：我希望這一天最好不要到來。擔任國防部長時，我的工作日程表是排得滿滿的。要知道，我在夜裡12點還沒有睡。保密電話就在我旁邊，聯邦航空局、聯邦調查局和中央情報局都有人在電話線的那一邊待命，軍隊的指揮官們也在待命，大家的神經都是緊繃的。有時候留給我們採取行動的時間只有幾分鐘。幾分鐘時間還是有的，並不是幾個毫秒那麼危急。

不過也有另外一種情況，就是必須對局勢作出極為快速的反應，快到不容人類介入的程度。如果局勢要求我們作出如此快速的反應，我們又該如何確保道德因素能夠參與其中呢？答案就要在算法、數據集、武器系統設計過程以及設計標準中去尋找了，而且要確保最終拿出的武器系統在道德層面是站得住腳的。我們無法參與武器系統的分析決策，不過我們必須確保系統所採取的行動在道德上是站得住腳的。它未必完美，但必須在道德層面體現出其正當性。

該怎樣做到這一點呢？這就要靠算法了。機器學習算法是如何實現那些設計意圖的呢？這個問題是不太容易搞明白的。你需要把那些設計目標進行分解，你需要讓設計團隊認識到算法須滿足一定的設計標準，否則最終生產出來的武器系統是無法投入實際使用的。設計團隊要很嚴格地對數據集進行審查。數據集並不是越大越好，質量始終是第一位的。待一切都完成之後，你需要從頭到尾進行檢查，整個工作流程並非是全自動的，其中有些環節會涉及人工，而只要是人就會犯錯。在整個工作過程中，你要有一套設計協議和測試協議。飛行器的飛行軟體設計就是一個比較相似的例子。波音737MAX機型搞砸了，雖然不屬於人工智慧系統，但這個機型的飛行軟體設計也是非常龐雜的。根據設計，該軟體在飛機飛行時將發揮極為重要的作用，但軟體設計團隊還是把這個工作搞砸了。他們是怎麼搞砸的？該如何進行正確的設計？最典型的辦法就是在設計團隊A之外還要組建一個與之有競爭關係的設計團隊B，此外還要有專門的審查團隊對設計團隊的工作成果進行全面的測試。

採取這些措施並不能確保一定不出問題，不過它會讓人工智慧在應用時滿足道德標準。我們至少需要做到一點，那就是即便人工智慧會犯錯，我們也要確保自己在道德層面是無懈可擊的。這一點非常重要。作為美國的國防部長，我必須讓自己的行為符合道德標準。為了保護美國民眾的安全，有時我們會使用很暴力的手段，但暴力的使用也要符合道德標準。就人工智慧武器來說，如果你無法在武器實際運行時做到這一點，那麼你就要在設計時把它考慮進去。

無論如何，我們不能對記者說出這樣的話：「昨晚有人被炸死了，是誤炸，是自動化的武器系統進行的誤炸；我現在還無法告訴你具體原因，不過的確不是人的操作，而是機器進行的誤炸」。如果出現這樣的情況，我這個國防部長會被人們釘在十字架上的。實際上，從技術角度來說，避免出現這樣的情況還是可以操作的。你在算法、數據集、武器系統設計過程這幾個方面把好關，這樣出了問題時你就能在法官面前、在公眾面前、在記者面前拿出說得過去的理由。其實這種情況非常普遍，每天都在發生。如果車禍中死了人，肇事者就會對法官說：「發生這樣的車禍非常不幸，我並沒有酒駕，我也沒有超速，可事情還是發生了」。只要是機器就會發生故障，我們對這一點也都能接受，只有道德層面的錯誤是我們不能接受的。

尼古拉斯·湯普森（總編輯）：如果我沒理解錯的話，您的意思是，人工智慧和機器學習技術未來在軟體設計過程中是極為重要的；這些技術會更多地在防禦性而非進攻性武器系統中獲得應用；這些技術在戰場快速決策時極為關鍵；作為該技術的基礎，經人類研究得出的算法應該是可理解的，而且從法律角度來說也應該是可解釋的；此外，作為該技術基礎的數據集也應該是經過仔細審查並值得信任的。您大概是這樣一個意思對嗎？

阿什頓·卡特：是的。一個優秀的工程師在這個問題上會說，「不要只是空談道德原則，我們應該用技術把它加以落實」。你的上述說法很言簡意賅。

尼古拉斯·湯普森（總編輯）：下面我們聊一個更大的話題。您曾經指出，如果美國無所作為的話，那些專制國家就會通過人工智慧技術重塑我們這個世界的諸多規則。您認為在未來幾年裡美國在人工智慧政策方面有哪些很大、很危險的疏漏需要彌補呢？

阿什頓·卡特：曾有人問我，「互聯網會分裂嗎？」其實中國已經做出了選擇，中國已經公開宣稱他們要獨立自主，他們要活在由自己制定例則的體系裡，不過這種做法並不符合我們美國的價值觀。我們不會去改變他們，但我們也無需改變自己的價值觀。所以，其實沒什麼可爭的。就像剛才我們談論的話題，我們幹我們的。不過除了美中兩國，這個世界上還有好多其他國家。要知道，僅中國一個國家就相當於半個亞洲。如果亞洲的另一半以及歐洲國家等世界各國都能留在我們這個尊重法治的體系裡，那麼這個體系裡的公司就能夠繼續贏利，他們的合同就能得到執行，人員的自由流動、資訊的自由傳播、技術進步和社會公正等近來受到威脅的價值觀就能獲得有力維護。我們的體系仍然可以在世界上發揮榜樣的作用，世界各國仍然可以在我們的技術生態體系裡發展。