尋夢新聞LINE@每日推播熱門推薦文章，趣聞不漏接❤️
出品 | AI科技大本營（ID:rgznai100）
AI時代，如何保護大眾的隱私？以聯邦學習為代表的AI技術能否實現AI協作，提升模型精度的同時，實現數據隱私的保護？中國如何搶占人工智慧安全發展的制高點？下一個十年，人工智慧又將何去何從？
最近，在「2020北京智源大會」上，就上述AI發展所存在的問題，以下AI專家從不同角度進行了討論。
主持人： 唐傑， 清華大學教授、智源研究院學術副院長
劉知遠，清華大學副教授、智源學者
嘉賓
高文，中國工程院院士、智源研究院學術顧問委員會委員
張鈸，中國科學院院士、智源研究院學術顧問委員會主席
楊強，香港科技大學教授、微眾銀行CAIO
以下為論壇實錄，內容由AI科技大本營（ID:rgznai100）整理：
AI精度與隱私保護
唐傑：先從數據隱私之憂談起，提升模型精度是否一定要犧牲隱私保護？如安在提升模型精度的同時實現智能、精度以及隱私保護？
張鈸：人工智慧和隱私保護的關係，實際上是涉及技術和隱私保護的關係。一方面，個人的資訊不被誤用和濫用，這屬於人工智慧的制度問題。第二方面，我們怎麼利用技術手段來保護個人隱私，或者團體的隱私，包括數據安全等等。
高文：張老師已經說得很清楚了，隱私保護和技術本身的發展關聯性很強，如果隱私保護不出太多問題，不需要太多的技術來做（保護），如果隱私保護做得不好的話，就需要技術上更多的想一些辦法去提供保護。隱私保護本身其實是一個社會學范疇的問題，隨著圈子的擴大，隱私就越來越少了。隱私是相對的概念，在不同的圈子裡，隱私可能掌握的程度是不一樣的。
現在隱私保護比較急的是，一方面我們盡可能從技術方面能做一些貢獻，同時社會的倫理方面也要盡快立法，現在也有一些，但是我認為還不夠。凡是得到的數據沒有經過本人的認可，把進入入商業領域，這就是犯法，如果馬上就處罰，這可能就會好一點。
楊強：隱私的問題，一直就是人工智慧的一個短板，我們看到最近大火的深度學習，尤其是離不開大數據，大數據都是通過購買和聚合不同的數據源來獲得的，這或多或少會侵犯到用戶隱私，所以我們看到深度學習的精度，隨好康據量的增加會提高，同時對隱私的威脅也會增加。
近年也看到，歐洲提出GDPR，國內也有相幹的數據法規。一方面，可以看到這樣的隱私保護法確實為我們做人工智慧和大數據提供了很多不便的地方，但同時也是個激勵，來幫助我們發展下一代既能保護隱私，又能提高技術的方法。廣大的人工智慧研究者正在把聯邦學習，還有多方安全計算，還有差分隱私等等加以聚合，形成一整套新的AI算法。
劉知遠：針對數據隱私愈發愈烈的趨勢，接下來的技術突圍之道是什麼，以聯邦學習為代表的AI新技術，能否解決大數據AI協作與數據隱私保護之間的矛盾？這些技術的優勢與局限性有哪些？如何讓更多的人來參與到這些技術的創新中來，是通過開源，還是其他的激勵機制？
高文：技術是一方面，而且用什麼技術，都是可以探討的，我比較讚成的做法，百花齊放，做隱私保護技術的，要盡他們的所能去尋找最好的技術，讓隱私能夠得到最好的保護。
另外一方面是社會的誠信，現在如果你要想整個技術和社會能夠和諧的快速發展，誠信是非常重要的。我們已經進入了非常規范的發展時期，一方面是應該把個人隱私數據保護的技術發展好，同時還應該關註在我們的系統裡面，對數據本身的惡用，可能也能夠降低到一定的水平。
張鈸：我非常讚成剛才高老師說的一些觀點，我們必須問一個問題，為什麼要去保護隱私，這個目的必須要想清楚。從西方來講，他把隱私的問題作為一個價值觀提出來，認為這是絕對的，個人資訊，只要不經本人許可，任何情況下，其他人都無權收集、無權利用、無權傳播。這個看起來好像很有道理，但是我覺得技術發展到今天，這個看法是不全面的。
比如有一條街道，可能經常會發生盜竊，發生不安全問題，我們需要裝一個監控識別，來保護大家的利益，也保護個人的利益，這樣來防止不安全。按照西方的觀點，如果有一個用戶不讚成你裝，就不能裝。但是按照東方人的觀點來看，裝不裝照相頭，應該既從個人利益，也要從大眾利益來考慮問題，我們國家按照東方人的價值觀，覺得應該裝，這對於大家是安全的。
裝或者不裝，關鍵的問題就在於個人的資訊不要被濫用，只要保證了這一條，我覺得這樣就行了，這個問題在中國來講，就顯得比較簡單，在西方，就把這個問題變得非常龐雜。為什麼要保護隱私，這個問題想清楚了，很多問題就容易解決。
劉知遠：楊強老師本身作為聯邦學習代表方向的提出者，如何利用這些技術，協同大數據AI和隱私保護之間的矛盾，您有什麼觀點？
楊強：我來介紹一下聯邦學習的基本思想，其實這個技術的出現，是因為多種不同技術的聚合，一種是人工智慧，一種是多方安全計算，一種是加密技術，一種是大規模分布式計算。聯邦學習技術推廣到企業以後，假設有兩個公司想合作，數據可以是兩邊是在做一個決策樹，左邊的樹是在一個企業，右邊的樹是在另外一個企業，訓練的時候，大家也是通過加密技術，自己所有的那一部分的模型，在使用的時候，比如說新的數據來了，他們也需要通過加密，或者是交互的機制，來保證能夠得到資訊，並且能夠保護隱私，既能保證訓練時的用戶隱私，又能保證在inference時候的用戶隱私。
聯邦學習在各位同仁的推進下，推廣到很多的算法，比如說深度學習算法、邏輯回歸算法等等，有很多種現在大規模的算法，這個領域也是非常活躍的。從這個發展過程我們就可以看到，這個技術確實在近幾年，發展得非常快，to C和to B兩大領域都有所發展。
這裡要提到的一點，高文院士一直倡導的人工智慧技術需要開源，為什麼對於聯邦學習這種技術開源尤其重要呢？因為我們是需要多方協作的，協作的過程當中，每一個參與方都要保證拿到的這個軟體是沒有後門的，沒有秘密數據隱私的渠道，最好的方法就是讓大家公開，去檢查開源的模型，集大眾的力量來保證這個開源軟體是安全的，開源和聯邦學習是分不開的。
唐傑：您提到聯邦學習要進行數據加密後，傳遞這個模型，那如果假設有一方把惡意的數據傳遞過來怎麼辦？怎麼能保證在傳遞數據或者是傳遞模型的過程當中，不被惡意攻擊呢？
楊強：這也是現在聯邦學習的一個部分，叫對抗機制。某個參與方如果是惡意的，比如說他可以通過傳遞的加密參數去猜數據，同時也有可能是在數據裡面攙假，加一些惡意的機制，使得總的模型的朝著對他有益的方向發展。
有什麼辦法解決呢？一個是大家可以不用差分隱私，而用比較嚴格的同態加密辦法。第二，即使在差分隱私的情況下，噪音的加法可以用一種特別的機制來加，以至於對方是猜不透你個人所擁有的數據。所以這種破綻的發現，也激勵大家去發現新的算法，應該說是道高一尺，魔高一丈，永遠沒有結束的那一天。
唐傑：還有一個問題，高老師也提到了開源的重要性，也許開源是解決隱私之道的一個辦法，能在開源上多解釋下嗎？
高文：開源作為一種軟體，或者是作為一種這種創造新工具的方法，非常值得推崇。前些年，軟體從有複製開始，到現在完全開源了，開源以後並不是模型就沒有了，而是轉換了。現在發現，在人工智慧裡，經過開源，一些大公司也做得有聲有色。所以在商業模型解決以後，到底哪一種方法對技術發展最有效？其實我們還是看結果。
從人工智慧來說，開源肯定是所有方法裡面，大概效率最高的一種方法。
說到聯邦學習，既然是在做人工智慧，當然用開源的方法是比較有效的，這個邏輯關係非常簡單。我很讚成楊教授說的，任何的技術不可能一下把所有的問題都解決掉，不可能把所有的弱點都提前想明白，這和對攻式的發展是一樣的。也不用太擔心一開始這個技術被惡用了怎麼樣，能惡用，就一定能想出對付惡用的方法，這樣就會水漲船高的發展起來。
劉知遠：我們知道張院士的團隊開展了非常多的針對深度學習對抗攻擊方面的研究，能不能請張院士分享一下關於對抗攻擊在隱私保護這方面，可能存在的一些研究的課題，能分享一下您的看法嗎？
張鈸：談到隱私保護，有兩類性質的問題，一類就是如何正確、合理、公平的使用隱私的材料，這一點我是讚成必須靠個人和企業的自律來實行，也就是剛才高老師講的誠信。因為我們對個人資訊也好，或者私人擁有的數據也好，不能按照西方對隱私的定義，沒有得到對本人的允許就不能用。
在這方面，還是回到剛才的問題，我們為什麼要保護隱私？就是防止利用這些去傷害集體和個人的利益，這是一方面的問題，這個關係是非常龐雜的，你可以用得很嚴，也可以用得很松，我們在發展的過程中，我還是讚成要逐步改進。
現在大家討論另外一個層面的問題，相對討論得比較少，但實際上是更加重要的，就是如何防止人工智慧的技術被濫用，這個問題實際上目前是最嚴重的，因為人工智慧技術本身，特別是深度學習本身，是非常不安全的，不可靠的。
我們必須做兩個方面的工作，一方面的工作是我們要訂立規則，訂立嚴格的法律法規來限制這種行為，第二方面，要發展安全、可靠、可信和可擴展的人工智慧技術，因為只有技術往這方面發展，才能真正保證人工智慧的安全，這是兩個性質完全不同的問題。
後面一個問題，我覺得是非常重要的，而且現在有的國家或集團，正在利用這個來進行國與國之間，集團與集團之間的對抗。
聯邦學習與數據、隱私保護
唐傑：回到技術，其實智源人工智慧研究院在開源的框架下也做了一個聯邦學習平臺，我們現在面臨一些問題。一方面，有一些醫院很願意在聯邦學習的平臺上把數據共享出來，但是還有一些醫院，仍然不覺得不放心，沒法繞過醫院的數據保密要求。從這個角度上，楊強老師能再點評或者是分享一下，你們用聯邦學習平臺跟大家合作的時候是怎麼來解決剛才提到的這些問題？
楊強：不可能完全隔絕兩個機構來讓他們共同協作，他們之間一定是有交流的，之前這種交流直接是原始數據，現在比如說利用聯邦學習，就是一些加密的模型參數。但對於行外人來說，他搞不清楚你傳遞的是數據還是參數。
這時就可以有幾種不同的機制，一種機制是引入一個中間的協調機構，這個機構是大家都信任的，這種資訊的傳遞是在每一個參與者與中心機構之間在傳遞。
一種是把區塊鏈加進來，區塊鏈裡面有一個透明的，不可篡改的機制，這個機制如果是參與方都同意，可以把聯邦學習的參數傳遞和區塊鏈的透明機制結合起來加以協作。
另外一種是要不斷地教育大眾。
一個例子，我們在深圳有一些地產公司，非常熱衷用照相頭來識別工地上有一些不安全的行為，比如說有一些工人忘記戴安全帽，一些工人在抽煙，過去的做法是把照相頭裡的數據直接加以聚合，但有一個問題，在不同的工地，如果把數據傳來傳去，工人面部的identity就會被傳走，會涉及到隱私泄露的問題。
我們跟他們做了一個聯邦學習的機制，使得每個地方的模型都可以用聯盟裡面所有數據源的數據加以訓練，模型的質量可以增長，同時隱私可以得到保護。怎麼讓企業主明白隱私得到保護呢？我們就可以在他們的指導下做一些實驗，在他們的認可下，這個隱私是沒有被泄露的，所以就有了各種各樣去說服人的機制，協助我們把這個機制傳播開。
唐傑：剛才提到隱私保護其實要做精度和穩定性的提升，而剛剛張院士和高院士同時都提到下一代人工智慧很重要的是可解釋性，如果現在隱私保護聯邦學習平臺，會不會把可解釋性乾脆變成了一個黑盒子，甚至是變成了更龐雜的黑盒子，如果在聯邦學習的平臺上來實現的話，就很難實現下一代人工智慧的魯棒性和可解釋性？
楊強：這個聽起來，可解釋性和隱私保護是矛盾的，細想一下，他們並不必要是矛盾的。我們可以保護原始的數據和模型的參數，但是模型的推理機制卻可以是透明的，比如說我們一個人去看病，醫生往往會給你解釋這個病為什麼開這個藥，但是他不會跟你透露，他是從哪些案例裡面得到這些資訊，和在推理過程當中，用到了別人的哪些隱私資訊，來使他本身得到這樣的訓練，這是兩個不同的維度，我們可以分開。
劉知遠：關於AI的精度和隱私保護，在聯邦學習等這些方面，我們有什麼值得研究的話題？
楊強：實際上，這是一個交叉領域。當數據不是集中在一個地方，而是分布在不同的數據擁有者那個地方的時候，如何能夠讓模型能夠平衡地增長，不會形成一個數據寡頭，這個寡頭會左右整個聯盟的發展， 這是第一個問題。
第二，如果我們用一個加密機制來進行參數的溝通，如何能夠在保證這個參數保密的前提下，又能夠把速度、效率提升。第三，如何能夠做出更加有效的，並且高效的加密算法，這種算法的特點，應該不僅能夠保護數據本身，同時又允許在加密的狀態下可以進行各種運算，包括非線性的運算，能夠支持像深度學習這樣的網路計算。
另外一個維度，如果網路有多個參與方，如何建立一種激勵機制，能夠用經濟學和博弈論的觀點，設計一個好的機制，讓大家有動力參與到這樣一個數據聯盟，模型聯盟裡來。
還有就是人的因素，我們在進行協作的情況下，如何能夠遵循同一個標準，在國際上，在國內，在行業裡面，如何能夠建立一些行業和國際的標準，讓大家有共同的語言來交流，這些都是不同的維度來進行研究。
下一代人工智慧
唐傑：下面要討論的是下一代人工智慧，下一代人工智慧的技術特點應該具備哪些特點，包括隱私方面和其他各個方面？
楊強：我覺得下一代人工智慧，一定要考慮到「人」。以AlphaGo為出發點的人工智慧，像無人機、無人車、機器人還有下圍棋的機器人，都沒有真正把人的因素考慮進來。而近幾年我們越來越多的發現，包括我們討論的隱私，都是說機器和人要協作，在這個過程當中，人的利益有哪些我們需要關註的？
比如隱私、安全和可解釋性，人工智慧的模型做出的判斷如何能夠解釋給跟它一起合作的人類合作夥伴，如何能夠把inference的機制和訓練的機制解釋給人，如何能夠對不同（職位立場）的人給出不同的解釋。
當然還有其他的，比如說如何能夠讓人的智慧直接賦予機器，讓機器不是從頭學，而是能夠站在人類的肩膀上來學習等等和人的交互，這是下一代（AI）的特點。
高文：其實我把下一代人工智慧排第一位（特點）也是可解釋人工智慧。排在第二位的，是高效能人工智慧。我覺得現在的人工智慧，不管是追求超過人類的精度，其實付出的代價是巨大的，比如說最近我們在鵬城實驗室準備投資四十多個億搞一個鵬城雲腦Ⅱ，希望有1000P的AI的算力支持大模型的訓練，但人其實不需要這麼大的算力，現在這樣做是別無選擇，但是我希望下一代人工智慧效率要高一點，不要為了訓練一個模型花費這麼大的算力，這是不應該的。
張鈸：我非常同意剛才兩位老師講的內容。其實我在考慮的問題是人工智慧最終目標是什麼，我們現在做了哪些事情。
先說前面一個問題，我們在60年裡面做了兩件事，一件事是根據符號主義的思路建立的以知識為基礎的推理模型，通過這個模擬人類的理性行為，有了一些進展。另一件事是我們現在對的深度學習，就是以連接主義的思路，從神經網路層面上試圖去模擬人類的智能行為。
這兩件事現在做得怎麼樣了？很多人這樣評價，這只是人工智慧的序幕，大戲還沒開始，為什麼說是序幕呢？因為這兩個范式是都不可能達到真正的智能，對第一個范式來講，沒有解決所謂的符號基礎問題，這個符號是沒有語義的，語義你是從外界強加的。基本概念裡特別是常識，你只能用符號告訴他，這叫吃飯，這叫下圍棋，就是說它的根基沒有，這個根基必須產生於人類跟環境的交互中間建立起來的概念。因此，現在所謂的推理也好，符號主義的方法也好，就是在訓練知識下面去積累新的知識，這個並不是真正的智能。
深度學習更是這樣，深度學習其實跟人類的感知差得太多，他只做了分類，只做了感覺這一部分，並沒有做到認知這一部分。所以這兩個方向都是走不遠的。
現在的問題是正戲怎麼演，看起來相當多的人已經認識到，只有把這兩個結合起來，才有可能產生真正的智能，因為這兩個正是互補的。符號主義是解決理性分析、理性智能的問題，連接主義是要解決感知的問題，雖然現在只做到「感」，沒做到「知」，後面大家要想出很多的辦法來解決這個問題。
目前人工智慧存在的那些缺點，安全、不可靠、不可解釋和不容易擴展都能夠解決。現在的問題是，這個工作有沒有希望，我們國家能不能做這個事？
我自己認為，我們完全有條件做這個事，現在這個思路全世界都在探索，當然這條路還是很長的。我們的信心建立在什麼基礎上呢？可以看到，即使我們現在剛剛是序幕，已經會產生很多有用的結果，我們可以想像，大戲如果開場的話，人工智慧就會出來更多更好的結果。
所以我對這個前景還是比較看好的，問題就是怎麼來做這個事情，這是最關鍵的問題。因為這是從0到1的創新，只有加強人工智慧的基礎研究，才能解決這個問題。我們往前走的時候，效率和其他的可解釋問題，也都會逐步得到解決。
唐傑：現在的人工智慧主要是在感知時代，下一個人工智慧很可能是認知時代。
張鈸：感知是感覺+認知，所以我們現在做的不是感知，是只做了感覺，沒做到感知，感知必須是感覺到認知，區分這個物體，而且必須認識這個物體，這兩個是不一樣的，我們現在都是做了一半，在認知這一部分做了很膚淺的部分，我把第一個范式叫第一代人工智慧，第二個范式叫第二代人工智慧，我現在指的下一代人工智慧是指第三代的人工智慧。很明確，就是要把第一代人工智慧的知識驅動的方法跟第二代人工智慧數據驅動方法結合起來。
唐傑：張院士認為有沒有階段性的（研究過程）分解一下，我們做一下相幹的研究？
張鈸：人認識狗，必須要有狗的先驗，計算機沒有狗的先驗，不認識狗，狗的先驗從哪兒來呢？深層次的網路裡面大家可以看到，通過無監督或者是弱監督學習，已經在往前走。現在，我們的博士生做了一個工作，把深層次網路、分布式網路等幾個網路結合在一起，就可以把物體先驗的知識通過弱監督或者無監督把它學習下來，利用這個知識來指導分類，使它逐步走向，既可以分辨物體，又可以認識物體，這方面的工作已經有很多這方面的工作。
搶占AI制高點
唐傑：回到今天的最後一個問題，怎麼來搶占制高點。既然我們要搶占制高點，又不能光發論文，要做顛覆式創新，學生的角度怎麼做相幹的科研，怎麼在研究上搶占制高點，怎麼在工程上，甚至是系統上搶占制高點？
高文：什麼事都不要走極端，重視論文，論文就是一切，不重視論文，論文就不能發了，有點走極端。我覺得這一點都不矛盾，關鍵還是和你研究的動機有關。我認為搶占制高點，最關鍵的就是要瞄準一些沒有人做過的東西，讓學生去做，做出來了，你該發論文發論文，該怎樣就怎樣，所以研究動機是關鍵。
楊強：現在Paper都成災了，頂會動輒都是上萬篇投稿，這個現象總會發生的，因為大家認為一個方向有前途，第一件事必然是寫文章，爭取出人頭地，這個姑且不論，作為一個有責任心，有志向的學生或者是學者，應該努力創新的一部分就是選題。大家可能更多的去關註文章的數量，而沒有在選題上更多的關註。
我的一個前輩圖靈獎獲得者Jim Gray，有一次提出應該做什麼樣的研究。首先，這個研究很新，以前沒有發生過，比如說計算機剛剛出現的時候，語音識別就是很新的方向，從來沒有人嘗試過。第二，這個問題又很難，難到什麼程度呢？大家一聽到這個問題會發愣。第三，這個問題又很容易解釋，比如說你在家裡面，問你的祖父母理不理解這個問題，讓計算機能理解語音，他們一下就懂，一句話就能描述，這樣的問題往往是比較重要的。
有了這些條件還不夠，有很多這樣的問題，我們是沒辦法真正解決的，還需要一些方法，可以分解成一些可以解決的階段，每一個階段就是一個小目標，先分成一個個小目標去解決。
最後，現在的計算機，尤其是人工智慧的發展，是離不開數據的，最好是有數據，或者是很容易獲得，這個研究才可以落地。如果大家按照這個方式去尋找一些新的問題，總是有一些新的問題，還沒有很多人去解決，這樣的文章不嫌多。
張鈸：我基本上同意剛才兩位老師的分析，實際上基礎研究，最後還是落腳到發表論文上，所以我認為，現在發表論文數量比較多，這是一個進步，非常大的進步。
我們現在的基礎研究平均水平實際上是接近世界水平的，平均水平很高，但是我們缺點在哪兒呢？最高水平跟人家差得太多，我們還沒有從0到1的發現，這在發達國家能做到，我們還做不到。
我們也不要對現在的現象做過多的批評，因為我們過去沒有條件做這個事，因為我們都不知道前沿在哪兒，最前沿的文章都發表不出來，有什麼可能去做0到1的發現呢？所以應該說在我們的平均水平已經接近世界一流的情況下，我們是有條件去做0到1發現的，也就是做一個具有巨大影響力的基礎研究。當然平均水平高，才能產生最高水平的文章，其實基礎研究的水平是是由最高水平決定的。
現在中國在做這件事情上，我認為在體制上還有很大的困難。比如說我們有很多優秀的學生，我們一般情況下，不敢讓他做那些非常困難、非常新的問題，我們的學生經不起失敗，而在外國的體制裡有相當一部分博士生畢不了業，但是這對他沒多少影響。
我在一個大學裡待過，他們有一個博士生做了八年，到期做不出來，結果去找工作，好多公司搶著要他，我就問，為什麼要他？他有八年的工作經驗，是這樣想的。但我們如果有一個清華大學的博士，非常優秀，但沒有做出來成果，我們會怎麼來處理這個問題，他根本沒法畢業，很難找到工作，或者是只能找到不太理想的工作。
所以我們在基礎研究上，體制、機制還是需要擺進來，不然的話，這個事情是不容易做成的。
唐傑：觀眾提問，我是一個普通的高校學生，最近找工作的時候經常碰壁，一方面跟現在的大環境，但是另外一方面，我擔心的是現在AI技術，是不是人才飽和，未來的就業環境可能會更加惡劣，有沒有什麼這方面的就業建議？
楊強：我覺得如果只是去做大家都做的這些工作，就一定會碰壁的，在任何一個領域，如果落地的場景很少，並且做得人多，一定會飽和的。所以，有兩個方向，一個是把自己變成一個真正能把技術落地的非常能乾的人，另外一個是能做一些比較高精尖的研究工作的人，比如說院士這樣高端的研究人才，去發現問題，解決問題。
高文：這其實幾乎在任何時候都會存在的一個問題。我記得90年代在日本念書的時候，當時我周圍那些日本的同學，他們就很焦慮，大家覺得日本特別是80年代末那段時間，經濟非常好，90年代初，日本的經濟就開始下滑，學校裡面這些念研究生的，一個個都非常驚恐，找不到工作了，他們當時就叫over doctor（博士過剩），本科畢業就降低一點要求，找一個工作還是可能的，特別是東京大學這種本科畢業一般找個工作都容易，但一旦博士畢業了，工作領域就非常受限，找工作會非常難，所以就非常焦慮。
但是實際的情況，我們的研究生畢業以後，所有人都找到工作了。所以我說，問題總存在，出路是關鍵，自己要把能力訓練好，另外就是對於工作的方向性的選擇也很重要，這可能和個人的選擇是有關係的，也沒什麼太多好建議的，做好自己就是了。