尋夢新聞LINE@每日推播熱門推薦文章，趣聞不漏接❤️
賈浩楠 發自 凹非寺
量子位 報導 | 公眾號 QbitAI
2020年的最後一天，來回顧一下今年所有AI頂會的最佳論文吧！
今年，頂會的最佳論文，既有ECCV的「2D變3D」的NeRF，當然，也有今年引起轟動的GPT-3，它來自NeurIPS 2020。
而ICRA、ACL、AAAI等等，頂會，把最佳論文給了較為基礎的理論研究。
Reddit上，有網友整理匯總了今年AI頂會的最佳論文：
完整總結：
[R] A List of Best Papers from Top AI Conferences in 2020 from MachineLearning
重要論文研究解析：
https://crossminds.ai/c/conference/
具體這些論文都講了些什麼呢？
我們幫你整理了所有論文總結和要點，讓你一文看盡。
今年都有哪些最佳論文 AAAI 2020
最佳論文：WinoGrande: An Adversarial Winograd Schema Challenge at Scale
本文引入了WinoGrande，這是一個包含44k個問題的大規模數據集，其靈感來自於最初的WSC設計，但進行了調整以提高數據集的規模和硬度。
要解決的問題是：神經語言模型的進展已經在WSC（2011年提出）的變體上達到了90%左右的準確率。這就提出了一個重要的問題，這些模型是否已經真正獲得了強大的常識能力？或者它們是否依賴於數據集中的虛假偏差，導致高估了機器常識的真實能力？
WinoGrande上最好的最先進方法實現了59.4-79.1%，比人類94.0%的性能低15-35%，這取決於允許的訓練數據量。
結果具有雙重意義：一方面，證明了WinoGrande作為轉移學習資源時的有效性。另一方面，它們提出了一個問題：之前很可能高估了機器常識的真實能力。
CVPR 2020
最佳論文：Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild
這就是我們熟知的NerRF的戶外版。
這是一種從原始單視角圖像學習3D可變形物體類別的方法，無需外部監督。
該方法基於一個自動編碼器，該編碼器將每個輸入圖像分為深度、反射率、視角和照明度。
此外，通過預測對稱性概率圖，與模型的其他組件一起端到端學習，來模擬可能但不一定是對稱的物體。
實驗結果表明，這種方法可以非常準確地從單視角圖像中恢復人臉、貓臉和汽車的3D形狀，而不需要任何監督或預先的形狀模型。
ACL 2020
最佳論文：Beyond Accuracy: Behavioral Testing of NLP Models with CheckList
受軟體工程中行為測試原則的啟發，本文提出CheckList，一種用於測試NLP模型的任務無關性方法。
CheckList包括一個通用語言能力和測試類型的矩陣，以及一個軟體工具，以快速生成大量和多樣化的測試案例。
研究人員用三個任務的測試來說明CheckList的實用性，和識別商業和最先進模型中的關鍵故障。
在一項用戶研究中，一個負責商業情感分析模型的團隊在一個經過廣泛測試的模型中發現了新的、可操作的錯誤。
在用戶實際使用CheckList的過程中，NLP從業者創建的測試數量是沒有使用CheckList的用戶的兩倍，發現的bug數量幾乎是沒有使用CheckList的用戶的三倍。
ICML 2020
ICML 2020 今年評選出了兩篇最佳論文，分別是關於對稱元素訓練集和成像問題算法的。
On Learning Sets of Symmetric Elements
本文中，提出了一種學習一般對稱元素集的原則性方法。這是一種從無序集學習的基本方法。
首先描述了線性層的空間，這些線性層對元素重排序和元素的固有對稱性（如圖像中的平移）都是等價的。
由這些層組成的網路，稱為對稱元素的深集（Deep Sets for Symmetric Elements，DSS）層，是不變函數和等價函數的通用近似器。
在一系列的圖像、圖形和點雲的實驗中表明，DSS比現有的學習架構有所改進。
Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems
Plug-and-Play (PnP)是一個非凸框架，它將近端算法，例如乘法器的交替方向法(ADMM)，與先進的去噪器前導相結合。
PnP方法的一個關鍵問題是需要手動調整參數。
本文提出了一種免調整的PnP近端算法，它可以自動確定內部參數，包括懲罰參數、去噪強度和終止時間。
實驗證明，學習到的策略可以針對不同的狀態定制不同的參數，而且往往比現有的手工制作的標準更加高效和有效。
ECCV 2020
最佳論文：RAFT: Recurrent All-Pairs Field Transforms for Optical Flow
本文提出了RAFT，一種新的光流深度網路架構。
RAFT提取每個像素的特征，為所有像素對建立多尺度的4D相幹卷，並通過對相幹卷進行查找的循環單元迭代更新流場。
RAF在KITTI上，實現了5.10%的F1全部誤差，比最好的公布結果（6.10%）減少了16%的誤差。
在Sintel(最後一關)上，RAFT獲得了2.855像素的端點誤差，比最佳發表結果(4.098像素)減少了30%的誤差。
此外，RAFT還具有很強的跨數據集泛化能力，以及在推理時間、訓練速度和參數數量上的高效率。
ICRA 2020
最佳論文：Preference-Based Learning for Exoskeleton Gait Optimization
本文介紹了一種針對下半身外骨骼的個性化步態優化框架。當然也可以用於優化任何輔助性設備。
在基於偏好的交互式學習工作的基礎上，提出了CoSpar算法。CoSpar試驗之間會給出用戶的偏好，並提出改進建議。
由於外骨骼行走是一種非直觀的行為，用戶可以比數字反饋更容易和可靠地提供偏好。
在實驗中，CoSpar持續地找到了用戶偏好的外骨骼行走步態參數，這表明它可以根據個人用戶來調整和個性化外骨骼（或其他輔助設備）。
CoRL 2020
最佳論文：Learning Latent Representations to Influence Multi-Agent Interaction
受人類的啟發，研究人員認識到機器人不需要明確地模擬另一個智能體將做出的每一個低級行動，相反，可以通過高級表示來捕獲其他智能體的潛在策略。
所以，本文提出了一個基於強化學習的框架，用於學習代理政策的潛伏表征，其中小我代理識別其行為與其他代理的未來策略之間的關係。
然後，智能體利用這些潛伏動態來影響其他智能體，有針對性地引導他們走向適合共同適應的政策。
NeurIPS 2020
NeurIPS 2020的最佳論文，就是今年大熱的GPT-3了：
Language Models are Few-Shot Learners
擴大語言模型的規模可以極大地提高任務無關性、少數例子的性能，有時甚至達到與之前最先進的微調方法的競爭力。
具體來說，研究人員訓練了GPT-3，一個擁有1750億個參數的自回歸語言模型，比之前任何一個非稀疏語言模型多10倍，並測試了它在少數鏡頭環境下的性能。
對於所有任務，GPT-3的應用不需要任何梯度更新或微調，任務和少數鏡頭演示純粹通過與模型的文檔交互來指定。
GPT-3在許多NLP數據集上實現了強大的性能，包括翻譯、問題回答和隱語任務，以及一些需要即時推理或領域適應的任務，如解擾詞、在句子中使用一個新詞或執行3位數運算。
2020年，機器學習沒進展？
今年所有AI頂會的最佳論文盤點，一經發布在Reddit，就引起了激烈的爭論。
有Reddit網友直接說，今年所有頂會的最佳論文，沒有一篇能反映出通用機器學習的進步。
有網友甚至認為，AI頂會，評委們的評選標準，實在是不科學。
他認為，今年的這些論文，當然都是質量很高的論文，但是，除了GPT-3以外，其他文章都是應用類結果，不是真正的通用機器學習進展。
評委們的「品味」應該更高一點，最佳論文應該是結果能真正使用在後續研究中，而不是僅僅給人留下深刻印象。
而反對意見認為，評判一篇論文價值，要問的問題不是 「這是機器學習還是應用？」，而是 「這個特定的技巧有多廣泛的適用性？」
這種觀點認為，機器學習的根本是一種基本方法思路，由此發展出來的都是解決某一類問題的技巧。
具體到今年的這些最佳論文，真正的問題在於，所有的論文只是介紹了新的技巧。
用各種測試集上的結果來表明新方法有多少提升，但忽略了這些算法在實際問題上的適用範圍。
所以，最佳論文的問題，還是出在了評判標準上。
激辯：GPT-3到底是不是機器學習算法創新？
在對頂會最佳論文激烈的討論中，還出現了一種不尋常的觀點。
人提出了GPT-3使用的大規模Transformer只能算是一種應用，並不是真正的機器學習算法創新。
這一觀點立刻引來反駁。
Transformer是到處都在使用的通用機器學習模型，當然算機器學習範圍。
Transformer是到處都在使用的通用機器學習模型，當然算機器學習範圍。
這種觀點中所說的到處，是指CV、NLP、計算積分的分析表達式等各個領域。
但是，有人指出，在工業界，極少應用大規模Transformer，因為工業模型太龐大，數據太龐雜，算力根本跟不上。
所以，大規模Transformer要想應用在工業領域，還需要進一步優化結構，當然，還要更好更貴的卡。
怎樣？你認為GPT-3算是算法創新嗎？
— 完—
本文系網易新聞•網易號特色內容激勵計劃簽約帳號【量子位】原創內容，未經帳號授權，禁止隨意轉載。
AI落地最佳參考！
2020中國人工智慧年度評選結果揭曉
12月16日，量子位MEET 2021智能未來大會現場，50大領航企業、10大明星創業公司、30大商業領軍人物、10大最佳產品、10大最佳解決方案、5大社會責任榜樣、5大最佳技術社區等年度獎項悉數頒出。
點擊圖片查看完整榜單：
量子位 QbitAI · 頭條號簽約作者
վ’ᴗ’ ի 追蹤AI技術和產品新動態
一鍵三連「分享」、「點讚」和「在看」
科技前沿進展日日相見~