尋夢新聞LINE@每日推播熱門推薦文章，趣聞不漏接❤️
摘要：為了證明其有效性，研究人員在MNIST和CIFAR10上進行了實驗，並發現使用YOPO訓練的模型與PGD對抗訓練的模型在清潔數據和對抗擾動數據上具有相似的表現，但YOPO訓練的模型具有更優秀的性能和較低的計算成本。Google的一組研究人員已經通過對目前領先的半監督學習方法的整合而提出了一種新的算法,即MixMatch.新算法的工作原理是通過猜測新增未標記數據的低熵標籤並通過MixUp混合已標記和未標記數據.。
大數據文摘專欄作品
作者：ChristopherDossman
編譯：fuma、Jiaxu、雲舟
嗚啦啦啦啦啦啦啦大家好，拖更的AIScholar Weekly欄目又和大家見面啦！
AI ScholarWeekly是AI領域的學術專欄，致力於為你帶來最新潮、最全面、最深度的AI學術概覽，一網打盡每周AI學術的前沿資訊。
每周更新，做AI科研，每周從這一篇開始就夠啦！
本周關鍵詞：對抗神經網路，半監督學習，地標識別挑戰賽
本周熱門學術研究
使用YOPO的最大原則加速對抗訓練
在YouOnly PropagateOnce（YOPO）的算法中，研究人員開發了出一種加速對抗訓練的有效策略。他們將神經網路的對抗訓練重新組織為差異化遊戲，並為其開發了龐特里亞金（Pontryagin）的極大原則。
通過最大原理，他們發現對抗層只與第一層的權重相結合，這有助於將對抗層更新從反向傳播梯度計算中分離出來。
這樣做，YOPO避免了訪問梯度所需的次數，這顯著減少了計算時間。為了證明其有效性，研究人員在MNIST和CIFAR10上進行了實驗，並發現使用YOPO訓練的模型與PGD對抗訓練的模型在清潔數據和對抗擾動數據上具有相似的表現，但YOPO訓練的模型具有更優秀的性能和較低的計算成本。
YOPO讓人聯想到YOLO，但與YOLO不同的是，YOPO算法是解決龐特里亞金極大原理的一種方法。龐特里亞金的極大原理具有很大的潛力，因為它可以啟發各種算法的設計，從而分解對抗更新和數據反向傳播。
我們希望YOPO能夠為強大的ML應用程序修復對抗性示例。
原文：
https://arxiv.org/abs/1905.00877v2
如果你發現了對抗性示例，恭喜你，從現在開始它們不再是bug
與傳統觀點相反，一群學者最近發表了一種關於對抗性示例現象的新觀點。根據他們的說法，對抗性的示例自然地來自於標準機器學習數據集中的高度預測但非魯棒的特徵。
他們證明了對抗性的示例可以直接歸因於非魯棒特徵的存在。非魯棒特徵意為從數據分布的模式中得到的具有高度預測性的特徵，但這對人類來說是脆弱和難以理解的。
他們將對抗脆弱性作為主導監督學習范式的主要結果，這表明：對抗脆弱性是我們模型對數據中良好概括特徵的敏感性的直接結果。
他們通過明確地解釋標準數據集中魯棒的和非魯棒的特徵，為他們的假設提供了支持。此外，他們表明單獨的非強大功能對於良好的推廣是令人滿意的。
本研究論文中的研究結果似乎得出結論，只有在採用魯棒訓練時，分類器才能學習完全準確且完全穩健的決策邊界。因此，鑒於這些元素存在於真實世界的數據集中，分類器利用在人類選擇的相似概念下恰好是非魯棒的高度預測特徵應該不足為奇。
此外，從可解釋性的角度來看，只要模型依賴於非魯棒特徵，就不可能期望模型解釋既對人類有意義又完全依據模型。為了獲得可解釋和強大的模型，需要人類進行先驗後，再進行模型訓練。
原文：
https://arxiv.org/abs/1905.02175v2
下一代MobileNetV3定義
2017年，GoogleAI宣布發布了MobileNets，這種計算機視覺模型旨在於考慮設備或嵌入式應用程序資源受限的情況下，有效並最大限度地提高準確性。現在，研究人員發布了MobileNetV3，它代表了基於互補搜尋技術和新架構設計相結合的下一代MobileNets。
MobileNetV3通過結合使用NetAdapt算法補充的硬件感知網路架構搜尋（NAS）調整到移動電話CPU，然後通過尖端架構改進進行性能提升。
在此過程之後，研究人員創建了兩個新的MobileNet模型：MobileNetV3-Large和MobileNetV3-Small，分別針對高資源和低資源的使用情況。然後對模型進行調整並應用於對象檢測和語義分割任務。
MobileNetV3的大型和小型模型將使研究人員能夠繼續進步，從而提供下一代高度精確的網路模型，這將促進設備端計算機視覺的進步。
原文：
https://arxiv.org/abs/1905.02244v1
半監督學習的整體性方案
半監督式學習已經證明，它是利用未標記的數據來減輕機器學習對大型標記數據集依賴的一種強有力的方法。Google的一組研究人員已經通過對目前領先的半監督學習方法的整合而提出了一種新的算法,即MixMatch.新算法的工作原理是通過猜測新增未標記數據的低熵標籤並通過MixUp混合已標記和未標記數據.
評估顯示，MixMatch在許多數據集和標記的數據量等方面極大地顯示了其優越性.例如，在有250個標籤的CIFAR-10,STL-10的系數為2的情況下上，錯誤率從38%下降到了11%
MixMatch展現出其相對於傳統方法的優越性.這一研究更有價值的一點在於對半監督學習文獻和相關混合方法研究的進一步整合,這講促進對大幅提高算法效率因素的探索。
目前,MixMatch可以幫助我們做到更好的差別隱私交易中的準確性和私密性。
原文：
https://arxiv.org/abs/1905.02249v1
針對神經網路的對抗式再編程
在近期的研究中,Google研究員嘗試了一個具有挑戰性的目標：在不提供攻擊者對既定目標期望輸出的條件下，重新編程來模擬攻擊者選擇的任務。
研究人員發現，經過訓練的神經網路可以被重新編程來分類排列的圖像，這些圖像不保留任何原始的空間結構，這表明跨領域重新編程是可能的。他們還發現，經過訓練的神經網路比隨機系統更容易受到對抗式重新編程的影響，即使在數據結構與主要任務中的數據結構差異很大的情況下，重新編程仍然是成功的。
這就是對圖像領域中的分類任務進行對抗式重新編程的演示。類似的攻擊在音頻、視頻、文本或其他方面能成功嗎？以RNNs的對抗式重新編程為例——攻擊者只需要在RNN中找到用於執行簡單操作的輸入，就可以重新編程模型來執行任何計算任務。
如果一個特別設計的輸入可以重構整個機器學習系統，攻擊者將會達到難以預料的可怕效果。例如，攻擊者很容易竊取計算資源或執行違反雲服務編程的任務。所有這一切都表明了對抗式重新編程可能給人工智能系統帶來的潛在威脅。
隨著人工智能的不斷發展，認識到技術的進步可能帶來的潛在挑戰，並努力找到減輕或抵禦這些挑戰的可能方法，對人工智能的未來十分重要。
原文：
https://openreview.net/pdf?id=Syx_Ss05tm
其他爆款論文
BERT啟發掩碼序列對基於編碼器的語言生成任務進行預序列訓練。https://arxiv.org/abs/1905.02450v1
在移動設備上高效執行DNN的新框架：做到智慧型手機上所有DNNs的實時運行。
https://arxiv.org/abs/1905.00571v1
TensorNetwork：用於物理和機器學習的開源庫，允許用戶輕鬆地構造和操作tensornetwork.
https://arxiv.org/abs/1905.01330v1
通過形狀匹配GAN做到快速可控的藝術文本風格轉換。
https://arxiv.org/abs/1905.01354v1
更加現實的人機對話。
https://arxiv.org/abs/1905.01641
AI新聞
Google AI 發布了OpenImage V5，並同時發布了OpenImage ChallengeICCV2019
https://ai.googleblog.com/2019/05/announcing-open-images-v5-and-iccv-2019.html
Google AI發布了GoogleLandmarks V2 KaggleChallenges2019聯合的地標識別與回溯挑戰賽。
https://ai.googleblog.com/2019/05/announcing-open-images-v5-and-iccv-2019.html