EMNLP 2018 上 FB 、Google繼續並肩「刷榜」，瓜分最佳長論文和十分之一接收論文

AI 科技評論按，自然語言處理頂會 EMNLP 2018 已經於 10 月 31 日開始了 Tutorial，正會將從 11 月 2 日開始。2017 年中，詞嵌入（word-embedding）毫無疑問是最為火熱的方法，以至於有人開玩笑說 EMNLP 的名稱「自然語言處理實證方法（Empirical Methods in Natural Language Processing）」還不如解釋為「自然語言處理嵌入方法（Embedding Methods in Natural Language Processing）」。

不過學術界顯然不會滿足於詞嵌入一種方法，2018 年發表的成果就多樣化地在更有難度的任務的嘗試、對已有方法的更深入的探討、對新方向的探索中展現了計算語言學的更多可能。這股新風氣在同為自然語言處理頂會的 ACL 2018 的參會見聞中也有詳細說明。

作為有專門的人工智能學術性研究院、有大規模團隊和高額科研預算的企業，Facebook 和Google一如既往地在 EMNLP 2018 上收獲頗豐。Facebook 有 14 篇論文被 EMNLP 接受，Google則有多達 26 篇（有一篇是兩者合作完成）。雖然目前 EMNLP 還沒有正式宣布論文接受數目，但雷鋒網 AI 科技評論預計這個數目大概會在四百多篇。這樣一來，有接近 10% 的收錄論文就直接被 Facebook 和Google「承包」了。而且，EMNLP 2018 的兩篇最佳長論文也剛好一篇出自 Facebook，一篇出自Google。

下面我們來詳細看看這些研究成果。（文末提供這 39 篇論文的打包下載）

Google成果

（也許與Google的研究人員人數眾多有關，）Google在這次 EMNLP 2018 中的參與程度非常高。不僅有多位Google研究員將會在 EMNLP 大會中發表演講，涉及主題包括語言身份識別、分割、語義解析、問答系統，還有許多人員參與到了會議各個級別的組織工作中。

借著論文被接受，Google也隆重推出了四個用於 NLP 任務的數據集。與現有的學術數據集在較理想的環境下進行評估不同，這四個新的數據集更關注的是實際部署的 NLP 系統會遇到的不那麼規範的用戶輸入，都包含了真實的、自然人類交流中會出現的文本。同時這四個數據集也可以兩類，一類是對目前已經過較多研究的核心 NLP 任務提出更高的挑戰，另一類則是在對語句重構/編輯並保持語義不變的條件下鼓勵探索新的研究方向。這些數據集的收集方式也非常有趣，讓人不得不感慨這個時代真是數據無處不在、無所不能。

數據集列表

Noun-Verb Ambiguity in POS Tagging Dataset，部分對話標註中的非動詞單詞歧義性數據集。出自論文《A Challenge Set and Methods for Noun-Verb Ambiguity》。這個數據集研究了非動詞單詞歧義性引起的部分對話標註中的錯誤。數據集中包含了 3 萬個經過標註的人類語言中自然出現的非平凡的非動詞單詞歧義的例子。不同的部分對話標註方法的準確率在這個數據集上分布在 57% 到 75% 之間。

Query Wellformedness Dataset，問題完備性數據集。出自論文《Identifying Well-formed Natural Language Questions》。這個數據集研究了搜尋引擎中通常由關鍵詞簡單串聯起來形成的用戶輸入與自然語言表述的完整句子構成的問答之間的關係。在實際應用中，區分關鍵詞組成的搜尋詞組與自然語言問句也有很大的應用價值。這個數據集中包含了 2.5 萬個標註問句，並且帶有評分，評價這些問句與形式完備的自然語言問句之間的接近程度。

WikiSplit 數據集，分割與重新組織語句的語料。出自論文《Learning To Split and Rephrase From Wikipedia Edit History》。這個數據集是從維基百科的編輯記錄中抽取樣本，專門關注了從一個長句拆分成兩個獨立的短句，同時這兩個短句合起來表示的意思和原來的長句相同的樣本。這個數據集包含了一百萬個句子拆分樣本，詞匯量超過為六十萬詞。

WikiAtomicEdits 數據集，來自原子性的維基百科編輯記錄的多語言對照語料。出自論文《WikiAtomicEdits: A Multilingual Corpus of Wikipedia Edits for Modeling Language and Discourse》。研究人們編輯維基百科時的語言運用方式可以用來理解語言自己的結構。在這項研究中，Google的研究人員們專門關注了兩種原子編輯操作：對一段連續的文本的一次性插入或者刪除操作。他們從編輯記錄中提取出了涵蓋 8 中語言的共四千三百萬次這樣的編輯操作，並表明了這些操作對於語言的蘊含和論述提供了有價值的信息。

論文列表

A Challenge Set and Methods for Noun-Verb Ambiguity

A Fast, Compact, Accurate Model for Language Identification of Codemixed Text

AirDialogue: An Environment for Goal-Oriented Dialogue Research

Content Explorer: Recommending Novel Entities for a Document Writer

Deep Relevance Ranking using Enhanced Document-Query Interactions

HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering

Identifying Well-formed Natural Language Questions

Learning To Split and Rephrase From Wikipedia Edit History

Linguistically-Informed Self-Attention for Semantic Role Labeling

• 用於語義角色標註的考慮語言學信息的自我注意力方法

• 兩篇最佳長論文之一

• http://aclweb.org/anthology/D18-1548

Open Domain Question Answering Using Early Fusion of Knowledge Bases and Text

Noise Contrastive Estimation for Conditional Models: Consistency and Statistical Efficiency

Part-of-Speech Tagging for Code-Switched, Transliterated Texts without Explicit Language Identification

• 在不顯式指定語言的狀況下對代碼轉換的、根據讀音拼寫的文本做部分語句標註

• http://aclweb.org/anthology/D18-1347

Phrase-Indexed Question Answering: A New Challenge for Scalable Document Comprehension

Policy Shaping and Generalized Update Equations for Semantic Parsing from Denotations

• 用於標誌文本的語意解析的策略塑造以及通用化更新公式

• http://aclweb.org/anthology/D18-1266

• Revisiting Character-Based Neural Machine Translation with Capacity and Compression

• 帶著容量和壓縮的疑問，重新思考基於字符的神經機器翻譯

• http://aclweb.org/anthology/D18-1461

Self-governing neural networks for on-device short text classification

Semi-Supervised Sequence Modeling with Cross-View Training

State-of-the-art Chinese Word Segmentation with Bi-LSTMs

Subgoal Discovery for Hierarchical Dialogue Policy Learning

SwitchOut: an Efficient Data Augmentation Algorithm for Neural Machine Translation

The Importance of Generation Order in Language Modeling

Training Deeper Neural Machine Translation Models with Transparent Attention

Understanding Back-Translation at Scale

Unsupervised Natural Language Generation with Denoising Autoencoders

WikiAtomicEdits: A Multilingual Corpus of Wikipedia Edits for Modeling Language and Discourse

WikiConv: A Corpus of the Complete Conversational History of a Large Online Collaborative Community

Facebook

與Google類似，Facebook 也在開發新的數據集上花了不少功夫。他們這次在 EMNLP 2018 上帶來的數據集是 XNLI，它可以用於自然語言處理中的跨語言處理方法。這個數據集在目前廣泛使用的 MultiNLI 多風格自然語言推理語料庫基礎上增加了 14 種新的語言，其中包括了兩種稀缺語料資源的語言斯瓦希里語與烏爾都語。

論文列表

A Dataset for Telling the Stories of Social Media Videos

Auto-Encoding Dictionary Definitions into Consistent Word Embeddings

Do explanations make VQA models more predictable to a human?

Dynamic Meta-Embeddings for Improved Sentence Representations

Extending Neural Generative Conversational Model using External Knowledge Sources

How agents see things: On visual representations in an emergent language game

Loss in Translation: Learning Bilingual Word Mapping with a Retrieval Criterion

Neural Compositional Denotational Semantics for Question Answering

Non-Adversarial Unsupervised Word Translation

Phrase-Based & Neural Unsupervised Machine Translation

• 基於詞語的、無監督神經網路的機器翻譯

• 兩篇最佳論文之一，雷鋒網 AI 科技評論解讀文章見 提升 11BLEU 的無監督機器翻譯

• http://aclweb.org/anthology/D18-1549

• https://arxiv.org/abs/1804.07755

Semantic Parsing for Task Oriented Dialog using Hierarchical Representations

Training Millions of Personalized Dialogue Agents

Understanding Back-Translation at Scale

XNLI: Evaluating Cross-lingual Sentence Representations