尋夢新聞LINE@每日推播熱門推薦文章，趣聞不漏接❤️
機器之心報導
編輯：陳萍、蛋醬
微軟打造的圖靈通用語言表示模型 T-ULRv5，登頂 Google XTREME 公共排行榜。
剛剛，微軟打造的最新圖靈通用語言表示模型 T-ULRv5 模型再次成為 SOTA 模型，並在 Google XTREME 公共排行榜上位列榜首。
這項研究由 Microsoft Turing 團隊和 Microsoft Research 合作完成，T-ULRv5 XL 模型具有 22 億參數，以 1.7 分的平均分優於當前性能第二的模型（VECO）。這也是該系列模型在排行榜上的四個子類別任務中最新技術。
XTREME 排行榜：T-ULRv5 位居榜首。
這些結果證明了 T-ULRv5 具有強大的能力，此外，其訓練速度比前幾代模型快 100 倍。
這一結果標誌著微軟重返排行榜榜首，此前微軟的 T-ULRv2 模型也曾位居 XTREME 排行榜首。為了實現這一最新結果，研究人員將 XLM-E 模型擴大到具有 22 億參數的 XL 模型，並將其與數據、架構和優化策略方面的突破相結合，以生成最終的預訓練模型。此外，研究人員還部署了稱為 XTune 的先進微調技術。
XTREME（Cross-lingual TRansfer Evaluation of Multilingual Encoders）基準涵蓋 40 種類型不同的語言，跨越 12 個語言家族，包括九個任務，這些任務需要對不同層次的語法或語義進行推理。之所以選擇 XTREME 的語言作為基準，是為了最大限度地增加語言的多樣性、現有任務的覆蓋面和訓練數據的可用性。
XTREME 包含的任務涵蓋了一系列的范例，包括句子文檔分類、結構化預測、句子檢索和跨語言問答。因此，要使模型在 XTREME 基準測試中取得成功，模型必須學習適用於標準跨語言遷移設置的表示。
有關基準測試、語言和任務的完整描述，請參閱論文《 XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization 》。
機器之心報導
編輯：陳萍、蛋醬
微軟打造的圖靈通用語言表示模型 T-ULRv5，登頂 Google XTREME 公共排行榜。
剛剛，微軟打造的最新圖靈通用語言表示模型 T-ULRv5 模型再次成為 SOTA 模型，並在 Google XTREME 公共排行榜上位列榜首。
這項研究由 Microsoft Turing 團隊和 Microsoft Research 合作完成，T-ULRv5 XL 模型具有 22 億參數，以 1.7 分的平均分優於當前性能第二的模型（VECO）。這也是該系列模型在排行榜上的四個子類別任務中最新技術。
XTREME 排行榜：T-ULRv5 位居榜首。
這些結果證明了 T-ULRv5 具有強大的能力，此外，其訓練速度比前幾代模型快 100 倍。
這一結果標誌著微軟重返排行榜榜首，此前微軟的 T-ULRv2 模型也曾位居 XTREME 排行榜首。為了實現這一最新結果，研究人員將 XLM-E 模型擴大到具有 22 億參數的 XL 模型，並將其與數據、架構和優化策略方面的突破相結合，以生成最終的預訓練模型。此外，研究人員還部署了稱為 XTune 的先進微調技術。
XTREME（Cross-lingual TRansfer Evaluation of Multilingual Encoders）基準涵蓋 40 種類型不同的語言，跨越 12 個語言家族，包括九個任務，這些任務需要對不同層次的語法或語義進行推理。之所以選擇 XTREME 的語言作為基準，是為了最大限度地增加語言的多樣性、現有任務的覆蓋面和訓練數據的可用性。
XTREME 包含的任務涵蓋了一系列的范例，包括句子文檔分類、結構化預測、句子檢索和跨語言問答。因此，要使模型在 XTREME 基準測試中取得成功，模型必須學習適用於標準跨語言遷移設置的表示。
有關基準測試、語言和任務的完整描述，請參閱論文《 XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization 》。