【泡泡圖靈智庫】用於大規模定位的高效描述子學習（ICRA）

泡泡圖靈智庫，帶你精讀機器人頂級會議文章

標題：Efficient Deor Learning for Large Scale Localization

作者：Antonio Loquercio1, Marcin Dymczyk1, Bernhard Zeisl2, Simon Lynen2, Igor Gilitschenski1, Roland Siegwart1

來源：ICRA 2017

編譯：張國強

審核：湯文俊

歡迎個人轉PO朋友圈；其他機構或自媒體如需轉載，後台留言申請授權

摘要

大家好，今天為大家帶來的文章是——用於大規模定位的高效描述子學習，該文章發表於ICRA 2017。

許多使用稀疏基於關鍵點的可視化地圖的機器人和增強現實（AR）系統在大型且高度重復的環境中運行，其中姿態跟蹤和定位是具有挑戰性的任務。 此外，這些系統通常面臨進一步的挑戰，例如有限的計算能力，或者用於存儲整個環境的大地圖的記憶體不足。因此，開發緊湊的地圖表示和改進檢索對於做到大規模視覺位置識別和閉環的必要性非常大。

在本文中，我們基於神經網路的最新進展，提出了一種壓縮描述符的新方法，同時提高了它們的可辨性和可匹配性。 同時，我們在設計選擇中針對資源受限的機器人應用。 這項工作的主要貢獻是雙重的。 首先，我們提出了一種從描述符空間到低維歐氏空間的線性投影，它基於一種採用三重態損失的新型監督學習策略。 其次，我們展示了將上下文外觀信息包含在視覺特徵中的重要性，以便在強視點，光照和場景變化下改善匹配。通過對三個具有挑戰性的數據集的詳細實驗，我們證明了相對於最先進方法，性能有顯著提高。

主要貢獻

1、我們使用一種新穎的監督學習策略來訓練描述符的有效線性投影。

2、我們表明，在投影函數中包含上下文信息可以不斷提高檢索性能，甚至優於完全學習的描述符。

3 、我們通過廣泛的實驗評估證明了我們方法的有效性，並將性能增益與基線方法進行了對比。

算法流程

圖1 檢索匹配

這里提出的描述符投影和增強方法在強烈的外觀變化下做到了困難的描述符匹配。 然後，在不使用我們的投影技術的情況下仍然可以進行一些匹配（綠色），依賴於直接在二進制描述符空間中搜尋。 然而，所提出的線性投影能夠做到額外的，更具挑戰性的匹配（黃色），可以通過包括更廣泛的上下文信息（紅色）來進一步改進。

圖2 描述符三元組(X1,X2,X3)

三聯體的前兩個組成部分X1和X2是匹配的，這意味著他們觀察到相同的特徵。 另一方面，X3不匹配，因為它描述了不同的興趣點。

圖3 邊緣損失函數

在該圖中，等式3被繪制為匹配和非匹配樣本之間的L2距離的函數。 即使在後面的參數中凸起，L（fθ）在投影函數參數θ中也不是凸的。

圖4 提出的學習方法的訓練周期

要初始化訓練，應提供一些初始樣本三元組。 在這些反向傳播後，我們預測了一批訓練樣本，並用它們來製作新的硬三胞胎。 這些將用於繼續訓練模型。

圖5 在線交叉驗證

根據訓練期間未見的驗證集定期評估學習參數。將檢測具有較低驗證損失的參數以進行測試。 此過程與L2標準化一起減少了訓練集上的過度擬合。

表 1 乘數交叉驗證

為了選擇特徵尺度的常數乘數，我們使用曲線下的精確回收面積（PR AUC）對其值進行交叉驗證。 關於這一分數的更多細節將在第IV-A節中給出。 正如定性分析所預期的那樣（圖6），C = 50給出了最好的結果。

圖6 定位景況舉例

為了做到尺度不變性，我們通過常數乘數將景況與特徵尺度耦合。在圖中，乘數分別為20,50,100,300。注意，從乘數100開始，邊界效應開始顯著，而對於20，背景僅捕獲少數其他感興趣點。 表I中的結果報告乘數50在性能方面是最好的，正如我們對定性分析所期望的那樣。

圖7 景況描述子誤差函數

在該圖中相對於匹配和非匹配圖像塊描述符之間的L2距離繪制了等式6。 與圖3中的損失不同，我們在此更加強調匹配圖像補丁之間的距離，要求盡可能小。即使有利於學習圖像補丁功能，強制執行此約束也會導致性能下降（如果使用） 用於訓練線性投影。

主要結果

表2 曲線下的PR區域（AUC）

圖2 線性初始化和非線性細化給出的校準結果

3個評估數據集的泛化結果。 所有投影方法都是通過博物館數據集的火車分割來學習的。 相應的PR曲線如圖8所示。

圖8 PR 曲線

盡管在博物館數據集的火車拆分中學到了，但我們的方法很好地概括了Office數據集的視覺上不同的數據。 實際上，可以觀察到我們的線性和上下文增強投影始終優於所有基線方法。 有趣的是，使用FREAK描述符進行搜尋的效果非常差。 我們認為這是由於我們的數據集中出現的外觀發生了很大變化。 相應的PR AUC列於表II中。 除原始FREAK外，所有預測描述符都是16維浮點數。

圖9 成對距離分布

在大型和重復環境中，難以區分匹配（紅色）和非匹配對（綠色和藍色）。實際上，對於每個描述符，將存在許多非對應的最近鄰居（綠色距離）。我們的線性和上下文投影緩解了這個問題，提高了描述符的可辨性。

表3 訓練和評估數據集

只有博物館數據集用於訓練我們的模型。為了測試在訓練期間看不見的不同數據的概括，我們評估了另外兩個具有挑戰性的室內數據集。

圖10 描述符維數的影響

圖11 耦合學習

盡管尺寸較小，但是景況和視覺特徵之間的結合優於單獨考慮的兩個部分的性能。 這證明了建議的方法比僅使用單個（手工或學習的）圖像補丁描述符產生更好的結果。

表4 一個描述符的計算成本

Abstract

Many robotics and Augmented Reality (AR) systems that use sparse keypoint-based visual maps operate in large and highly repetitive environments, where pose tracking and localization are challenging tasks. Additionally, these systems usually face further challenges, such as limited computational power, or insufficient memory for storing large maps of the entire environment. Thus, developing compact map representations and improving retrieval is of considerable interest for enabling large-scale visual place recognition and loop-closure.

In this paper, we propose a novel approach to compress deors while increasing their discriminability and matchability, based on recent advances in neural networks. At the same time, we target resource-constrained robotics applications

in our design choices. The main contributions of this work are twofold. First, we propose a linear projection from deor space to a lower-dimensional. Euclidean space, based on a novel supervised learning strategy employing a triplet loss. Second, we show the importance of including contextual appearance information to the visual feature in order to improve matching under strong viewpoint, illumination and scene changes.Through detailed experiments on three challenging datasets, we demonstrate significant gains in performance over state-ofthe-art methods.

【泡泡機器人SLAM】公眾號。

泡泡機器人SLAM的原創內容均由泡泡機器人的成員花費大量心血製作而成，希望大家珍惜我們的勞力成果，轉載請務必註明出自【泡泡機器人SLAM】微信公眾號，否則侵權必究！同時，我們也歡迎各位轉載到自己的朋友圈，讓更多的人能進入到SLAM這個領域中，讓我們共同為推進中國的SLAM事業而努力！

商業合作及轉載請聯繫[email protected]