北航張歡：如何運用深度學習進行位姿測量？| 分享總結

雷鋒網AI研習社按：位姿測量是許多空間任務的基礎，也是移動機器人移動的前提，其重要性不必多言。傳統的位姿測量方法已經發展了幾十年，取得累累碩果的同時也遇到了不少技術瓶頸。深度學習的興起，重新給了位姿測量新思路，本文為大家介紹的就是基于深度學習的位姿測量。

在近期雷鋒網AI研習社舉辦的線上公開課上，來自北京航空航天大學的張歡同學分享了一篇CVPR 2015文章中用到的利用深度學習進行位姿測量的方法。沒有觀看直播的同學可以點擊視頻回放。

張歡，北京航空航天大學模式識別與智能系統碩士在讀，主要研究方向為計算機視覺，利用深度學習進行非合作目標位姿測量方面，曾帶隊參加MBZIRC第一屆世界無人機大賽。

分享主題：基于深度學習的位姿測量

分享提綱：

• 位姿測量的意義

• 傳統位姿測量方法的分類和挑戰

• 基于學習的位姿測量方法

• 基于深度學習的位姿測量方法——描述子網絡

物體的位姿測量指的是在特定的坐標系下獲取目標的三個位置參數和三個姿態參數，特定的坐標系可以是世界坐標系，物體坐標系，相機坐標系。具體應用領域舉例，有衛星輔助入軌，維修故障衛星 ，衛星加注燃料等。

物體的位姿測量的應用

物體的位姿測量在機器人、自動化及機器視覺等領域也有著非常重要的應用，尤其是在機器人領域，準確快速的得到物體的六維位姿對于機器人操作物體是非常重要的。在工業生產中更是如此，準確測量配件的位姿，才能使得工業機器人以規定的姿勢抓取物體并對準安裝，對于提高工業生產效率有著非常重要的意義。

傳統位姿測量方法的分類和挑戰

傳統的位姿測量方法主要包括基于單目的方法，基于雙目的方法，基于多目的方法，基于掃描式激光雷達的方法，基于非掃描式激光雷達的方法，近年來發展迅速的基于SLAM的方法，以及多傳感器融合的方法。

傳統位姿測量方法分類

傳統位姿測量方法的挑戰

傳統位姿測量方法的挑戰主要包括以下幾個方面：

首先，傳統的位姿測量方法大多是基于幾何特征的方法，而基本的幾何方法對于目標表面的紋理具有一定的依賴性，如第一幅圖所示。

其次，在真實環境中，由于受到光照等因素影響，相機成像質量會發生退化，基于幾何特征的方法容易受到極大影響，如第二幅圖所示，空間環境中的成像質量就是非常差的。

第三，復雜的背景也會對基于幾何特征的方法產生很大的干擾，第三幅圖中的場景是LineMOD數據集，場景比較復雜。

最后，發生局部遮擋等情況下，物體發生了形變，基于幾何特征的方法不一定能勝任位姿測量等任務。

而近年來迅速發展的基于學習的算法具有很強的魯棒性，受環境影響也相對較小，給我們提供了一種新的思路。

基于學習的位姿測量方法

主要包括基于稀疏特征的方法，基于稠密特征的方法，基于模板匹配的方法。

基于稀疏特征的方法從圖像中提取興趣點，用局部描述子來描述這些興趣點，并匹配到數據庫。

Lepetit等把匹配問題轉化成分類問題，把物體每個關鍵點的所有可能的外觀集歸成一類。每個關鍵點至少一張樣本圖，然后根據樣本圖生成樣本集訓練分類器，使用隨機森林作為分類器，對每個關鍵點進行分類。

Collet等提出了在混亂的場景中物體識別和位姿測量系統POSESEQ，該系統學習物體特征并制作數據庫，運行時檢測物體并從數據庫中搜索，獲取物體6D位姿。針對系統延遲較大的問題，Manuel等人增加了系統的可拓展性。

基于稀疏特征的方法和傳統的基于幾何的方法有一定的相似性，都是對于紋理較少的物體識別較為困難，對于此類物體的識別，后面介紹的基于模板的方法較好。

基于稠密特征的方法中，用每個像素對想要的結果進行預測，以下是近幾年研究方法的發展和改進。

在實際應用中，隨機森林的復雜度會隨著物體種類的增加而增加；物體種類少的話，訓練出的效果又不是很好。這是用三個物體進行訓練的訓練結果；第一張圖是把物體分割出來；第二張圖是分割出的物體的能量函數圖；第三張圖是跑出來的位姿結果；每張圖片里左邊都是groundtruth，右邊是測試結果，估計出來的位姿和groundtruth還是有一定差距的。

基于稀疏特征的方法和基于稠密圖像塊的方法，也就是隨機森林的方法，都是屬于學習的方法，但還不是屬于深度學習的方法，接下來我們介紹的基于模板匹配的方法是真正屬于深度學習的方法。

基于模板的方法

基于模板的方法是用固定的模板掃描圖片，尋找最佳的匹配。

Hinterstoisser 等研究者對物體在半球節點位置生成大量邊緣模板，并把基于邊緣的模板和相應的位姿一起進行訓練，驗證時根據模板進行位姿識別。

在此基礎上，Wohlhart等將物體種類和物體視圖模板一起進行訓練，學習代表物體種類和位姿的描述子。

接下來分享的的文章就是學習目標識別和位姿估計的描述子。這是CVPR 2015上收錄的一篇文章。

這篇文章的創新點在識別物體種類的同時進行位姿估計。他是通過卷積神經網絡學習描述子實現的。這里的描述子不是局部描述子，而是整張圖片的描述子。

給定一個物體的輸入圖像X，想得到他的分類和位姿估計，具體的實現步驟如下圖。

訓練數據都是合成數據，訓練數據包括彩色圖像和深度圖像，可以用兩種數據一起進行訓練，也可以單獨指定某一種進行訓練。測試數據是真實圖像，也包括彩色圖像和深度圖像。

網絡主體是一個卷積神經網絡，網絡的結構比較簡單，兩個卷基層，一個池化層，兩個全連接層。具體的訓練參數如圖所示：

為了實現同時進行識別和位姿測量，想要獲得的描述子需要有兩個重要特性。不同物體的描述子間的距離較大。相同物體的描述子間的距離較小。

訓練樣本中，直接小批量訓練樣本會反復訓練，浪費計算資源，因此，網絡是按照下圖的方法進行訓練的。

首先從每個物體里隨機選取一個訓練樣本；然后添加訓練樣本最接近的位姿模板，pairs就是這些最接近的位姿模板和原來隨機選取的訓練樣本產生的；迭代完成，直到小批量總數取滿為止。取完之后，在每個訓練樣本中添加另外的triplets量，來自不同物體最相似的模板或者相同物體位姿差異較大的模板。訓練樣本取好之后，就可以進行訓練了。

以上是網絡主體部分介紹，接下來是實驗部分。

數據集采用的是Line Mod數據集進行測試，這個數據集有15個物體的視圖模板，包括合成數據和真實數據。這個數據集還有物體的精確位姿，需要注意的是數據集里包含常規的物體，也包括水杯，碗這樣非常規物體。這樣的物體形態具有對稱性，測量它的位姿是具有一定挑戰的。

具體實驗部分，可以觀看AI慕課學院公開課視頻回放。

總結

最后，總結一下這篇論文提到的基于模板方法的幾個缺點，也是基于模板匹配方法的通病：

首先是需要整個模板匹配到一個特定物體，相比之下，基于稀疏特征的方法魯棒性更強，遮擋情況下不容易匹配到。然后是對于可變性的物體挑戰很大，需要大量模板，最后是該方法也容易受到光照等因素影響。