關于圖像處理中特征點描述算子的一點總結

1.SIFt算子

SIFT算子是David G Lowe在2004提出的，即尺度不變特征變換(Scale Invariant Feature Transform)。它是以尺度空間的構造為基礎的局部特征描述算子，對于圖像的縮放、旋轉和放射變換等具有不變性。SIFT算子在構建好的尺度空間的基礎上搜索尺度空間中的極值點(特征點)，然后確定極值點的尺度信息以及位置，再確定極值點的方向(其鄰域梯度的主方向)，最終可以得到具有魯棒性的128維(4*4*8)的特征描述子。

2.surf特征

SURF（Speed-Up Robust Features）算子選取圖像在尺度空間上的極值點作為候選特征點。與SIFT算子不同的是SURF算子采用Hessian矩陣行列式近似值來構造金字塔。提取SURF特征點需要4個步驟：提取SURF特征，對于特征點進行定位，賦予主方向，生成特征點描述符。

3.    BRIEF特征

BRIEF特征(binary robust independent elementary features)是Calonder等在2010年提出來的，他采用二進制字符串作為特征點描述符，因而在速度和性能上都有著卓越的表現。其主要思路是：在特征點附近隨機的選取若干點對，將這些點對的灰度值大小組合成一個長為256的二進制字串，并將這個二進制字串作為該特征點的特征描述子。由于其描述子利用二進制（“0”和“1”）編碼，因此在特征匹配時只需計算2個特征點描述子的Hamming距離。大量實驗表明，不匹配特征點的描述子的Hamming距離在128左右，匹配點對描述子的Hamming距離則遠小于128。由于BRIEF的匹配速度遠高于SURF和SIFT，因此應用較為廣泛。

BRIEF特征描述符是一個bit串，有若干個二值 測試組成，即影像塊 (尺寸為 )經過平滑后再進行若干 測試。

其中，影像塊 在x處的灰度值定義為 ，特征描述符為一個長度為 的二進制串：

這里有兩點要注意：1）如何選取內核對圖形進行平滑處理（預處理）；2）如何選擇測試點對 。這里有多種描述形式進行描述測試點對的分布類型，其中效果比較明顯的是與選取的影像塊 成高斯分布，再生成72維的特征點描述符。在做平滑處理時有中值濾波、均值濾波和最小方差濾波等可以使用，一般高斯濾波比較常用。

為了保證描述符的旋轉不變性，需要先對 點測試坐標進行旋轉，使其旋轉到特征點的方向上，接下來再利用BRIEF特征描述符進行計算：

其中以 角形成的旋轉矩陣定義為： ，再讓測試點對與旋轉矩陣進行計算來進行旋轉： ，那么旋轉后，計算特征描述符可以采用如下計算方式： 。

然而在進行坐標旋轉后，坐標一般就變為了浮點型，此時我們要對圖像進行重采樣，可以使用的方法有最近鄰方法、雙線性內插方法、立體卷積方法等。其中最近鄰方法計算簡單，它采用待采樣點周圍4個相鄰的像素點中距離最近點的灰度值作為該點的灰度，這樣僅僅考慮到了一個點的灰度值，沒有考慮到其相鄰區域內的像素點的影響，所以重采樣后圖像灰度值就會有明顯的不連續現象。另外立體卷積的方法計算量過大，在實時性方面有些困難。對于待采樣點的灰度值，其采用周圍的4個臨近點的灰度值，然后在兩個方向上做線性內插，從而得到帶采樣點的灰度值

4    ORB特征

ORB算子(Oriented FAST and Rotated BRIEF)是Rublee等在2011年提出來的，是建立在改進的FAST特征和改進的rBRIEF特征之上，由于FAST特征和BRIEF特征的運算速度都很快，則ORB在運算速度上比SIFT和SURF等擁有絕對優勢。

但由于BRIEF不具有旋轉不變性，因此很難用于旋轉劇烈的場景，不過上文中我們已經給出了解決辦法。為了使BRIEF具有旋轉不變性，Rublee等在2011年提出了ORB(oriented brief)特征，在尺度變化不太大的環境中，ORB特征在SLAM系統中取得了了大量的應用，有時候我們的實際場景中比如帶有機器的室內外場景中，這些機器可能其景深變化非常劇烈，這種特征描述子就會受到一定程度的限制。也就是ORB解決了BRIEF的不具有旋轉不變性和對噪聲敏感的缺點，但ORB沒有解決尺度不變性。ORB算法的大致步驟如圖3-12所示：

BRIEF特征向量的每個比特（bit）具有的方差和的均值接近0.5。而加入特征點的主方向后，特征向量的比特位分布就變得比較平均了，故其方差變小了，這導致特征之間的差異性變小，區分性能變差，因此，主方向引導后BRIEF后的性能有所下降。為此要從矩陣 中篩選出具有高方差和高不相關的點對 。具體方法是：對PASCAL2006圖庫上的圖片，建立一個包含300k個關鍵點的訓練集，每個 測試選取以關鍵點為中心的 的鄰域，并且使用 的子窗口來代替原BRIEF中的單個像素進行灰度值比較，從而降低噪聲干擾。令鄰域寬度 ，子窗口寬度 ，則共有 個測試點對，其中 。為消除重復的測試，當進行了M=205590次測試后，貪婪算法終止。

這個算法是在均值是0.5附近的不相關的測試集合上進行貪婪算法搜索。下圖中的組圖是經過旋轉后具有高相關性的采樣模式，右圖是經貪婪學習算法后，降低了相關性的采樣模式，其中最右邊條形圖的上端黃色代表具有高相關性的顏色，低端黑色代表具有最低相關性的顏色。

5.      特征描述符性能評價

這里介紹的特征描述符，已被證明為比其他的相對優秀一些，在實際的系統中應用較多。在單目SLAM中，跟蹤部分是需要實時性的，這里我們為了模擬被不確定度影響的位姿估計跟蹤系統，限定匹配搜索范圍以當前描述符位置為圓心的一個圓形區域 ，只為每一個描述符與前一幀圖像中落入該區域所有的描述符進行匹配。該搜索圓的半徑設置為80像素（pixel），原因是如果模擬兩幀跟蹤器，若假設一個像素的運動很小，那么運動模糊可能會導致跟蹤失敗。搜索范圍的尺寸與系統本身固有的不確定度相關，因此是獨立于所使用的檢測器/描述符類型的。

其中 為正確匹配對數， 為誤匹配對數。當然也可以使用其他的標準，比如召回率或者前 個最近鄰的精度。一個標準是否相關取決于所使用的匹配策略，而絕大多數的實時跟蹤系統只評價 。另外在上面提到的SIFT、SURF、BRIEF和ORB特征中，我們計算每個特征點的計算時間如表3-3所示，