邊框回歸(Bounding Box Regression)詳解

LZS2851 2021-05-13

展開全文

Bounding-Box regression

最近一直看檢測有關的Paper, 從rcnn， fast rcnn, faster rcnn, yolo, r-fcn, ssd，到今年cvpr最新的yolo9000。這些paper中損失函數都包含了邊框回歸，除了rcnn詳細介紹了，其他的paper都是一筆帶過，或者直接引用rcnn就把損失函數寫出來了。前三條網上解釋比較多，后面的兩條我看了很多paper，才得出這些結論。

為什么要邊框回歸？
什么是邊框回歸？
邊框回歸怎么做的？
邊框回歸為什么寬高，坐標會設計這種形式？
為什么邊框回歸只能微調，在離Ground Truth近的時候才能生效？

為什么要邊框回歸？

這里引用王斌師兄的理解，如下圖所示：

對于上圖，綠色的框表示Ground Truth, 紅色的框為Selective Search提取的Region Proposal。那么即便紅色的框被分類器識別為飛機，但是由于紅色的框定位不準(IoU<0.5)，那么這張圖相當于沒有正確的檢測出飛機。如果我們能對紅色的框進行微調，使得經過微調后的窗口跟Ground Truth 更接近，這樣豈不是定位會更準確。確實，Bounding-box regression 就是用來微調這個窗口的。

邊框回歸是什么？

繼續借用師兄的理解：對于窗口一般使用四維向量 $(x, y, w, h)$ 來表示，分別表示窗口的中心點坐標和寬高。對于圖 2, 紅色的框 P 代表原始的Proposal, 綠色的框 G 代表目標的 Ground Truth，我們的目標是尋找一種關系使得輸入原始的窗口 P 經過映射得到一個跟真實窗口 G 更接近的回歸窗口 $\hat{G}$ 。

邊框回歸的目的既是：給定 $(P_{x}, P_{y}, P_{w}, P_{h})$ 尋找一種映射 $f$ ，使得 $f (P_{x}, P_{y}, P_{w}, P_{h}) = (\hat{G_{x}}, \hat{G_{y}}, \hat{G_{w}}, \hat{G_{h}})$ 并且 $(\hat{G_{x}}, \hat{G_{y}}, \hat{G_{w}}, \hat{G_{h}}) \approx (G_{x}, G_{y}, G_{w}, G_{h})$

邊框回歸怎么做的？

那么經過何種變換才能從圖 2 中的窗口 P 變為窗口 $\hat{G}$ 呢？比較簡單的思路就是: 平移+尺度放縮

先做平移 $(Δ x, Δ y)$ ， $Δ x = P_{w} d_{x} (P), Δ y = P_{h} d_{y} (P)$ 這是R-CNN論文的：
${\hat{G}}_{x} = P_{w} d_{x} (P) + P_{x}, (1)$

${\hat{G}}_{y} = P_{h} d_{y} (P) + P_{y}, (2)$
然后再做尺度縮放 $(S_{w}, S_{h})$ , $S_{w} = e x p (d_{w} (P)), S_{h} = e x p (d_{h} (P))$ , 對應論文中：
${\hat{G}}_{w} = P_{w} e x p (d_{w} (P)), (3)$

${\hat{G}}_{h} = P_{h} e x p (d_{h} (P)), (4)$

觀察(1)-(4)我們發現，邊框回歸學習就是 $d_{x} (P), d_{y} (P), d_{w} (P), d_{h} (P)$ 這四個變換。下一步就是設計算法那得到這四個映射。

線性回歸就是給定輸入的特征向量 X, 學習一組參數 W, 使得經過線性回歸后的值跟真實值 Y(Ground Truth)非常接近. 即 $Y \approx W X$ 。那么 Bounding-box 中我們的輸入以及輸出分別是什么呢？

Input:

$R e g i o n P r o p o s a l \to P = (P_{x}, P_{y}, P_{w}, P_{h})$ ，這個是什么？輸入就是這四個數值嗎？其實真正的輸入是這個窗口對應的 CNN 特征，也就是 R-CNN 中的 Pool5 feature（特征向量）。 (注：訓練階段輸入還包括 Ground Truth，也就是下邊提到的 $t_{*} = (t_{x}, t_{y}, t_{w}, t_{h})$ )

Output:

需要進行的平移變換和尺度縮放 $d_{x} (P), d_{y} (P), d_{w} (P), d_{h} (P)$ ，或者說是 $Δ x, Δ y, S_{w}, S_{h}$ 。我們的最終輸出不應該是 Ground Truth 嗎？是的，但是有了這四個變換我們就可以直接得到 Ground Truth，這里還有個問題，根據(1)~(4)我們可以知道， P 經過 $d_{x} (P), d_{y} (P), d_{w} (P), d_{h} (P)$ 得到的并不是真實值 G，而是預測值 $\hat{G}$ 。的確，這四個值應該是經過 Ground Truth 和 Proposal 計算得到的真正需要的平移量 $(t_{x}, t_{y})$ 和尺度縮放 $(t_{w}, t_{h})$ 。
這也就是 R-CNN 中的(6)~(9)：

t_{x} = (G_{x} - P_{x}) / P_{w}, (6)

t_{y} = (G_{y} - P_{y}) / P_{h}, (7)

t_{w} = \log (G_{w} / P_{w}), (8)

t_{h} = \log (G_{h} / P_{h}), (9)

那么目標函數可以表示為 $d_{*} (P) = w_{*}^{T} Φ_{5} (P)$ ， $Φ_{5} (P)$ 是輸入 Proposal 的特征向量， $w_{*}$ 是要學習的參數（*表示 x,y,w,h，也就是每一個變換對應一個目標函數） , $d_{*} (P)$ 是得到的預測值。我們要讓預測值跟真實值 $t_{*} = (t_{x}, t_{y}, t_{w}, t_{h})$ 差距最小，得到損失函數為：

L o s s = \sum_{i}^{N} (t_{*}^{i} - {\hat{w}}_{*}^{T} ϕ_{5} (P^{i}))^{2}

函數優化目標為：

W_{*} = a r g m i n_{w_{*}} \sum_{i}^{N} (t_{*}^{i} - {\hat{w}}_{*}^{T} ϕ_{5} (P^{i}))^{2} + λ | | {\hat{w}}_{*} | |^{2}

利用梯度下降法或者最小二乘法就可以得到 $w_{*}$ 。

為什么寬高尺度會設計這種形式？

這邊我重點解釋一下為什么設計的 $t_{x}, t_{y}$ 為什么除以寬高，為什么 $t_{w}, t_{h}$ 會有log形式?。?！

首先CNN具有尺度不變性，以圖3為例：

x,y 坐標除以寬高

上圖的兩個人具有不同的尺度，因為他都是人，我們得到的特征相同。假設我們得到的特征為 $ϕ_{1}, ϕ_{2}$ ，那么一個完好的特征應該具備 $ϕ_{1} = ϕ$ 。ok，如果我們直接學習坐標差值，以x坐標為例， $x_{i}, p_{i}$ 分別代表第i個框的x坐標，學習到的映射為 $f$ , $f (ϕ_{1}) = x_{1} - p_{1}$ ，同理 $f (ϕ_{2}) = x_{2} - p_{2}$ 。從上圖顯而易見， $x_{1} - p_{1} \neq x_{2} - p_{1}$ 。也就是說同一個x對應多個y，這明顯不滿足函數的定義。邊框回歸學習的是回歸函數，然而你的目標卻不滿足函數定義，當然學習不到什么。

寬高坐標Log形式

我們想要得到一個放縮的尺度，也就是說這里限制尺度必須大于0。我們學習的 $t_{w}, t_{h}$ 怎么保證滿足大于0呢？直觀的想法就是EXP函數，如公式(3), (4)所示，那么反過來推導就是Log函數的來源了。

為什么IoU較大，認為是線性變換？

當輸入的 Proposal 與 Ground Truth 相差較小時(RCNN 設置的是 IoU>0.6)，可以認為這種變換是一種線性變換，那么我們就可以用線性回歸來建模對窗口進行微調，否則會導致訓練的回歸模型不 work（當 Proposal跟 GT 離得較遠，就是復雜的非線性問題了，此時用線性回歸建模顯然不合理）。這里我來解釋：

Log函數明顯不滿足線性函數，但是為什么當Proposal 和Ground Truth相差較小的時候，就可以認為是一種線性變換呢？大家還記得這個公式不？參看高數1。

l i m_{x = 0} l o g (1 + x) = x

現在回過來看公式(8):

t_{w} = \log (G_{w} / P_{w}) = l o g (\frac{G_{w} + P_{w} - P_{w}}{P_{w}}) = l o g (1 + \frac{G_{w} - P_{w}}{P_{w}})

當且僅當 $G_{w} - P_{w}$ =0的時候，才會是線性函數，也就是寬度和高度必須近似相等。

對于IoU大于指定值這塊，我并不認同作者的說法。我個人理解，只保證Region Proposal和Ground Truth的寬高相差不多就能滿足回歸條件。x,y位置到沒有太多限制，這點我們從YOLOv2可以看出，原始的邊框回歸其實x，y的位置相對來說對很大的。這也是YOLOv2的改進地方。詳情請參考我的博客YOLOv2。