|
卷積神經網絡（CNN）由輸入層、卷積層、激活函數、池化層、全連接層組成，即INPUT-CONV-RELU-POOL-FC (1)卷積層：用它來進行特征提取，如下：
輸入圖像是32*32*3，3是它的深度（即R、G、B），卷積層是一個5*5*3的filter(感受野)，這里注意：感受野的深度必須和輸入圖像的深度相同。通過一個filter與輸入圖像的卷積可以得到一個28*28*1的特征圖，上圖是用了兩個filter得到了兩個特征圖； 我們通常會使用多層卷積層來得到更深層次的特征圖。如下：
關于卷積的過程圖解如下：
輸入圖像和filter的對應位置元素相乘再求和，最后再加上b,得到特征圖。如圖中所示，filter w0的第一層深度和輸入圖像的藍色方框中對應元素相乘再求和得到0，其他兩個深度得到2，0，則有0+2+0+1=3即圖中右邊特征圖的第一個元素3.，卷積過后輸入圖像的藍色方框再滑動，stride=2，如下：
如上圖，完成卷積，得到一個3*3*1的特征圖；在這里還要注意一點，即zero pad項，即為圖像加上一個邊界，邊界元素均為0.（對原輸入無影響）一般有 F=3 => zero pad with 1 F=5 => zero pad with 2 F=7=> zero pad with 3,邊界寬度是一個經驗值，加上zero pad這一項是為了使輸入圖像和卷積后的特征圖具有相同的維度，如： 輸入為5*5*3，filter為3*3*3，在zero pad 為1，則加上zero pad后的輸入圖像為7*7*3，則卷積后的特征圖大小為5*5*1（（7-3）/1+1），與輸入圖像一樣； 而關于特征圖的大小計算方法具體如下：
卷積層還有一個特性就是“權值共享”原則。如下圖：
如沒有這個原則，則特征圖由10個32*32*1的特征圖組成，即每個特征圖上有1024個神經元，每個神經元對應輸入圖像上一塊5*5*3的區域，即一個神經元和輸入圖像的這塊區域有75個連接，即75個權值參數，則共有75*1024*10=768000個權值參數，這是非常復雜的，因此卷積神經網絡引入“權值”共享原則，即一個特征圖上每個神經元對應的75個權值參數被每個神經元共享，這樣則只需75*10=750個權值參數，而每個特征圖的閾值也共享，即需要10個閾值，則總共需要750+10=760個參數。 補充： （1）對于多通道圖像做1*1卷積，其實就是將輸入圖像的每個通道乘以系數后加在一起，即相當于將原圖中本來各個獨立的通道“聯通”在了一起； （2）權值共享時，只是在每一個filter上的每一個channel中是共享的；
池化層：對輸入的特征圖進行壓縮，一方面使特征圖變小，簡化網絡計算復雜度；一方面進行特征壓縮，提取主要特征，如下：
池化操作一般有兩種，一種是Avy Pooling,一種是max Pooling,如下：
同樣地采用一個2*2的filter,max pooling是在每一個區域中尋找最大值，這里的stride=2,最終在原特征圖中提取主要特征得到右圖。 （Avy pooling現在不怎么用了（其實就是平均池化層），方法是對每一個2*2的區域元素求和，再除以4，得到主要特征），而一般的filter取2*2,最大取3*3,stride取2，壓縮為原來的1/4. 注意：這里的pooling操作是特征圖縮小，有可能影響網絡的準確度，因此可以通過增加特征圖的深度來彌補（這里的深度變為原來的2倍）。
全連接層：連接所有的特征，將輸出值送給分類器（如softmax分類器）。 總的一個結構大致如下：
另外：CNN網絡中前幾層的卷積層參數量占比小，計算量占比大；而后面的全連接層正好相反，大部分CNN網絡都具有這個特點。因此我們在進行計算加速優化時，重點放在卷積層；進行參數優化、權值裁剪時，重點放在全連接層。
|
|
|
