|
[英]Mark S.Nixon ·電子工業(yè)·2010·2版 12345678 第一章 緒論 橫截面圖 cross-section合成 synthesized光感元分兩類：視桿細胞(rod )用于黑白視覺(暗視覺).另一類是視錐細胞，用于色彩視覺(明視覺).視錐細胞一千萬，分布在中央槽五度以內。一億視桿細胞分布在中央槽二十到五度內。視桿細胞就一種，視錐細胞有三種：s波長m波長l波長聯(lián)合圖像專家組 Joint Photographic Expert Group運動圖像專家組 Moving Picture Expert Group
圖像處理的軟件網站：大概最好的是General Site
數學軟件工具包
期刊雜志
網絡教材
網站
第二章 圖像、采樣和頻域處理
CMYK顏色模型分為青縁、品紅、黃色和黑色。 傅里葉變換是將信號映射到分量頻率的一種做法。 傅里葉變換表明時域信號是由什么頻率組成的。 為了從頻域信號恢復時域信號，需要進行逆傅里葉變換。 卷積運算用*標記一個信號 p1(t) 與另個信號 p2(t) 的卷積過程為：將函數p2反折，向右移動距離t ，計算p1 和反折后的p2在各點的積，并積分，得到在t處輸出值。 信號系統(tǒng)中，輸出激勵p1和系統(tǒng)響應p2的卷積，通過反轉系統(tǒng)響應時間軸得到p2(t-x ),從而得到記憶函數.卷積過程對激勵與記憶函數相乘后的積求和,系統(tǒng)當前輸出是對激勵的累加響應。 卷積積分可以通過對兩個信號變換的乘積進行逆傅里葉變換來實現。 低頻帶有較多信息，高頻信息破壞不那么重要。 在成像系統(tǒng)中，景深是有限的（減少了高頻成份）。 高頻分量反映亮度上的變化。 離散傅里葉變換DFT FFT只能用于圖像大小為2的整數次冪的正方形圖像。FFT計算成本 Ο(N2log(N)). 二維DFT計算成本 Ο(N3). 圖像的傅里葉變換計算的是頻率分量，每個分量的位置表示其頻率：低頻率分量離原點距離較近，高頻率分量離原點距離較遠。 二維傅里葉變換的布局是低頻率分量位于變換的邊角上。 如果直流位于圖像中心，頻率向圖像邊緣遞增，這樣空間變換比較容易可視化。通過將傅里葉變換的四個象限分別旋轉180°來實現。只需要將每個圖像點Px,y 與-1(x+y)相乘即可實現。 傅里葉變換性質 位移不變性 圖像分解為空間頻率與圖像中特征的位置無關。假設將所有特征移動一定距離，或者從不同位置采集圖像，其傅里葉變換的幅度不會發(fā)生變化。但相位發(fā)生變化。 旋轉 傅里葉變換處理具有朝向依賴性。 頻率尺度變化 時間是頻率倒數。圖像被壓縮相當于時間縮短，而頻率相應增大，其頻率分量會擴展。 疊加性 判斷一個系統(tǒng)是線性的，只要該系統(tǒng)對兩個組合信號的反應與單個信號的反應之和相等。這個性質表明可以利用頻域來分離圖像。 傅里葉以外的變換 離散余弦 最優(yōu)圖像編碼 在能量集中性方面有很大優(yōu)勢。 離散Hartley變換 不需要復數計算，正變換和逆變換是相同操作。 小波 可進行多分辨率分析（即不同尺度或分辨率上的分析）。可同時進行空間和頻率上的削減。可進行局部空間頻率分析。 閱讀資料：The Fourier Transform and Its Applications (Ronald N. Bracewell)
第三章 基本圖像處理運算
點算子 亮度值設置255為白色。 對數函數 降低亮度級范圍，指數函數 擴大亮度級范圍。 常用擴展亮度級范圍的方法包括直方圖（亮度）正規(guī)化。這里是指將原直方圖進行擴展有位移，使直方圖涵蓋所有256個亮度級。matlab命令是imagesc函數。 直方圖均衡化 是一個非線性處理過程，適合人類視覺分析的方法來增強圖像亮度。 圖像直方圖處理常用的是正規(guī)化。均衡化的缺點一是受噪聲影響，二是非線性不可逆。 閥值處理 閥值處理有兩種形式：均一閥值和自適應閥值。 均一閥值需要灰度級知識，否則目標特征在閥值處理過程中可能無法提取。 最優(yōu)閥值處理：選擇一個將目標與背景分離的閥值。 Otsu方法 是將圖像分割成目標和背景的閥值被選擇出來的可能性最大。它只選擇一個閥值，從而使圖像中所有像素分離成最合適的不同類。 基本原理是利用正規(guī)化直方圖，其中每個亮度級的值為該亮度級的點數除以圖像總點數。 最優(yōu)閥值就是類分離方差最大時的亮度級， Otsu是自動的，不是手動的。 到目前為止我們關注的是全局方法，即對整幀圖像進行處理的方法。 局部適應的方法，通常用于字符識別前的文件二值化。 圖像解釋的場景中存在多個目標，目標通常被遮擋的，許多目標具有相似的像素亮度范圍。因此利用均一閥值處理圖像，需要更精細的度量來分離目標。 群運算 是利用分組處理，根據一個像素的近鄰來計算新像素值。群運算通常用模板卷積表示。 模板是一組加權系數，方形，大小是奇數，可以恰當定位。 卷積處理 NewImage = Weight*OriginImage. matlab模板卷積算子: convolve 平均算子 平均處理的是降低噪聲，這是其優(yōu)勢，與之相關的缺點 是平均處理引起圖像的模糊，從而是減少圖像中的細節(jié)。 高斯平均算子 圖像平滑處理最優(yōu)，比直接平均保留更多特征。 中值濾波 去除椒鹽噪聲。找出圖像背景是統(tǒng)計算子的應用。 模式濾波 減少噪聲同時保留特征邊界，這是中值濾波顯著特性之一。 各向異性擴散 平滑處理的最高級形式是處理過程保留圖像特征的邊界。這是中值算子優(yōu)勢之一，也是高斯平滑算子缺陷。其原理被稱為各向異性擴散。濾波是在特征范圍而不是邊界進行。 尺度空間 基本思想是圖像具有從低分辨率（粗糙取樣圖像）到高分辨率（細致取樣圖像）的多尺度表達。 熱方程 即為各向異性擴散方程。（各向同性－－高斯濾波）。擴散系數：局部變化量保留多少。參考：各向異性 perona&malik 力場變換 圖像濾波算子. 反平方定律 E=I/d2；照度與距離平方成反比而與光度成正比.又稱平方反比定律、逆平方律、反平方律； 如果任何一個物理定律中，某種物理量的分布或強度，會按照距離源的遠近的平方反比而下降，那么這個定律就可以稱為是一個反平方定律。 邊界是低層特征，形狀是高層特征。 數學形態(tài)學 利用集合論發(fā)展而來的算子分析圖像。將圖像和形狀看做是點集，根據形狀利用數學形態(tài)學處理圖像。 形態(tài)學算子定義的是局部變換，把要表達的像素值看做集合。這種改變像素值的方式是通過定義擊中或示擊中變換進行形式變化的。 腐蝕算子最常見的應用之一是對閥值處理后的圖像去噪。 開算子、先腐蝕再膨脹，關算子、先膨脹再腐蝕。 灰度形態(tài)學 函數集合形式有兩種表達：橫截面和暗影。 Minkowski算子，將集合去處變成求和以及求差運算。
第四章 低層次特征提取（邊緣檢測）
低層次特征是不需要任何形狀信息（空間關系）就可以從圖像中自動提取的基本特征。邊緣檢測和角點檢測。
一階邊緣檢測算子 檢測邊緣位置，一階微分可以使變化增強。水平邊緣檢測算子，對水平方向上的相鄰點進行差分處理，可以檢測垂直方向的亮度變化。由于差分值為0，水平算子不會顯示水平方向上的亮度變化，可以檢測出垂直邊緣。
第一個目標：canny認為 高斯算子對圖像平滑處理（邊緣檢測）是最優(yōu)的。 第二個目標：非極大值抑制返回的只是邊緣數據頂脊處的那些點，而抑制其它所有點。使結果細化處理，非極大值抑制的輸出是正確位置上邊緣點連成的細線。 第三個目標：限制單個邊緣點對于亮度變化的定位。這是因為 并非只有一條邊緣表示為當前檢測到的邊緣。
二階邊緣檢測算子 Laplacian基礎算子 是一個實現二階微分的模板。 水平二階算子和垂直二階微分結合可得全Laplacian模板。計算的是一個點與四個直接近鄰點的平均值之間的差。 中心權可正可負，可四相鄰或八相鄰，但要保證模板系數總和0，從而在亮度均勻區(qū)域不會檢測到邊緣。 優(yōu)點：各向同性（同高斯算子）缺點：不包含平滑，會對噪聲產生響應，所以基本不用Laplacian基本式。 Marr-Hildreth 算子 也是利用高斯濾波。把高斯平滑和Laplacian結合起來，得到LoG算子。LoG計算可以用高斯差分來近似。模板系數總和1. 怎樣決定過零點的點？ 優(yōu)點：能夠給出封閉的邊緣邊界，能夠避免滯后閥值的遞歸計算,具有多分辨率分析能力（可在不同的尺度上檢測邊緣）。 變換是中心對稱的，LoG忽視了低頻和高頻成分，相當于一個帶通濾波。σ 的取值可以調節(jié)算子在空域的張開度和頻域的帶寬：σ 大得低通濾波。（一階邊緣檢測是沿一條軸起高通/微分，另條軸起低通/平滑作用）。 所有邊緣檢測算子都是用滯后閥值處理來實現的。 相位一致性 是一個特征檢測算子，它有兩個優(yōu)點：可以檢測大范圍的特征，對局部（和平滑）光照變化具有不變性。 一致性檢測具有局部對比度不變性：即使階梯邊緣強度變小，正弦波不斷疊加，其變化位置并不改變。 傅里葉分量相位最大的點確定特征 缺點： 噪聲敏感 不好定位。 相位一致性關鍵詞 頻域 小波 卷積 定位特征提取 傳統(tǒng)方法 檢測圖像曲率（角點提取） 局部曲率的峰值是角點。 點v(t)處曲率描述的是沿方向 φ(t)對弧長的變化。 曲率函數的計算方法 對于曲線上的每個點，都有一對正交向量v(t),n(t),它們的模數通過曲率成正比關系。n(t)垂直于v(t),曲率k(t)表示它的模數。 數字圖像中的曲線 曲率計算有三種方法
現代方法 區(qū)域/圖像塊分析 尺度不變特性變換 SIFT 的目標是解決低層次特征提取及其在圖像匹配應用中的許多實際問題。SIFT包括兩個步驟：特征提取和描述。
顯著性算子 如果一些區(qū)域不能同時在特征和尺度空間進行預測的話，該方法把這些區(qū)域看成是顯著特征。 與傳統(tǒng)方法相比，它的目標是成為一個尺度和顯著性特征的通用方法，因為這兩者的定義都與特殊的基本形態(tài)意義無關，這些基本形態(tài)意義不是基于粒子、邊緣和角點等特殊的幾何特征。該方法是通過確定某一尺度上圖像塊內的熵來處理的。顯著性就是這些熵峰值 的加權和。 描述圖像運動 基于區(qū)域的方法 運動看作是一組圖像平面上的位移，位移支應的是場景中目標的投射移動，即光流。光流是時間單位上的像素移動，像素/幀。如果特征是像素，可以通過觀察圖像區(qū)域（即局部近鄰點）亮度之間的相似度來找到對應點。 簡化假設：
微分方法 另一個推測運動的方法， 關注像素值的微分變化。光流和空間亮度變化率一起可以描述圖像如何隨時間變化。
第五章 形狀匹配的特征提取（高層次）
閥值處理和差分 直方圖均衡化的結果易受噪聲陰影和光照 變化影響。 模板匹配 將模板的中心放在一個圖像點上，計算模板中有多少點與圖像點匹配。對整幅圖像重復這一過程，那個最佳匹配點，計數最大的，就是形狀（模板）在圖像中的位置。 像素匹配的概率，最大似然估計等效于選擇具有最小化平方差的模板位置，（模板像素點與相應的圖像像素差值 的平方） 二值圖像可以減小計算量。直接數字實現模板匹配的速度很慢。更快的如基于快速變換微積分的傅里葉實現。 模板匹配最主要的優(yōu)勢就是對噪聲和遮擋的不敏感性。 傅里葉變換實現 卷積和乘法之間的對偶性 空域的乘法相當于頻域的卷積 霍夫變換 HT 是一種在圖像中定位形狀的技術。特別是提取直線、圓和橢圓。 直線 霍夫變換通過對存儲證據或者投票的累加器數組進行簡單的計數，通過對每一個點追蹤所有的雙線完成的。追蹤的每個點增量數組的一個元素，直線提取問題轉化為在累加器空間中定位的最大值問題。 圓的霍夫變換 橢圓檢測 廣義霍夫變換 第六章 彈性形狀提取（蛇模型）
可變形模板 蛇模型 是使一組點（輪廓）進行演變，從而與圖像數據相匹配，而不是使形狀演變。 主動輪廓/蛇模型 是與特征提取完全不同的方法。主動輪廓是將目標特征即等提取特征包圍起來的一組點。類似于利用一個氣球來找出形狀，氣球放在形狀外部，將形狀包圍在內，然后從氣球將空氣放出，使它慢慢變小 ，當氣球停止縮小時即找出了形狀，此時氣球與形狀完全擬合。 在目標特征的外部設置一個初始輪廓，然后對其進行演變并將目標特征包圍在內。主動輪廓可以表示為能量最小化處理。目標特征是經過合理公式化的能量泛函的最小值。 能量泛函 是輪廓內部能量、其約束能量以及圖像能量的相加函數。這三個能量分別標記為EINT,ECON,EIMAGE.它們是組成蛇模型v(s)的一組點，即蛇模型中所有點的x和y坐標。EINT 決定蛇模型的自然變化，從而決定蛇模型所有點的排列。圖像能量EIMAGE引導蛇模型選擇低層次特征（例如邊緣點）。約束能量ECON給出高層次信息以控制蛇模型的演變。內部圖像能量定義為輪廓周圍一階和二階導數的加權和，一階導數dv(s)/ds表示由伸縮而產生的能量，即彈性能量。二階微分d2v(s)/ds2表示因彎曲而產生的能量，即曲率能量。圖像能量引導蛇模型提取低層次特征，比如亮度或邊緣數據，目的是選取具有最小貢獻的特征。線、邊緣和端點。 蛇模型的貪心算法 完全蛇模型KASS 其它蛇模型 幾何主動輪廓 參數化的主動輪廓（蛇模型）很難同時對多個目標進行分割。幾何主動輪廓模型，曲線用水平集函數隱式表達。 水平集方法 實質上是找出形狀，但不對其進行參數化，因此曲線描述是隱式而不是顯式的，把它看做是函數的零水平集。零水平集是圖像中兩個區(qū)域之間的接口。水平集函數是帶正負號的，表示與輪廓的距離 ，內部距離設為負，外為正，輪廓本身即目標形狀，其距離為零，即在兩個區(qū)域之間的交界處。 參考資料 水平集兩本重要的教材 Sethian,1999;Osher and Paragios ,2003 無邊緣主動輪廓模型 形狀骨架化
彈性形狀模型：主動形狀和主動外觀 前面討論的是可變形的模板或可以演變的形狀，主動輪廓是彈性的，但其演變實質上受局部曲率或邊緣強度等局部特征的限制。 彈性模板 利用從訓練數據樣例形成的整體形狀約束，考慮圖像庫中是否包含該形狀的所有可能變化。其中最主要的方法是主動形狀建模，關注由點組成的形狀模型，點的變化稱為點分布模型，所選地標點在訓練圖像中標記，順序標記很重要。主成分分析將數據壓縮成最重要項。 應用過程（找出被建模形狀的實例）是利用迭代方法，使模型和圖像中匹配點不斷增多。可以通過檢測模型點周圍區(qū)域以確定最佳近鄰匹配來實現。對數據的最佳擬合模型計算適當的平移、縮放和旋轉和特征向量。不斷重復以上處理直到模型對數據收斂。 主動形狀模型ASM 由于只改變形狀以更好地擬合數據，并且形狀受所期望的形狀外觀控制，所以這種模型被稱為主動形狀模型ASM 主動外觀模型AAM 包括紋理，通過重復搜索處理對紋理進行匹配來更新模型參數，使地標點向圖像點靠近。
參考資料
第七章 目標描述
邊界描述 區(qū)域描述的是邊界所包圍的內容（內部點）。 邊界被稱為區(qū)域輪廓，指它的形狀。如果一個點在區(qū)域內，它還有一個鄰像素在區(qū)域外，那這個點就是邊界（輪廓）上的點。 區(qū)域內部點和邊界點通過四連通或八連通來描述。它們是互補的，如果邊界像素是四連通，那區(qū)域像素就是八連通，反之亦然。 鏈碼 只存儲連續(xù)像素之間的相關位置。方向數字串 傅里葉描述符 利用表示形狀整體頻率分量的一組數字來描述輪廓特征。首先要定義一個曲線表達。其次，利用傅里葉理論將其展開 。 基本原理 傅里葉分量（直流分量）的第一個成分只是x和y坐標的平均值，它是以復數形式表示的邊界中心點的坐標。第二個成分所給出的是最適合這些點的圓的半徑。因此，圓可以用零階和一階成分（直流分量和第一個諧波）來進行描述。零階分量給出是形狀的位置（圓點）。橢圓可以加入所有空間分量來重構 傅里葉展開式 基底（、拉格朗日、牛頓插值），傅里葉展開的主要特征是定義了一組正交基。 移動不變性 鏈碼要特別關注的是得到起點不變性。主要在于曲線移動時描述符是否會改變。 離散計算 離散化具有兩個作用，首先可以限制展開式中頻率的數量，其次，它對定義傅里葉系數的積分進行數值化近似。 累積角函數 曲線上一點的累積角函數定義為從起始點開始的角度變化量。由于它表示每個點角度變化的總和，被 稱為累積。累積角函數避免了角函數的不連續(xù)性。 橢圓傅里葉描述符 累積角函數把曲線的二維描述變換成適合傅里葉分析 一維周期函數。而橢圓傅里葉描述符保持曲線在二維空間的描述。通過考慮圖像空間定義的是復平面來實現。每個像素定義為一個復數。 橢圓傅里葉描述符的不變性 區(qū)域描述符 基本區(qū)域描述符是對區(qū)域的幾何屬性進行特征化，矩所關注的是區(qū)域的密度。 基本區(qū)域描述符 面積 周長 緊湊度 是周長和面積的比值。 離散性（不規(guī)則性） 是最大弦長與面積比。對于不規(guī)則形狀，這個比值變大，而緊湊度減小。 矩 矩描述的是形狀的構圖（像素排列）。矩是形狀的全面描述，具有傅里葉描述同樣的優(yōu)勢，具有選擇性（自帶的識別和過濾噪聲的能力）。 不變矩 中心矩只具有平衡不變性，不對應其他外觀轉換。為得到尺度和旋轉不變性，需要正規(guī)化中心矩。 Zernike矩 可以實現不變性，它給出旋轉不變矩的一個正交系。大小保持旋轉不變性，它只對相位有影響。可以通過正規(guī)化實現尺度不變性。另個優(yōu)勢是存在一個重構定理。原形狀f可以通過其矩和Zernike多項式重構。 圖像的傅里葉變換可以通過其矩推導出來。 樣條是用來對不同分區(qū)內的特征進行建模的區(qū)間函數。有二次和三次形式。蛇模型是一種能量最小化樣條。
第八章 紋理描述、分割和分類基礎
第九章 工作表
第十章 射影幾何
第十一 最小二乘 估計理論的基礎
第十二 主成分分析 pricipal components analysis PCA 也KL變換或者Hotelling變換。它是以線性代數因式分解為基礎，因式分解通常用于將矩陣對角化，它的逆容易求得。數據變換對分類和壓縮尤其有用。 PCA 收集數據并進行變換，使新的數據具有給定的統(tǒng)計特征。選擇統(tǒng)計特性是為了使變換突出數據元素的重要性。PCA技術變換特征向量以定義新向量，新向量定義了具有更好的分類能力的成分。PCA確保我們突出了那些數據根據協(xié)方差衡量具有最大變化的數據。 協(xié)方差表示兩個隨機變量之間線性相關性。協(xié)方差衡量的是線性關系，線性通常是PCA的主要局限。 協(xié)方差矩陣 數據變換 逆變換 特征值問題 PCA運算步驟
|
|
|
