【隱創(chuàng)150期】高光譜圖像的軍事應(yīng)用

1.介紹

光學(xué)成像，包括紅外成像，一般有很多重要的應(yīng)用，民用和軍用都有。近年來，技術(shù)進步使得多光譜和高光譜成像成為許多軍事應(yīng)用領(lǐng)域的可行技術(shù)。CEPAJP8.10計劃的目的是評估頻譜成像技術(shù)在戰(zhàn)術(shù)軍事應(yīng)用中的潛在優(yōu)勢。

JP8.10計劃始于2002年3月，結(jié)束于2005年2月。參加的國家有法國、德國、意大利、荷蘭、挪威、瑞典和英國。該計劃的基本目標是：

·分析從可見光到紅外的光電景觀中的可用光譜信息；

·分析多光譜和高光譜成像在探測、識別和認定目標，包括低特征目標方面的實用價值；

·確定光譜成像可以提供強大性能增益的應(yīng)用；

·提出未來光譜成像系統(tǒng)和關(guān)鍵部件的技術(shù)建議。

最后，JP8.10計劃的一個既定目標是“確保與圖像處理社區(qū)的適當聯(lián)系”。該文檔按如下方式組織。在第一步中，兩個試驗(Pirrene和Kvarn)在第二部分中進行了介紹，包括對不同景觀材料和光譜圖像光學(xué)特性的總結(jié)。然后，在第三部分進行現(xiàn)象學(xué)研究，分析光學(xué)特性的光譜行為，分析傳感器信號，并通過處理光譜輻射測量來評估辨別光譜特征的潛力。

第四部分介紹了Cameo-Sim仿真軟件，包括首次驗證結(jié)果和光譜合成圖像的生成。處理得到的測量圖像和合成圖像，結(jié)果如第五部分所示。圖像處理主要分為兩類：異常檢測和基于特征的檢測。此外，還介紹了波段選擇的初步工作，旨在優(yōu)化圖像傳感器的光譜配置。第六部分給出了WEAG計劃CEPAJP8.10的主要結(jié)論。

2.實地試驗說明

2.1背景

已經(jīng)進行了兩次主要的實地試驗。

第一次實地活動于2002年5月至10月，在法國圖盧茲附近的皮爾雷內(nèi)舉行。其目標是驗證模擬代碼：Cameo-Sim(英國)和Comanche(法國)，為光譜處理收集初始地對地光譜數(shù)據(jù)，并進行現(xiàn)象學(xué)研究。在這次試驗中，地面上的各種儀器(3個BOMEM分光輻射計、2個便攜式分光輻射計、2個便攜式高光譜成像傳感器、幾個多光譜成像傳感器)被用來表征一組面板和其他短程簡單物體，包括具有代表相關(guān)軍事目標表面特性的物體。儀器覆蓋了從可見光到長波紅外的光學(xué)波長。在幾個月的時間內(nèi)，在不同的時間尺度(每小時、每天和每月)和各種天氣及光照條件下進行測量，以表征自然場景的可變性。

克瓦恩試驗于2003年5月26日至6月14日在瑞典林克平克瓦恩的普斯特托姆塔實彈靶場舉行。試驗?zāi)康氖钦业绞褂枚喙庾V和超光譜傳感器觀察軍事目標和背景的新方法。如圖1所示，該試驗在森林/鄉(xiāng)村背景下使用了大量軍事目標，包括車輛、誘餌和偽裝。測試了各種戰(zhàn)術(shù)場景，例如：

·檢測目標，包括不同程度的隱藏和偽裝目標；

·目標分類、拒絕誘餌和軍民歧視。

在克瓦恩，使用各種成像傳感器在整個光學(xué)波長范圍內(nèi)記錄圖像數(shù)據(jù)，包括多光譜和超光譜相機、偏振相機和地面上的幾個傳統(tǒng)相機。三架不同的飛機從空中記錄了高光譜和高空間分辨率圖像。從現(xiàn)場收集了大量的地面真實數(shù)據(jù)(圖1)。特別是，記錄了各種材料的光學(xué)特性，并匯編成一個非常有用的材料數(shù)據(jù)庫(已收集了600多種光譜)。這些數(shù)據(jù)與詳細的幾何地形模型相結(jié)合，為整個場景生成高分辨率模擬模型。共有100多人參加了克瓦恩試驗。為期兩周的活動提供了關(guān)于晝夜變化和天氣相關(guān)變化的信息。天氣的變化，加上目標狀態(tài)的變化，為研究不同條件下目標與背景的對比提供了機會。

圖 1  在克瓦恩戰(zhàn)役中，各種機載和地面?zhèn)鞲衅饔涗浟舜罅寇娛履繕说臄?shù)據(jù)。最左邊的圖：軍事目標的例子，中間的圖：Bomem光譜輻射計(左)和Imspec高光譜圖像傳感器(右)，最右邊的圖：使用SOC400T對軍事目標的光譜反射率測量

在這兩次試驗中，使用溫度數(shù)據(jù)記錄器、氣象站、天氣預(yù)報和氣溶膠測量連續(xù)進行了大氣特征分析。

2.2數(shù)據(jù)描述

2.2.1光學(xué)特性

對于CEPA8項目，了解所有材料的光學(xué)特性是至關(guān)重要的，因為這些現(xiàn)場試驗數(shù)據(jù)是該項目其他工作的基本輸入。用最先進的儀器獲取整個光學(xué)域的光學(xué)特性數(shù)據(jù)。定向半球反射率(DHR)是從紫外線(0.3米)到LWIR(14米，有些甚至高達25米)測量的，雙向反射率分布函數(shù)(BRDF)數(shù)據(jù)在寬帶中，在MWIR(3-5米)和LWIR(8-12米)以及0.4米和2.5米之間的一些光譜BRDF中獲得。為了能夠生成一個大的數(shù)據(jù)庫，在一個循環(huán)測試中執(zhí)行了一個相互比較過程，該測試涉及我們所有的設(shè)施。因此，確保了每個國家向數(shù)據(jù)庫提供相同質(zhì)量的數(shù)據(jù)。表1列出了使用的儀器。

表1  測量光學(xué)特性的地面?zhèn)鞲衅髁斜?/span>

在該計劃期間，超過95種材料在實驗室和野外進行了測量，包括日變化和季節(jié)變化。這95種材料可以分為兩類，60種人造材料(油漆、箔、帆布、偽裝網(wǎng)……)和35種自然背景材料(植被、土壤…)。這些數(shù)據(jù)是在1300多次測量中獲得的，并全部存儲在數(shù)據(jù)庫MEMOIRES中。

2.2.2圖像數(shù)據(jù)

在2003年7月的Pirrene試驗期間，在不同的天氣條件下獲得了可見光(ASI高光譜圖像傳感器)和紅外(多光譜照相機)范圍內(nèi)的短距離水平觀測圖像。

但大多數(shù)圖像是在克瓦恩實驗中用廣泛的傳感器獲得的，從單波段傳感器到超光譜傳感器。這些傳感器提供感興趣的背景和目標的高空間和光譜分辨率的組合。圖像傳感器列表如表2所示。因此，該大型圖像數(shù)據(jù)集可用于包括不同狀態(tài)下軍事目標類型(發(fā)動機開啟/關(guān)閉、打開/半隱藏/深度、多種天氣條件、一天中不同時間……)的地面和空中觀察。

表2  克瓦恩試驗期間使用的圖像傳感器列表

3.現(xiàn)象學(xué)

本研究的目的是了解光譜輻射信號的構(gòu)成及其相對于環(huán)境參數(shù)的行為，分析材料的光譜光學(xué)特性，并評估材料的可分離性。

由于可獲得的數(shù)據(jù)量很大，考慮到整個光學(xué)領(lǐng)域的情況，MWIR和LWIR成為研究重點。此外，由于信號構(gòu)成的復(fù)雜性，該領(lǐng)域具有更廣泛的國防用途，需要更多的研究。

所使用的數(shù)據(jù)集來自兩個活動(Pirrene和Kvarn)，包括各種環(huán)境條件下所有光學(xué)波段的光譜反射率和傳感器光譜輻射。

使用科曼奇輻射代碼，進行了第一次分析，以了解不同現(xiàn)象及其對作為波長函數(shù)的總傳感器信號的相對貢獻。

然后，解釋了不同材料在不同狀態(tài)下，反射光譜的光譜行為。主要結(jié)果指出了植被死亡對光譜特征的影響(圖2)。

此外，光譜目標/背景對比分析已經(jīng)用PIRRENE和KVARNBOMEM數(shù)據(jù)集進行。它對環(huán)境參數(shù)的依賴性似乎很復(fù)雜，主要由溫度因素決定。然而，總的趨勢已經(jīng)被發(fā)現(xiàn)，并且這些結(jié)果表明紅外中的光譜對比度主要取決于一天中的時間：當溫度低時，并且當相對濕度高時，低對比度出現(xiàn)在清晨或深夜。

在最后一步中，已經(jīng)評估了使用鑒別分析來鑒別不同材料的潛在能力。在反射域中，輻射光譜的形狀顯示出明顯的差異，可以直接用于辨別，而無需完全的大氣校正。另一方面，在MWIR和LWIR域，使用輻射光譜，如果沒有溫度/發(fā)射率分離算法(TES)，則不能獲得令人信服的結(jié)果。使用它們的反射光譜可以進行這種區(qū)分。因此結(jié)論是，需要大氣補償和發(fā)射率/溫度分離來區(qū)分紅外域中的材料。

4.建模和仿真

這項工作的目的是證明多光譜和高光譜技術(shù)的應(yīng)用可以通過建模得到真實的體現(xiàn)。因此，為實現(xiàn)這一目標而進行的大部分工作，都是為了驗證光電成像模擬工具Cameo-Sim。Cameo-Sim是由英國國防部資助，Insys有限公司開發(fā)的模塊化軟件套件，用于制作0.3至20米之間的高保真合成圖像。Cameo-Sim是一個基本原理模型，因為它使用物理上有意義的參數(shù)，求解自然環(huán)境中各種形式的輻射傳輸方程。將Kvarn試驗中收集的真實數(shù)據(jù)與合成數(shù)據(jù)進行比較，并進行各種研究，確定了Cameo-Sim的驗證方法。包括原始數(shù)據(jù)的比較，即由機載傳感器收集的高光譜圖像和輔助數(shù)據(jù)。例如表面溫度和大氣通量。迄今為止進行的研究表明，真實數(shù)據(jù)和合成數(shù)據(jù)之間的比較相當好，在某些情況下，甚至超出了最初的預(yù)期——首次證明合理比較的目標檢測算法的性能確實如此。總的來說，進展非常令人鼓舞，建模過程要求得到了更好的理解。在建模場景中捕捉正確的樹密度。這已經(jīng)確定了Cameo-Sim可能需要修改的領(lǐng)域。例如捕捉草的3D效果。因此，希望當這些問題得到解決時，比較會有所改善。

圖 2  樺樹的光譜反射率：衰減對4–5米范圍內(nèi)含水量的影響。樺樹在3月3日被砍伐，4天內(nèi)每天測量其反射率

5.圖像處理

5.1光譜圖像處理

為了對軍事目標使用光譜成像，一些最重要的圖像處理類型是異常檢測、基于特征的檢測(或光譜識別)和波段選擇。這些將在下面討論。也可以應(yīng)用其他類型的光譜圖像處理。例如，光譜成像的許多民用應(yīng)用旨在估計場景的定量狀態(tài)參數(shù)，例如植被狀況，并且這種技術(shù)也可能具有軍事應(yīng)用。

在信息提取處理步驟之前，通常對數(shù)據(jù)進行某種形式的預(yù)處理，例如應(yīng)用傳感器校準系數(shù)或補償平臺運動和大氣的影響。JP8.10計劃已經(jīng)建立了幾種處理光譜圖像的能力。目標檢測工作大多基于已有的算法。然而，可以注意到，算法的性能很大程度上取決于手頭任務(wù)的實現(xiàn)和適應(yīng)。通過覆蓋從場景到傳感器到圖像處理的整個信號鏈，該程序能夠?qū)鞲羞^程視為一個整體。這導(dǎo)致了光譜圖像中波段選擇和信息內(nèi)容分析方法的新發(fā)展。由于收集了大量數(shù)據(jù)，到目前為止，該小組基本上處理了在可視領(lǐng)域獲得的數(shù)據(jù)。

5.2異常檢測

異常檢測是一種概念上簡單的檢測圖像中目標的方法(圖3)。這假設(shè)1)感興趣的目標構(gòu)成圖像的一小部分，小于背景中任何成分的量，以及2)感興趣的目標表現(xiàn)出與背景的光譜對比。然后，異常檢測算法試圖識別偏離背景的像素，并將這些像素標記為可能的目標。這具有不需要關(guān)于目標先驗信息的優(yōu)點；甚至可以探測到未知目標。另一方面，如果背景本身包含“異常”光譜，即如果違反假設(shè)1，將會產(chǎn)生錯誤警報。

圖 3  高光譜處理示例。最左邊的圖像是從高光譜圖像中提取的可視彩色圖像。中間的圖像顯示了處理全光譜信息的結(jié)果，以強調(diào)偏離背景的像素。這表明存在兩個部分隱藏的目標。在最右邊的圖像中，檢測到的目標像素被高亮顯示。這本質(zhì)上是一個全自動的過程

5.3基于特征的檢測

如果目標的光譜特征是已知的，基于特征的檢測或光譜識別可以應(yīng)用于圖像，以搜索與已知特征一致的像素光譜。目標的特征通常表示為光譜反射率(或發(fā)射率)曲線。然而，傳感器測量的是輻射光譜。這不僅受到目標反射率的影響，還受到大氣散射和吸收以及目標照明條件的影響，對于熱光譜成像，還受到目標溫度的影響。因此，給定的光譜特征可以在傳感器處產(chǎn)生一系列不同的輻射光譜。因此，基于特征的檢測不是一項簡單的任務(wù)。

使用大氣傳播模型，可以將接收到的輻射光譜轉(zhuǎn)換成圖像中每個像素目標反射率的估計值。然后可以將其與感興趣目標的已知反射特征進行比較。在每個像素和閾值中計算相似性度量，以檢測匹配給定特征的目標。

在這種參數(shù)不確定的情況下，另一種方法是對輻射光譜的范圍或子空間進行建模，這可能是在可能大氣條件和目標幾何形狀的范圍內(nèi)，由目標反射特征產(chǎn)生的。如果接收到的輻射光譜在這個范圍內(nèi)，或者根據(jù)某種相似性度量接近它，則它被認為是目標。這種“物理子空間”方法的優(yōu)點是，該算法能夠適應(yīng)從目標接收的、在輻射模型中的不同程度的不確定性。

當圖像包含具有期望特征的已知參考目標時，會發(fā)生基于特征的檢測的簡單情況。在這種情況下，通常可以假設(shè)，對于圖像中的參考目標和任何未知目標，大氣效應(yīng)以及某種程度上的照明是相同的。然后可以應(yīng)用算法，簡單地將圖像中所有像素的輻射光譜與參考目標的輻射進行比較。在許多情況下，與參考目標相似的光譜目標可以很容易地被檢測到。

在JP8.10程序中，這三類基于特征的檢測已被采用，并取得了普遍良好的結(jié)果。已經(jīng)表明，關(guān)于目標特征的知識通常提高了目標檢測概率。在許多重要的情況下，還可能區(qū)分不同類別的目標。先驗特征信息取自使用野外分光計直接在目標處測量的反射光譜。可以注意到，作戰(zhàn)軍事光譜成像系統(tǒng)很可能需要包括從圖像中提取特征信息的功能(“光譜情報”)。

圖 4  ASI傳感器圖像中基于特征的檢測結(jié)果。左邊是Kvarn用高空間分辨率RGB數(shù)碼相機記錄的圖像拼接圖的一部分。一組不同大小的相同材料(民用偽裝網(wǎng))用紫色的盒子標記。目標的視覺對比度較低，但使用物理子空間算法，他們很容易在基于獨立測量的反射光譜的ASI高光譜數(shù)據(jù)(右)中被檢測到

5.4波段選擇

如果光譜帶的數(shù)量有限，這可能是有利的，原因有幾個：

·通過聚集連續(xù)的高光譜波段，每個最終的多光譜波段信噪比大于每個對應(yīng)的高光譜波段信噪比

·生成的數(shù)據(jù)量以及數(shù)據(jù)傳輸速率降低

·如果頻帶數(shù)量限制在5個以下，則可以降低設(shè)備成本

·可以使用更簡單的DRI算法

·減少了記錄超/多片段和產(chǎn)生警報之間的時間延遲

隨后必須根據(jù)場景功能確定的波段參數(shù)，是所需波段的數(shù)量、光譜位置和帶寬。

已經(jīng)開發(fā)了一種頻帶選擇算法，該算法使用基于馬氏距離度量的鑒別分析技術(shù)來找到最佳頻帶位置，該方法考慮了訓(xùn)練集和背景像素的統(tǒng)計變化。

必須回答的問題有：

·一天中的時間、一年中的時間、天氣，波段參數(shù)有多穩(wěn)定？

·波段參數(shù)對場景的依賴程度如何？

·波段參數(shù)對目標和背景訓(xùn)練集的依賴程度如何？

基于輻射光譜分析的初步結(jié)果表明，在LWIR分類中沒有單一的唯一波段組合。考慮到大氣補償和溫度-發(fā)射率分離，需要進一步的工作來鞏固這些結(jié)果。

6.結(jié)論

在不同試驗中獲得的大量數(shù)據(jù)使我們能夠證明光譜成像為軍事應(yīng)用帶來的好處。雖然一個大型的光學(xué)屬性數(shù)據(jù)庫被生成并證明是有用的，但其他環(huán)境的附加數(shù)據(jù)，如城市、沙漠…、和其他人造材料應(yīng)該在將來的研究中獲得。因此，該組材料參數(shù)也應(yīng)該增加到一組完整的光譜方向特性和附加特性，如熱參數(shù)和生物物理參數(shù)。

現(xiàn)象學(xué)研究已經(jīng)被用來分析和驗證，理解光電景觀中的光譜信息。主要結(jié)果指出了光譜特征如何影響傳感器級信號，但也強調(diào)了植被蒸騰和表面污染物對光譜特征的作用。可分離性與反射域中的異常檢測一致，但此外，在紅外域中，需要大氣補償和溫度-發(fā)射率分離算法。

此外，還開展了端到端仿真工具(Cameo-Sim)的驗證工作，然后用于擴展對已測試軍事場景的評估。基于現(xiàn)有數(shù)據(jù)和多項評估標準的首次驗證結(jié)果，顯示出令人鼓舞的結(jié)果。然而，驗證過程必須使用更廣泛的數(shù)據(jù)集。

為了評估光譜成像在國防應(yīng)用中的效用，已經(jīng)測試了幾種戰(zhàn)術(shù)場景。這需要開發(fā)光譜圖像處理工具，如異常檢測和基于特征的鑒別。結(jié)果表明，光譜成像為自動異常檢測提供了強有力的支持，尤其是在目標形狀無法分辨的情況下。當比較來自地面、空中采集和合成圖像的結(jié)果時，不同光譜處理技術(shù)的穩(wěn)健性也得到了證明。

對于每一個分析的戰(zhàn)術(shù)場景，光譜成像都表現(xiàn)出非常好的自動異常檢測和識別性能。很難比較最新的高空間分辨率寬帶圖像傳感器和光譜圖像傳感器的性能。原因是該小組無法獲得經(jīng)證明具有自動檢測和分類性能的最新空間圖像處理能力。超光譜成像每像素產(chǎn)生的信息量大于任何其他成像技術(shù)。原則上，任何圖像處理任務(wù)都應(yīng)該通過更大數(shù)量的信息變得更容易。然而，對于人類圖像解釋器來說，超過3個波段的光譜圖像數(shù)據(jù)不容易可視化，這仍然是傳統(tǒng)空間圖像處理的黃金標準。因此，計算機自動處理是高光譜成像過程的一個組成部分；比傳統(tǒng)的成像要多得多。必須注意的是，由于可用的光子數(shù)量有限，光譜分辨率和空間分辨率之間存在根本性的權(quán)衡。具有100個波段的光譜圖像中的單個像素，將具有與傳統(tǒng)圖像中的10x10像素區(qū)域相當?shù)男旁氡取?shù)據(jù)量也大致相同，人們可以設(shè)想，在這兩種情況下，數(shù)據(jù)足以識別一種類型的車輛。這同樣適用于不同的光譜和空間信息混合的中間情況。這一觀察表明，在光譜成像系統(tǒng)中定義光譜和空間分辨率之間的最佳折衷可能并不簡單。

總的來說，JP8.10的進步是顯著的。光譜成像的巨大軍事潛力已經(jīng)得到證明。可以對可見光和近紅外傳感器提出建議。這一合作在EUROPAHIPOD項目下繼續(xù)進行，該項目旨在擴展現(xiàn)有數(shù)據(jù)的分析，重點是熱紅外光譜成像。

這項工作由英國、荷蘭、法國、德國、意大利、挪威和瑞典國防部在歐洲防務(wù)R&T合作的背景下資助。

結(jié)束語