論文賞讀 | ECCV24 | 兩階段高光譜遙感圖像分類(語義分割) 模型DSTC

論文介紹

年份：2024

創新點

• 雙階段光譜supertoken分類器 (DSTC)：DSTC 模型旨在解決單階段逐像素分類模型的缺點，使用兩階段的過程來分類高光譜圖像。

• 基于光譜導數的像素聚類：該技術將具有相似光譜特征的像素聚類成光譜supertoken，有助于保持區域分類的一致性和精確的邊界定義。

• 基于類別比例的軟標簽：創新的標簽方法根據各類別在每個supertoken中的比例分配權重。該方法有效地管理數據分布不平衡問題并提高分類性能。

數據

1. WHU-OHS 數據集

• WHU-OHS數據集是一個大規模高光譜數據集，由Orbita Hyperspectral Satellite (OHS)獲取。

• 圖像分辨率：每張圖像的分辨率為512 × 512像素。

• 光譜通道：包含32個光譜通道，覆蓋了466-940 nm的光譜范圍。

• 類別數：該數據集包含24種地表覆蓋類別，如稻田、干旱農田、林地、灌木叢等。

• 用途：廣泛應用于土地覆蓋分類，尤其是大型區域的分類任務。

• https://www./science/article/pii/S1569843222002102

2. Indian Pines (IP) 數據集

• IP數據集是一個經典的高光譜圖像數據集，廣泛用于遙感圖像分類研究。

• 圖像尺寸：145 × 145像素。

• 光譜通道：包含200個光譜波段。

• 空間分辨率：每個像素對應20 μm的空間分辨率。

• 類別數：包含16個地表覆蓋類別，如玉米、草地、森林等。

• 樣本分布：類別樣本數量差異較大，從少量到大量不等。

3. Kennedy Space Center (KSC) 數據集

• 數據集簡介：KSC數據集包括從肯尼迪航天中心獲取的高光譜圖像。

• 圖像尺寸：512 × 614像素。

• 光譜通道：包含176個光譜波段。

• 空間分辨率：覆蓋400-2500 nm的光譜范圍，去除了低信噪比波段。

• 類別數：最終數據集中包含13個地表覆蓋類別。

• 樣本分布：類別分布不均勻，涵蓋不同的自然和人工地表覆蓋類型。

4. University of Pavia (UP) 數據集

• 數據集簡介：UP數據集由Pavia大學區域的高光譜圖像組成，主要用于城市地表覆蓋分類。

• 圖像尺寸：610 × 340像素。

• 光譜通道：包含115個光譜波段，去除噪聲后剩余103個波段。

• 空間分辨率：每個像素對應1.3米的空間分辨率。

• 類別數：包含9個城市地表覆蓋類別，如道路、建筑、植被等。

方法

總體結構

階段1：光譜supertoken生成（Stage 1: Spectral Supertoken Generation）

目標：通過聚類技術將具有相似光譜特征的像素組合在一起，生成光譜supertoken，以減少數據的復雜度并提高分類精度。

1. 空間保留特征編碼器（Spatial-preserved Feature Encoder）

目標：從輸入的高光譜圖像中提取深層語義特征，同時保留空間分辨率。步驟：

• 使用基于UNet架構的模型進行特征提取。

• 在下采樣階段，利用預訓練的深度網絡（如ResNet、PVTv2或Swin Transformer）作為骨干網絡，從高光譜圖像中提取特征。

• 在上采樣階段，通過一系列堆疊的卷積層恢復空間分辨率，并擴大特征維度，從而豐富捕獲的語義信息。

2. 基于光譜導數的像素聚類（Spectrum-derivative-based Pixel Clustering）

目標：根據光譜相似性將像素聚類成光譜supertoken（Spectral Supertokens）。

步驟：

• 計算光譜導數特征：包括一階和二階光譜導數，分別用于分離在原始光譜中重疊的峰值和揭示復雜的光譜細節。一階光譜導數幫助分離重疊的峰值，而二階光譜導數揭示復雜的光譜細節。

• 像素聚類：選擇初始中心點，計算每個像素與這些中心點的關聯矩陣，通過迭代更新中心特征，最終形成像素聚類。初始中心點是從深層語義特征中選取的，通過計算每個像素與這些中心點的相似性，進行像素的分組。

3. 語義特征聚合（Semantic Feature Aggregation）

目標：動態聚合每個聚類內的語義特征，形成光譜supertoken。

步驟：對每個聚類內的特征點進行加權求和，聚合成一個supertoken。這種聚合方法考慮了每個特征點與聚類中心的相似性，從而形成代表該聚類的綜合特征。

階段2：supertoken到像素的預測（Stage 2: Token-to-Pixel Prediction）

目標：利用Transformer對光譜supertoken進行分類，并將這些分類結果投射回圖像空間，生成最終的分類圖。

1. token到像素預測（Token-to-Pixel Prediction）

目標：利用Transformer對光譜supertoken進行分類，并將這些分類結果投射回圖像空間，生成最終的分類圖。

步驟：

• 使用Vision Transformer (ViT) 對光譜supertoken進行分類。

• 通過注意力機制計算supertoken之間的關系，利用Transformer的強大特征表示和全局上下文建模能力，生成token級別的分類結果。

• 將這些分類結果轉換回圖像域，生成像素級別的分類圖。

2. 基于類別比例的軟標簽（Class-proportion-based Soft Label）

目標：由于單個supertoken可能包含多種地表覆蓋類別，因此提出一種基于類別比例的軟標簽來進行監督。

步驟：

• 使用關聯矩陣過濾每個中心點下的所有像素標簽。

• 計算每個類別在supertoken中的出現頻率，生成軟標簽。這種方法確保了標簽能夠反映supertoken內所有類別的比例，從而提高分類精度。

結果和精度

DSTC模型通過有效的光譜supertoken生成和分類方法，在多個高光譜圖像數據集上展示了其強大的分類性能和計算效率。實驗結果表明，該模型在處理類別不平衡和提高分類精度方面具有顯著優勢，是一種有效的高光譜圖像分類方法。

WHU-OHS 數據集精度

IP, KSC, 和UP 數據集精度

消融實驗