論文賞讀 | TGRS | 全色和多光譜圖像融合新方法! 基于像素級集成掩碼自編碼器

論文介紹

年份：2024

作者單位：中科院空天院，清華大學

注：本篇經由論文原作者審閱

創新點

• 創新的觀測模型：作者提出了一種新的觀測模型，將LRMS（低分辨率多光譜圖像）視為HRMS（高分辨率多光譜圖像）的像素級掩碼版本，區別于傳統將LRMS視為HRMS的模糊和降采樣版本的觀點，本文的觀點與真實世界場景更為契合。

• 像素級集成掩碼自編碼器（PEMAE）：將掩碼自編碼器與像素級集成相結合。通過集成從不同掩碼模式獲得的多種重建結果來重建HRMS，從而捕獲更全面的空間和光譜信息。

• 改進的注意力機制：論文引入了一種線性交叉注意力機制，替代傳統的自注意力機制，將計算復雜度降低至線性時間。

• 集成策略：PEMAE采用了一種集成策略，將從不同掩碼模式獲得的多種重建結果進行聚合，以增強最終HRMS輸出的穩健性和準確性。

數據

NBU PansharpRSData 數據集

數據集包含來自多個衛星的多光譜圖像（LRMS）和全色圖像（PAN）配對，覆蓋了多種地形和土地覆蓋類型，為多光譜圖像融合提供了廣泛的測試場景。

鏈接：https://github.com/starboot/NBU_PansharpRSData

具體使用的衛星數據包括：

• GaoFen-1（高分一號）

• WorldView-2

• WorldView-3

• IKONOS

這些衛星數據具有不同的空間分辨率和光譜特性，涵蓋了從城市到農村、從森林到水體等多種地理環境。

方法

1. 創新的觀測模型

傳統的觀測模型通常將LRMS視為HRMS的模糊和降采樣版本，而本文提出了一種新的觀測模型，即將LRMS視為HRMS的像素級掩碼版本。這一模型的核心思想是：

• 像素級掩碼：在HRMS上應用隨機掩碼，將一些像素值置為零，形成LRMS。這樣，LRMS可以看作是HRMS的一個子集。

• 反向推理：基于這種掩碼觀測模型，論文提出通過掩碼自編碼器從LRMS中恢復HRMS。通過對多個不同掩碼模式下的重建結果進行集成，可以更準確地重建出HRMS。

2. 像素級集成掩碼自編碼器（PEMAE）

PEMAE用于在新的觀測模型下進行圖像重建。

2.1整體架構

PEMAE的整體架構如圖所示，分為編碼器和解碼器兩部分

• 編碼器：接收掩碼后的LRMS作為輸入。編碼器將這些輸入處理為特征表示。

• 解碼器：通過多個不同的掩碼模式進行重建，每種模式生成一個HRMS的估計值。最終，這些估計值通過集成策略（如簡單的殘差塊）融合在一起，生成最終的HRMS輸出。

2.2掩碼和散射過程

在模型中，LRMS經過掩碼處理后輸入編碼器。在達到解碼器之前，這些提取的特征會根據不同的散射方案被分散到多個不同的掩碼模式下，這樣解碼器可以生成多個重建結果。這些重建結果反映了不同空間關系下的HRMS估計值。

• 掩碼處理：隨機選擇像素進行掩碼，使LRMS保留一部分HRMS的像素信息。

• 散射：將掩碼后的LRMS分散到多個不同的掩碼模式下，以捕獲不同的空間關系。每種散射方案生成一個對應的掩碼HRMS。

• 重建：解碼器從散射后的特征中重建出多個HRMS的估計值。

• 集成：通過簡單的殘差塊，將這些不同模式下的HRMS估計值集成到一起，得到最終的HRMS輸出。

2.3 改進的注意力機制

由于處理的是大規模圖像，模型中的自注意力機制在計算上非常昂貴。為此，研究提出了線性交叉注意力機制，以提高計算效率。

• 線性交叉注意力：在傳統自注意力的基礎上，研究提出了一個線性復雜度的交叉注意力機制，顯著降低了時間和內存消耗。

• 使用LeakyReLU激活函數：為了更好地捕捉LRMS和PAN之間的復雜關系，模型采用LeakyReLU替代傳統的ReLU激活函數，以避免因大量零激活而導致的網絡收斂問題。

結果和精度

精度對比

reduced-resolution

full-resolution

不同集成數量解碼出的特征可視化圖

過多的集成數量會導致難以學習有區分性的特征從而導致性能的下降(如N=8的結果要比N=4的結果更差)

模型參數量