Science:基于CMOS的幾何深光學傳感

taotao_2016 2023-09-28 發布于北京

展開全文

研究成果

光學傳感設備測量入射光束的豐富物理特性，如其功率、偏振狀態、光譜和強度分布。大多數傳統的傳感器，如功率計、偏光計、光譜儀和照相機，都是功能單一且體積龐大的。例如，經典的傅里葉變換紅外光譜儀和偏振儀，它們分別表征光在紅外和偏振狀態下的光譜，可以占據光學表的相當一部分。在過去的十年中，利用小型化設備和先進的機器學習算法的集成傳感解決方案的發展迅速加速，光學傳感研究已經發展成為一個高度跨學科的領域，涵蓋了器件和材料工程、凝聚態物理和機器學習。為此，未來的光學傳感技術將受益于器件架構的創新、新量子材料的發現、以前未表征的光學和光電子現象的演示，以及定制機器學習算法的快速發展。

美國巴伊蘭大學工程學院Fengnian Xia團隊介紹了一個新興的概念，稱為“幾何深度光學傳感”，它是基于最近在先進光學傳感和成像領域的一些演示，其中可重構傳感器(或其陣列)可以直接解碼未知入射光束的豐富信息，包括其強度、光譜、偏振、空間特征和可能的角動量。介紹了這一概念的物理、數學和工程基礎，特別強調了經典幾何和量子幾何以及深度神經網絡的作用。此外，還討論了這一新興方案可能帶來的新機遇以及與未來發展相關的挑戰。相關研究以“Geometric deep optical sensing“發表在“Science”期刊上。

深光傳感原理圖

將n維未知信息(w)通過可重構傳感器(或其陣列)編碼為m維光響應向量(x)，通過訓練后的神經網絡(n ' = n, w '≈w)從中重構w '，或者直接解碼x以獲取w的某些屬性。這里，w、x、w '可視為各自高維向量空間中的點。

一般來說，從信息論(61)的角度來看，(光學)傳感過程可以理解如下(圖1A):傳感器作為編碼器，將未知的高維物理量轉換為傳感器輸出;與噪聲測量過程相對應的通道讀取傳感器輸出;解碼器破譯編碼的高維信息。在這里，高維物理量可以用一個向量w來表征，它代表了光束的固有物理性質，如功率、光譜、偏振狀態、空間或時間性質，或者這些性質的組合。向量w可以看作是維數為n (w∈∑n)的向量空間中的一個點(圖1B)。在傳統的傳感方案中，直接確定這樣的矢量需要使用不同類型的光學元件(如分束器、波片、濾波器、色散光柵和功率計)進行一系列測量，然后進行數據處理步驟。在這里介紹的傳感方案中，首先通過單個傳感器或其陣列將w編碼為響應向量x，該響應向量x用于捕獲空間、光譜、極化和/或時間信息。向量x可以看作維數為m (x∈∑m)的向量空間中的一個點(圖1B)。它可以被直接解釋為捕獲w的某些屬性，或者解碼為向量w '以重建w的所需物理量。

圖1所示。深層光學傳感的信息論觀點。

(A)編碼器(光學傳感器或傳感器陣列)將未知的n維物理信息w∈∑n轉換為電輸出，通道對應于讀取m維輸出x∈∑m的噪聲測量過程，解碼器重構信息w′∈∑n。(B)向量w和x可以分別看作n維和m維向量空間中的點。一個數學工具，例如，一個訓練過的神經網絡，可以把x映射到w '，從∑m再映射到∑n。高性能傳感器能夠準確地捕獲未知信息，使得重構后的w′接近于w in。W和W′分別用帶實心邊和虛線邊的紅色空心點表示。X用在∑(X)中藍色的空心點表示。或者，可以直接對x求值以獲取w的某些特征。

雖然光響應向量x本身可能包含有關w的某些特征的有價值的信息，但通常需要解碼器來解碼和重建原始物理信息以完成傳感過程。在本節中，我們將討論光學傳感中用于將傳感器響應映射到原始物理信息(或直接從x中捕獲一些感興趣的信息)的兩類一般模型:分析型(圖3A)和數據驅動型(圖3B)。分析模型需要對編碼器有全面的了解，而數據驅動模型通常使用帶有實驗光響應數據的神經網絡。此外，存在其他方法，不屬于上述兩種模型中的任何一種，但可以代表解碼光學信息的替代未來途徑。例如，未經訓練的隨機初始化神經網絡已被證明在圖像生成和恢復中是有效的(80,81)，卷積神經網絡之后的解析算法已被用于解決逆問題。

圖3所示。信息解碼途徑。

(A)使用解析方法從m維光響應向量中提取n維信息的示意圖，如果編碼過程(為簡單起見沒有顯示)可以明確建模。(B)在傳感中使用數據驅動模型的示意圖。可重構設備(或其陣列)用作編碼器以生成m維光響應向量，并使用訓練過的神經網絡作為解碼器以解碼n維信息(n ' = n)。傳感器本身也可以作為神經網絡的一部分。此外，可以直接從m維光響應中提取n維信息的所需特征。(C)流形在概念三維參數空間中的示意圖。對于分析模型，通常需要較小的參數空間(藍色曲面)來捕獲信息，而對于數據驅動模型，則需要較大的參數空間(紅色曲面)。

數據驅動模型有幾個獨特的優勢，使它們適合先進的傳感應用。首先，數據驅動模型可以用作解碼器來利用現有的實驗結果，即使在分析模型不可訪問的情況下也是如此。如圖3B所示，神經網絡經過訓練后，可以在不涉及任何特定數學關系的情況下對響應進行解釋。第二，不同類型的物理信息可以同時被破譯，只要訓練過程考慮到它們。第三，由于數據驅動模型的輸出不限于光的特定物理特性，因此可以實現功能性多路復用。例如，可以使用訓練好的神經網絡將成像和分類功能結合起來，這大大降低了整個系統的復雜性。

同時，數據驅動模型需要獲取足夠的訓練數據，在監督學習的情況下，這些訓練數據需要被正確標記。如果它們的特性在操作過程中沒有實質性的變化，那么傳感器只需要由制造商進行一次培訓或校準，而最終用戶不必經歷這個過程。數據增強方法，如插值和數據合成，可用于擴展訓練數據集(85)。除了模型的初始訓練外，在操作期間的重新校準也適用于分析模型和數據驅動模型中的傳感器。選擇可靠的參考對于在重新校準中部署傳感器至關重要，因為實驗室級別的校準可能不可用。好的參考應具有特定的和穩定的特征，測量它們將為重新校準提供足夠的信息。例子包括棋盤和美國空軍(USAF) 1951年的成像目標，以及用于光譜學的元素和分子譜線。重新校準應側重于與漂移和退化直接相關的參數，這需要對傳感器的物理特性有全面的了解。

制造和環境變化以及測量噪聲是需要考慮的進一步問題。傳感器可能對制造變化和環境條件(如溫度、濕度和雜散光)敏感。先進的包裝方案可以增加對這些條件的耐受性。如果理解得好，這些變化的影響可以在數值上得到補償。通過優化編碼過程并考慮傳感器的物理特性和傳感要求，可以將測量噪聲降至最低。設計特定于應用程序的編碼策略對于實現效率和準確性至關重要。例如，關注受目標光譜特征強烈影響的操作狀態可以提高光譜感知的性能。

無論采用何種模型，光響應向量的維數m是由測量參數空間決定的。用于表征光響應矢量的參數可以是多種多樣的。例如，在可調諧雙柵極傳感器(25,47)中，頂部(VTG)和底部(VBG)柵極偏置是共同形成二維參數空間的典型參數。根據傳感應用的不同，光電流產生路徑中的偏置電壓、環境溫度、施加在傳感器上的負載和外部磁場也可能是光電流測量的參數之一。一個概念性的三維參數空間如圖3C所示，用軸P1、P2和P3表示。在實踐中，參數空間可以通過一組約束縮減到一個流形(圖3C中的綠色表面)，在這個流形上測量光響應。當應用分析模型時，對傳感器的理解通常是廣泛的。因此，可以使用較小的參數空間。例如，在先前演示的雙柵黑磷光譜儀中，已知在電荷中性時，光響應最高，帶隙調諧有效(25)。因此，不需要在VTG和VBG的整個二維參數空間中進行光響應測量，而是可以在VTG和VBG共同不產生凈摻雜的一維線中進行光響應測量。在數據驅動的模型中，對傳感器的理解并不一定需要如此全面。在這種情況下，通常需要更大的參數空間來充分捕捉未知光的信息，如(47)所示，其中使用了VTG和VBG的二維參數空間。圖3C中較大(紅色)和較小(藍色)的區域分別表示這兩種類型的參數空間。

圖5所示。深度神經網絡偏振和波長檢測。

用于演示偏振計和波長檢測的卷積神經網絡原理圖。輸入層是測量的20像素乘26像素的光電壓(Vph)映射(最左邊的面板)，輸出是一個五元素向量，S^ 0,S^1,S^2,S^3，λ^。該映射編碼了入射5 μm光的偏振和波長信息，由20 × 26像素組成，對應20個頂柵電壓(VTG)值和26個后柵電壓(VBG)值。隱藏層由第一層卷積層、最大池化層、第二層卷積層和隨后的三個全連接層組成。Stokes參數可以用S^0,S^1,S^2,S^3直接計算。波長標記λ^=染色1分別對應于5 μm和7.7 μm。[經施普林格·自然客戶服務中心有限公司許可改編，施普林格·自然(47)，版權(2022)]

除了上述圖像識別和處理功能外，還可以使用可重構傳感器同時檢測多種物理特性。正如“信息編碼機制”一節所討論的，通過使用BPVE，偏振狀態、波長和功率信息可以編碼成二維光響應圖(47)，如圖5最左邊的面板所示。雖然BPVE的機制在量子幾何框架內得到了很好的理解，但由于莫爾系統的外在復雜性，如有限溫度、無意應變和扭角無序，對測量光響應的精確分析建模是不可實現的(67)。相反，卷積神經網絡可以通過使用大量具有已知物理性質的激發光的2D映射來訓練解碼器。然后，訓練好的卷積神經網絡可以用來破譯二維映射，以揭示未知光的波長、功率和偏振狀態(47)，如圖5所示。隨著傳感任務變得越來越復雜和苛刻，我們期望深度神經網絡發揮越來越重要的作用。

總結與展望

隨著計算資源的不斷增加，光傳感的計算能力越來越強，器件的可重構性在其中起著關鍵作用。一方面，包括深度神經網絡在內的先進算法將能夠有效解碼高維光響應向量，從而降低傳感器的物理復雜性。因此，將存儲單元集成在傳感器附近或內部，以實現對大量光響應數據的有效處理和解釋，這將是非常重要的。另一方面，基于神經網絡的模擬計算可以通過一系列可重構設備進行，從而實現傳感和計算功能的直接多路復用。我們預計這兩個方向將成為未來深度傳感研究的工程前沿。在科學前沿，探索新型量子材料在線性和非線性光物質相互作用中的量子幾何和拓撲特性將豐富深度光學傳感的信息編碼途徑。此外，深度傳感方案將繼續受益于機器學習的最新發展。未來高度緊湊、多功能、可重構和智能的傳感器和成像儀將應用于醫學成像、環境監測、紅外天文學以及我們日常生活的許多其他領域，特別是在移動領域和物聯網領域。

文獻鏈接