|
近年來，大量關于腦機接口（BCI）的研究發表。然而，現有的大多數研究中刺激目標數量還不夠多，不適合許多實際應用。來自中科院半導體研究所的Sun等人使用4個31-bits的金氏碼（gold codes）編碼刺激目標，每個隨機碼循環移位1位產生30個目標，提出了一種基于120個刺激編碼視覺誘發電位的腦機接口。實驗過程中，利用濾波器組對腦電信號進行預處理，采用TRCA算法對刺激目標進行檢測。此外，還考慮了漸進式掃描的影響，以提高腦電模板的時間精度。根據離線實驗結果選擇最佳的金氏碼組合，通過在線實驗對BCI系統性能進行評估。驗證了該系統同時具有指令集大（120個刺激目標）、效率高（平均ITR為265.74 bits/min）和訓練時間短（小于5 min）的優點。 被試對象：在離線和在線實驗中，招募了22名視力正常或矯正到正常的健康被試者（23歲至28歲，13名女性）。11名被試參與了離線實驗，22名被試參與了在線實驗。本研究經清華大學倫理委員會批準。在實驗過程中，被試者在一個沒有屏蔽、光線昏暗的房間里，坐在一張舒適的椅子上，距離顯示器大約60厘米。 數據采集：實驗系統由在Windows 10系統下運行的個人計算機和64通道 EEG 放大器（Syn amps2系統，Neuroscan Inc）組成。刺激由 49 英寸液晶顯示器 （LCD） 顯示器呈現，分辨率為5120 X 1440像素（三星 C49G95TSSC），刷新率為 60 Hz。刺激演示程序在帶有Psychtoolbox 3.017 的 MATLAB 2015b 上運行。事件觸發器通過并行端口從計算機發送到 EEG 放大器。在實驗過程中，所有刺激都根據它們的調制編碼同時閃爍。使用符合國際 10/20 系統的頂葉和枕葉上的9個 Ag/AgCl 電極（PO3、Pz、PO4、PO5、POz、 PO6、O1、Oz、O2）記錄c?VEP 信號。參考電極位于頂點。EEG信號以1000 Hz進行采樣，并在50 Hz下通過帶阻濾波器去除電源噪聲，放大器的通帶為 0.15?200 Hz。所有電極的阻抗都保持在10kΩ 以下。 刺激目標調制：一對31-bits的M序列可以生成31個31-bits的金氏碼，足以進行120個目標的編碼。每個金氏碼通過循環滯后1位最多可以編碼31個目標，其中120個目標可以由4個31-bits金氏碼編碼，這些金氏碼是根據離線實驗的結果選擇的。表1所示本研究中的M序列和所選擇的金氏碼，0和1分別表示刺激目標的顏色為黑色和白色。 表1. 31-bits的M序列和選定的金氏碼
圖1 實驗設置 在實驗過程中，目標和填充塊根據等鄰的原則進行刺激。圖1（c）為一個等鄰的例子，即每個區域周圍的每個填充塊的面積分別為邊緣目標的一半或者角落目標的四分之一。 離線實驗 離線實驗中，屏幕中央顯示30個刺激目標，對應一個編碼，如圖1（a）所示。被試者從15號目標（寬度為5像素的紅色框突顯）開始。31個編碼隨機刺激5個區塊。在每個區塊中，編碼序列連續重復出現12次（6.2 s），間隔為1秒。完成一個序列后，要求被試者休息1分鐘以上。之后，啟動下一個編碼對應的區域刺激。 在線實驗 訓練階段：為每個刺激目標創建120個模板，并為4個編碼創建4個空間過濾器。圖1（b）中每個區域的15號刺激（即C1_15, C2_15, C3_15, C4_15）為訓練目標（寬度為15像素的紅色幀突出顯示）。在訓練過程中，被試者在每個區塊中，連續刺激12次，總時長為6.2 s。每個區域刺激5個區塊，間隔為1秒。完成一個區域后，被試者休息30 s以上。之后，啟動下一個區域刺激。實驗場景如圖1（d）所示。 測試實驗 被試者按提示對120個刺激目標遍歷三次。實驗由每個區域由12個刺激區塊組成，重復三次。在每個區塊中，刺激目標（寬度為15像素的紅色粗體框突顯）連續不停頓，持續0.52 s。之后，一個5像素寬的紅色幀提示開始記錄數據，重復3次，每次視為1次測試，持續時間為1.55 s。然后，由數據處理程序在0.52 s內給出反饋結果。在等待結果和反饋的過程中，刺激持續，反饋以15像素寬的粗體藍色邊框顯示。在每個區域中，刺激目標隨機順序出現。區域的順序也是隨機的。在完成一個區域刺激后，被試者休息30 s以上。之后，啟動下一個區域刺激。 數據分析 如圖2所示，根據事件觸發器（在每一幀的開始）對數據時間窗（epochs，長度129點）進行切片。Δτk從事件觸發器中獲得。考慮到視覺通路的起效時間，丟棄第一次試驗的相關數據。因此，每個編碼可獲得50個數據時間窗 （10次試驗5個區塊）。之后，數據時間窗下采樣到250Hz，進行進一步處理。
圖2.離線實驗塊中每個目標的數據時間窗。 在進行特征提取和分類之前，通過優化的濾波器組對數據進行濾波。 在線實驗的數據時間窗長度與離線實驗相同，并根據離線實驗數據，采用交叉驗證的方法對濾波器組參數和算法進行優化。 目標識別 Task-RelatedComponent Analysis（TRCA）算法用于識別選定的目標。TRCA是一種特征提取算法，通過在腦電數據中加入空間濾波器，可以最大化試驗間協方差，提取與任務相關的成分。識別結果可由當前數據時間窗與各目標模板的相關系數進行求解。模板創建流程圖如圖3（a）所示，通過平均每個目標對應的數據時間窗計算出數據模板T。測試階段目標識別如圖3（b），單次試驗的測試數據Y經同一濾波器組濾波,并用4個空間濾波器通過模板T匹配識別。
圖3.目標識別流程圖. 參數優化 編碼選擇：根據離線精度從31個金氏碼中選出4個最優的金氏碼。在離線實驗中，收集了31個編碼的數據。通過數據預處理，生成每個刺激目標數據，并進行濾波，每個數據采用五次交叉驗證。然后在被試中選擇平均交叉驗證準確率最高的編碼組合作為在線實驗使用。 濾波器組優化 主要目標是確定最優通帶。首先使用網格搜索法遍歷所有有效通帶，確定最優。以交叉驗證精度最高的參數作為濾波器組的最優參數。 性能指標 信息傳輸速率（ITR）：作為衡量大多數具有多個刺激目標的BCI系統性能的指標，在本研究繼續將其作為性能指標。 其中M為刺激目標數，P為目標的分類準確率（正確分類的試驗次數與總試驗次數之比），T是單次刺激響應所需的時間，包括轉移目光和視覺刺激的時間。 被試者腦電圖特征如圖4所示。圖4（a）為所有被試者對應于編碼G1的平均腦電圖波形，反映了大腦反應是由偽隨機碼周期性調節的。圖4（b）為所有被試者Oz電極在所有試驗中對應于編碼G1的平均EEG的自相關函數，自相關系數在-0.59 ~ 0.28之間，說明所選金氏碼誘發c-VEP具有良好的自相關特征。圖4（c）為所有編碼的所有試驗的平均EEG的互相關函數，相關系數在-0.37~ 0.37之間，表明編碼間可分性較好。
圖4.EEG信號特征 編碼選擇：如圖5（a）所示為11名被試者的31465種編碼組合的5倍交叉驗證正確率（平均準確率由藍線）按降序排列。如表1所示，選擇平均準確率最高的編碼組合作為最優編碼組合。圖5 （b）為單個最優編碼組合的準確率（紅色）與平均最優編碼組合的準確率（藍色）之間的關系。各個最優編碼組合與平均最優編碼組合之間的交叉驗證準確率的平均差異為5.92%。
圖5 濾波器組優化 所有可能的通帶的準確性如圖6（a）所示。使用4hz ~ 65hz的通帶可以獲得87.76%的最高精度。圖6（b）為11名被試的單個最優通帶（紅色）與平均最優通帶（藍色）的關系，平均差值為1.42%。圖7（a）為濾波器組的精度與各個參數（nFB , a, b）的關系，圖中明顯可見當nFB = 8, a = 0.8, b = 0時，最高平均準確率為96.17%。圖7（b）為使用優化濾波器組參數后的改進，平均精度提高了8.06%。
圖6.交叉驗證準確度與通帶的關系
圖7.交叉驗證精度與濾波器組參數的關系 在線實驗 圖8給出了在線實驗的準確率和ITR，表2位具體的準確度和ITR值。結果顯示，試驗次數顯著影響在線準確性。當使用一次試驗（0.52 s）的數據時，系統獲得最高平均ITR為265.7 bits/min，平均準確率為76.58%，最低準確率為52.50%。3次試驗（1.55 s）時，平均準確率為95.02%，平均ITR為184.7 bits/min，最低準確率為86.94%。因此，對于實際應用，應根據具體需求考慮試驗次數。
圖8. 在線實驗的準確率和ITR 表2.在線實驗結果
在線實驗的混淆矩陣（x軸為真實編碼，y軸為分類算法預測的編碼）如圖9所示：圖9（a）為所有被試120個刺激目標分類的總體平均混淆矩陣。所有目標的準確率均明顯高于機會水平（最低為65.15%）。圖9（b）為所有被試的平均交叉編碼混淆矩陣，結果表明每個編碼都具有較好的辨別能力（最低為73.03%）。
圖9. 在線實驗的混淆矩陣 已有研究證實c-VEP適用于多類編碼。一個偽隨機碼可以在較短的訓練時間內生成多種類型。通過選擇合適的編碼組合，系統可以編碼大量的刺激目標。表3為現有的基于c-VEP的多刺激目標BCI系統與本研究的系統的性能比較。可以看出，與其他基于c-VEP的研究相比，本研究中的120個刺激目標BCI系統的平均準確率為76.58%，平均ITR為265.74 bits/min，具有更多的刺激目標和更高的ITR。
表3.基于c-VEP的多刺激目標BCI系統性能比較 為了在滯后1位的BCI系統中實現多目標和高性能，需要考慮三個問題:
在未來的實際應用中，通過選擇更適合腦電編碼的編碼，優化特征提取和分類算法，使用遷移學習方法進一步減少訓練時間和同步轉換為異步等方法，可以進一步提高系統性能。 參考 Qingyu Sun, Li Zheng, Weihua Pei, Xiaorong Gao, Yijun Wang, A 120-target brain-computer interface based on code-modulated visual evoked potentials, Journal of Neuroscience Methods, Volume 375, 2022, 109597,ISSN 0165-0270, https:///10.1016/j.jneumeth.2022.109597. |
|
|
