斯坦福大學新研究：聲波、光波等都是RNN

LibraryPKU 2020-01-30

展開全文

選自Reddit

作者：Ian Williamson

機器之心編譯

參與：王子嘉、魔王

斯坦福大學的一項研究發(fā)現(xiàn)：物理學中波動與 RNN 中的計算存在對應(yīng)關(guān)系。

論文地址：https://advances./content/5/12/eaay6946

GitHub 地址：https://github.com/fancompute/wavetorch

最近，機器學習與物理和數(shù)值科學的一些領(lǐng)域碰撞出了不少火花。這讓機器學習框架在物理模型優(yōu)化問題中有了用武之地，同時機器學習領(lǐng)域也在物理概念的幫助下出現(xiàn)了很多令人興奮的新模型（如神經(jīng) ODE 和哈密頓神經(jīng)網(wǎng)絡(luò)等）。

本文作者所在小組的研究重點是：物理本身就可以作為計算引擎。換句話說，作者們感興趣的是那些可以作為硬件加速器（或是專門用于快速高效的機器學習計算的模擬處理器）的物理系統(tǒng)。

他們最近發(fā)表在《Science Advances》上的論文，證明了波的物理特性可被直接映射到循環(huán)神經(jīng)網(wǎng)絡(luò)的時序變化。利用這種聯(lián)系，作者們通過 PyTorch 開發(fā)了一個數(shù)值模型，該模型證明我們可以訓練一個聲學/光學系統(tǒng)，并利用它從人類說話者錄音中準確地識別出元音。本質(zhì)上，作者們將元音元音波形引入物理模型，并允許優(yōu)化器在域內(nèi)的 1000 個點上添加和刪除材料，這個操作實際上可以當做模型的權(quán)重。

因為這個機器學習模型實際上對應(yīng)于一個物理系統(tǒng)，這也就意味著研究者可以把經(jīng)過訓練的材料分布「打印」到真實的物理設(shè)備中。其結(jié)果類似于 ASIC (Application Specific Integrated Circuit)，但只能針對特定的 RNN 計算。這令人感到非常興奮，因為這些結(jié)果表明可以在不消耗多余能量（除了脈沖本身攜帶的能量）的情況下，執(zhí)行復(fù)雜的循環(huán)機器學習計算。

以下是對這篇研究核心思想的介紹。

波動與 RNN 的聯(lián)系

這一部分將介紹 RNN 的操作與波動之間的聯(lián)系。

RNN 一步步對輸入序列的每一部分執(zhí)行相同的操作，從而將輸入序列轉(zhuǎn)換成輸出序列（圖 1A）。之前步的信息被編碼存儲在 RNN 的隱藏狀態(tài)中，隱藏狀態(tài)在每一步都會更新。正是這些隱藏狀態(tài)使得 RNN 記住過去的信息，同時學習數(shù)據(jù)中的時序結(jié)構(gòu)和長距離依賴關(guān)系。在給定時間步 t 處，RNN 同時處理輸入序列中的當前輸入向量 x_t 以及前一步傳來的隱藏狀態(tài)向量 h_t-1，從而得到輸出向量 y_t，并更新當下的隱藏狀態(tài) h_t。

圖 1：標準 RNN 與基于波的物理系統(tǒng)之間的概念比較。

訓練一個分辨元音的物理系統(tǒng)

這一部分將說明如何使用波動方程來訓練元音分類器，其主要通過構(gòu)建非均勻材料分布來實現(xiàn)。為了完成這個任務(wù)，該研究所用數(shù)據(jù)集包含 45 位男性和 48 位女性關(guān)于 10 個元音的 930 條原始錄音。在模型訓練過程中，該研究選取了關(guān)于這 3 個元音（ae、ei、iy）的 279 條錄音作為訓練集（圖 2A）。

圖 2：元音識別的設(shè)置和訓練過程示意圖。

對初始網(wǎng)絡(luò) 5 次交叉驗證訓練的結(jié)果取均值后得到的訓練集與測試集上的混淆矩陣參見圖 3（A、B）。混淆矩陣中對角線上的值定義了正確預(yù)測元音的比例，非對角線上的值則是未能正確預(yù)測的比例。從結(jié)果可以看出，初始結(jié)構(gòu)是無法完成識別任務(wù)的。

圖 3 中的 C 和 D 展示了優(yōu)化后訓練集和測試集上的最終混淆矩陣。這些結(jié)果同樣是對 5 次交叉驗證運行的結(jié)果取均值得到的。訓練后的混淆矩陣是對角占優(yōu)的，也就是說現(xiàn)在這個結(jié)構(gòu)可以執(zhí)行元音識別任務(wù)了。

圖 3：元音識別任務(wù)的訓練結(jié)果。

圖 3 中的 E 和 F 分別展示了交叉熵損失和預(yù)測準確率，橫坐標是訓練集和測試集上的訓練 epoch 數(shù)。圖中的實線表示平均值，陰影區(qū)域則是交叉驗證訓練運行的標準差。從中我們看到第一個 epoch 使損失下降了最多，而且對于準確率的提升也是最大的。從圖 3F 中可以看出，這個系統(tǒng)在訓練集上的平均準確率是 92.6 ±1.1%，而在測試集上的平均準確率是 86.3 ± 4.3%。

從圖 3 的 C 和 D 中可以觀察到系統(tǒng)在元音 ae 的識別上表現(xiàn)近乎完美，也能很好地將 iy 和 ei 分辨開來（不過準確率稍低），這種特征在測試集的未見樣本上尤為明顯。圖 3 的 G 到 I 展示了：將每個元音類的代表性樣本注入到訓練結(jié)構(gòu)中時的綜合場強分布（integrated field intensity）∑_t u_t^2。

該研究用視覺化的方式證明了，產(chǎn)生目標結(jié)構(gòu)的優(yōu)化過程將大部分信號發(fā)送至正確的地方。該任務(wù)以傳統(tǒng) RNN 作為性能基準，其分類準確率與波動方程差不多，但是它需要大量自由參數(shù)。此外，我們觀察到，訓練線性波動方程所獲得的分類準確率也是很有競爭力的，有關(guān)性能的更多細節(jié)會參見原論文。

討論

該研究提出的這種基于波的 RNN 有很多優(yōu)勢，這些優(yōu)勢使得它在處理時序編碼信息時可以得心應(yīng)手。與傳統(tǒng) RNN 不同，波動方程在從一個時間步到另一個時間步的更新過程中，通過拉普拉斯算子（圖 1E 中的稀疏矩陣）實現(xiàn)隱藏狀態(tài)元素之間的最近鄰耦合。最近鄰耦合主要得益于，波動方程是信息以有限速度傳播的雙曲型偏微分方程。因此，模擬 RNN 的隱藏狀態(tài)大小和存儲容量直接取決于傳播介質(zhì)的大小。此外，與傳統(tǒng) RNN 不同的是，波動方程遵循能量守恒約束，防止隱藏狀態(tài)和輸出信號的范數(shù)無限增長。相比之下，定義標準 RNN 更新關(guān)系的無約束密集矩陣會導(dǎo)致梯度消失和爆炸，這是傳統(tǒng) RNN 訓練過程中的主要挑戰(zhàn)。

該研究證明波動方程在概念上等價于 RNN。這種概念上的聯(lián)系為一類新的模擬硬件平臺提供了思路，在這類平臺中，演化時序在物理和數(shù)據(jù)集中都扮演著重要的角色。當我們專注于用標量波動方程描述的最普遍波動示例時，我們的結(jié)果可以很容易地擴展到其他類似于波的物理概念。這種利用物理執(zhí)行計算的方法可能促進新型模擬機器學習設(shè)備新平臺的研發(fā)，模擬設(shè)備有望比對應(yīng)的數(shù)字設(shè)備更自然高效地執(zhí)行計算。該方法的通用性進一步表明，許多物理系統(tǒng)可能是對動態(tài)信號（如光學、聲學或地震學中的動態(tài)信號）執(zhí)行類 RNN 計算的有力候選者。