|
盡管ChatGPT和其他大型語言模型取得了巨大的成功，但支撐這些系統的人工神經網絡（Artificial Neural Networks，簡稱ANNs）可能正在走錯方向。 首先，人工神經網絡“非常耗電”，馬里蘭大學的計算機科學家康妮莉婭·費米勒（Cornelia Fermüller）表示，“此外它們還缺乏透明度”。這些系統非常復雜，沒有人真正理解它們在做什么，或者為什么能夠如此出色地工作。然而，這也導致它們幾乎不可能像人類一樣通過類比來推理，用符號來表示對象、觀念以及它們之間的關系。 這些缺陷可能源自當前人工神經網絡的結構和構建單元：個別的人工神經元。每個神經元接收輸入，執行運算，并產生輸出。現代神經網絡是由這些計算單元構成的復雜網絡，經過訓練以執行特定任務。 然而，人工神經網絡的局限性早已顯而易見。例如，想象一個能夠區分形狀（圓形和正方形）的神經網絡。一種方法是在其輸出層中使用兩個神經元，一個表示圓形，另一個表示正方形。如果我們還需要這個神經網絡辨別形狀的顏色（藍色或紅色），就需要四個輸出神經元：分別代表藍色圓形、藍色正方形、紅色圓形和紅色正方形。更多的特征意味著需要更多的神經元。 自然世界充滿各種變化，這不可能是我們的大腦感知自然世界的方法。加州大學伯克利分校的神經科學家布魯諾·奧爾斯豪森（Bruno Olshausen）表示：“否則你必須假設，每個可能的組合在你的大腦中都有一個對應的檢測神經元。比如說，專門檢測紫色大眾汽車的神經元。”  -DeepMind Design - 相反，奧爾斯豪森和其他人認為，大腦中的信息是由許多神經元的活動所表示的。因此，對于紫色大眾汽車的感知并不是通過單個神經元的活動編碼，而是成千上萬個。同一組神經元以不同的方式激活，可以代表完全不同的概念，比如粉色凱迪拉克。 這是一種被稱為超維度計算（hyperdimensional computing）的徹底不同的計算方法的起點。關鍵在于，每個信息片段，例如汽車這個概念，它的品牌、型號或顏色，或者所有這些的綜合，都被表示為一個單獨的實體：一個超維度向量。 向量簡單來說就是一組有序的數字數組。例如，一個三維向量由三個數字組成：三維空間中一個點的x、y和z坐標。一個超維度向量，或者稱為超向量，可以是一個包含一萬個數字的數組，用來表示一萬維空間中的一個點。這些數學對象及其操作代數足夠靈活和強大，可以將現代計算推向超越某些當前限制的新領域，并促進一種新的人工智能方法的發展。 “這是我整個職業生涯中最令我興奮的事情，”奧爾斯豪森說道。對他和許多其他人來說，超維度計算承諾了一個全新的世界，在這個世界中，計算高效而穩健，機器決策完全透明。  - Mikael MOUNE - 進入高維空間 為了理解超向量如何實現計算，讓我們回到有紅色圓形和藍色正方形的圖像。首先，我們需要向量來表示變量“形狀”和“顏色”。然后，我們還需要向量來表示可以分配給這些變量的值：“圓”、“正方形”、“藍色”和“紅色”。 這些向量必須是不同的。這種不同可以通過一種名為正交性的屬性來量化，它表示彼此垂直。在三維空間中，有三個相互垂直的向量：一個沿著x方向，另一個沿著y方向，第三個沿著z方向。在一萬維空間中，有一萬個這樣相互正交的向量。 但是，如果我們允許向量近似正交，那么在高維空間中這樣的不同向量的數量會急劇增加。在一萬維空間中，存在數百萬個近似正交的向量。 現在讓我們創建不同的向量來表示“形狀”、“顏色”、“圓形”、“正方形”、“藍色”和“紅色”。由于在高維空間中存在許多可能近似正交的向量，我們可以簡單地分配六個隨機向量來表示這六個項目；它們幾乎可以確保是近似正交的。加州大學伯克利分校紅木中心理論神經科學研究員彭蒂·卡內爾瓦（Pentti Kanerva）在2009年的一篇有影響力的論文中寫道：“制作近似正交向量的簡便，是使用超維度表示的主要原因之一。”  加州大學伯克利分校神經科學研究員彭蒂·卡內爾瓦（左）與布魯諾·奧爾斯豪森 — Chris Kymn 這篇論文是基于20世紀90年代中期彭蒂·卡內爾瓦和托尼·普拉特（Tony Plate）的工作而建立的。當時，托尼·普拉特是杰夫·辛頓（Geoff Hinton）在多倫多大學的博士生。這兩位獨立地開發了用于操作超向量的代數，并暗示了它在高維計算中的用處。 有了彭蒂·卡內爾瓦和托尼·普拉特開發的系統，我們可以對我們創建的形狀和顏色的超向量進行某些數學運算的操作。這些操作對應著符號化的操作概念。 第一個操作是乘法。這個操作用于組合概念。例如，將形狀向量與圓形向量相乘，結合以表示'形狀是圓形'的概念。這個新的'結合'向量與形狀和圓形向量都近似正交。如果我們想要從結合向量中提取信息，結合向量有一個重要的特征，就是它的組成成分可以恢復。給定代表大眾汽車的結合向量，我們可以解除結合并取回其顏色向量：紫色。 第二個操作是加法。這個操作能創建表示概念疊加的新向量。例如，將兩個結合向量“形狀是圓形”和“顏色是紅色”相加，以創建一個表示紅色圓形的向量。同樣，疊加向量可以分解為其組成部分。 第三個操作是排列。這個操作涉及重新排列向量的各個元素。例如，如果有一個標有x、y和z的三維向量，排列可以將x的值移到y，將y的值移到z，將z的值移到x。“排列讓你得以建立結構，”彭蒂·卡內爾瓦說。“你可以處理發生順序有時間先后的連續事件。”比如有兩個由超向量A和B表示的事件。我們可以將它們疊加成一個向量，但這樣會破壞事件的順序信息。將加法和排列組合起來使用，可以保存順序。通過逆向操作，可以按順序獲取這些事件。 綜合而言，這三個操作足以創建超向量的形式代數（formal algebra），從而實現符號推理。但是許多研究人員都需要很長才能理解超維度計算的潛力，包括彭蒂·卡內爾瓦。“超維度計算還沒有被完全理解”，他說道。  - Mikael MOUNE - 利用力量 在2015年，奧爾豪森的學生埃里克·韋斯（Eric Weiss）展示了超維度計算獨特能力的一個方面。韋斯發現了如何將復雜圖像表示為單個超維度向量，其中包含關于圖像中所有對象的信息，包括它們的屬性，如顏色、位置和大小。 “我幾乎從椅子上摔下來，”奧爾豪森說道。“突然之間燈泡亮了。” 不久，更多團隊開始開發超維度算法來復現深度神經網絡在大約二十年前開始解決的簡單任務，例如圖像分類。 考慮一個包含手寫數字圖像的標注數據集。算法使用某種預定的方案分析每個圖像的特征，然后為每個圖像創建一個超向量。接下來，算法將所有零的超向量相加，創建表示零的超向量。然后對所有數字做同樣的操作，創建10個“類別”超向量，每個數字一個。 現在，算法給出一個無標簽的圖像。它為這個新圖像創建一個超向量，然后將超向量與存儲的類別超向量進行比較。這個比較確定新圖像與哪個數字最相似。  蘇黎世 IBM 研究院的計算機科學家阿巴斯·拉希米 — Abbas Rahimi 然而，這只是一個開始。超維度計算的優勢在于能夠組合和分解超向量進行推理。最新的演示是在今年三月，當時阿巴斯·拉希米（Abbas Rahimi）和他在IBM瑞士研究中心的同事們使用超維度計算結合神經網絡解決了一個抽象視覺推理中的經典問題——這對于典型的人工神經網絡甚至一些人類來說都是一個重大挑戰。這個問題被稱為雷文漸進矩陣（Raven's progressive matrices），它展示了幾何對象的圖像，比如在一個3×3的網格中，其中一個位置是空白的。研究對象必須從一組候選圖像中選擇最適合空白位置的圖像。 “我們說，'這真的是……視覺抽象推理的殺手級例子，我們來試試吧。’”拉希米說。 為了使用超維度計算解決這個問題，團隊首先創建了一個超向量字典，用于表示每個圖像中的對象；字典中的每個超向量代表一個對象及其屬性的某種組合。然后，團隊訓練了一個神經網絡，用于檢查圖像并生成一個雙極超向量（元素可以是+1或-1），使其盡可能接近字典中超向量的某種疊加；生成的超向量因此包含有關圖像中所有對象及其屬性的信息。“你引導神經網絡進入一個有意義的概念空間，”拉希米說道。 一旦網絡為每個上下文圖像和每個空白位置的候選圖像生成了超向量，另一個算法會分析超向量，創建每個圖像中對象數量、大小和其他特征的概率分布。這些概率分布反映了上下文和候選圖像的可能特征，可以轉化為超向量，從而利用代數學預測最有可能填補空白位置的候選圖像。 在一個問題集上，他們的方法準確率接近88%，而僅使用神經網絡的解決方案準確率不到61%。該團隊還展示了，在3×3網格中，他們的系統比傳統的使用符號邏輯規則推理的方法快了近250倍，因為后者必須搜索一本龐大的規則書才能確定下一步的正確策略。  -Myriam Wares - 一個有希望的開端 超維度計算不僅賦予我們解決符號問題的能力，而且還解決了傳統計算中的一些棘手問題。當出現由隨機位翻轉引起的錯誤（例如0變為1或反之）無法被內置的糾錯機制糾正時，如今的計算機性能會迅速下降。此外，這些糾錯機制可能會對性能造成高達25%的損失，來自維拉諾瓦大學的計算機科學家焦遜（音譯，Xun Jiao）表示。 超維度計算對錯誤的容忍度更高，因為即使一個超向量遭受了大量的隨機位翻轉，它仍然接近于原始向量。這意味著在面對錯誤時，使用這些向量進行推理不會受到實質性的影響。焦遜的團隊已經證明，與傳統人工神經網絡相比，這些系統對硬件故障的容錯能力至少高出10倍，而傳統人工神經網絡已經比傳統計算架構的容錯能力高出數個數量級。“我們可以利用所有這些容錯性來設計一些高效的硬件，”焦遜說道。 超維度計算的另一個優點是透明性：代數運算清楚地告訴你系統為什么選擇了特定的答案。而對于傳統神經網絡來說，情況并非如此。奧爾豪森、拉希米和其他人正在開發混合系統，其中神經網絡將物理世界中的事物映射到超向量中，然后由超維度代數接管處理。“類比推理之類的事情變得輕而易舉，”奧爾豪森說道。“這是我們對任何人工智能系統的期望。我們應該能夠像理解飛機或電視機一樣理解它。” 所有這些相對于傳統計算的優勢表明，超維度計算非常適合用于新一代極其堅固、低功耗的硬件。它還與“內存計算系統（in-memory computing system）”兼容，這些系統在存儲數據的硬件上執行計算（與現有的馮·諾伊曼計算機不同，后者在內存和中央處理單元之間低效地傳輸數據）。其中一些新設備可以是模擬設備，以非常低的電壓運行，使其具有高能效，但也容易受到隨機噪聲的影響。對于馮·諾伊曼計算而言，這種隨機性是“無法逾越的障礙”，奧爾豪森說。但是通過超維度計算，“你可以突破這個障礙。” 盡管具有這樣的優勢，超維度計算仍處于它的初級階段。“這里有真正的潛力，”費爾米勒說道。但她指出，超維度計算仍然需要在真實世界的問題中，以更大的，接近現代神經網絡的規模測試。 “解決大規模問題，需要非常高效的硬件，”拉希米說。“例如，如何高效地搜索10億個項目？” 所有這些都需要時間，卡內爾瓦表示。“高維空間還隱藏著其他秘密，”他說道。“我認為這只是使用向量進行計算的起點。” 后記 |
|
|
