|
盡管像ChatGPT這樣的大型語言模型取得了顯著的成功，但支持這些系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)（ANN）可能存在問題。 首先，人工神經(jīng)網(wǎng)絡(luò)非常耗電。其次，它們?nèi)狈ν该鞫龋馕吨@些系統(tǒng)如此復(fù)雜，以至于我們無法真正理解它們是如何工作的，以及為什么它們能如此有效地工作。這種復(fù)雜性使得人工神經(jīng)網(wǎng)絡(luò)很難通過類比進(jìn)行推理，而類比推理正是人類的一種思考方式——用符號表示對象、概念及其之間的關(guān)系。這表明，當(dāng)前的人工神經(jīng)網(wǎng)絡(luò)可能需要在某些方面進(jìn)行改進(jìn)，以解決這些問題。 人工神經(jīng)網(wǎng)絡(luò)的不足之處可能主要源于它們的基本結(jié)構(gòu)和構(gòu)建模塊：單個(gè)人工神經(jīng)元（individual artificial neurons）。每個(gè)神經(jīng)元負(fù)責(zé)接收輸入、執(zhí)行計(jì)算并產(chǎn)生輸出。現(xiàn)代的ANN是由這些計(jì)算單元構(gòu)成的復(fù)雜數(shù)字網(wǎng)絡(luò)，經(jīng)過訓(xùn)練后可以完成特定任務(wù)。
然而，ANN的局限性很明顯。舉例來說，考慮一個(gè)用于區(qū)分圓形和正方形的ANN。一種實(shí)現(xiàn)方式是在輸出層使用兩個(gè)神經(jīng)元，一個(gè)表示圓形，另一個(gè)表示正方形。如果你還希望這個(gè)ANN能識別形狀的顏色（藍(lán)色或紅色），則需要四個(gè)輸出神經(jīng)元：分別表示藍(lán)色圓形、藍(lán)色正方形、紅色圓形和紅色正方形。隨著需要識別的特征數(shù)量增加，所需的神經(jīng)元數(shù)量也會相應(yīng)增加。這意味著現(xiàn)有的ANN結(jié)構(gòu)在處理更多特征時(shí)可能會變得更加復(fù)雜和低效。 我們的大腦感知自然世界的方式不可能是通過單個(gè)神經(jīng)元來表示不同的信息。例如，我們不會在大腦中有一個(gè)專門用來檢測紫色大眾汽車的神經(jīng)元。相反，大腦中的信息是由許多神經(jīng)元的活動共同表示的。這意味著，感知紫色大眾汽車的概念不是由一個(gè)神經(jīng)元的活動來表示的，而是由成千上萬個(gè)神經(jīng)元的活動共同表示的。當(dāng)這些神經(jīng)元以不同的方式激活時(shí)，它們可以表示完全不同的概念，例如粉紅色的凱迪拉克汽車。這種觀點(diǎn)強(qiáng)調(diào)了大腦對信息編碼的復(fù)雜性和多樣性。 這是一種高維計(jì)算（hyperdimensional computing）。在這種方法中，每個(gè)信息片段（例如汽車的概念、品牌、型號或顏色等）都被表示為一個(gè)單一實(shí)體：高維向量（hyperdimensional vector）。
向量是一個(gè)有序的數(shù)字?jǐn)?shù)組。以三維向量為例，它包含三個(gè)數(shù)字：三維空間中一個(gè)點(diǎn)的x、y和z坐標(biāo)。高維向量（也稱為超向量）可以是包含10,000個(gè)數(shù)字的數(shù)組，表示在10,000維空間中的一個(gè)點(diǎn)。這種方法涉及的數(shù)學(xué)對象和代數(shù)操作非常靈活和強(qiáng)大，有助于現(xiàn)代計(jì)算突破當(dāng)前的局限，并推動一種新的人工智能方法的發(fā)展。 這預(yù)示著一個(gè)全新的計(jì)算世界。在這個(gè)世界里，計(jì)算過程將變得更加高效和穩(wěn)定，同時(shí)，機(jī)器所做的決策過程將是完全透明的，使人們能夠更好地理解和控制這些決策。 進(jìn)入高維空間為了理解超向量如何實(shí)現(xiàn)計(jì)算，讓我們回到紅圓和藍(lán)方形的圖像。了表示變量（如形狀和顏色）以及它們可能的值（如圓形、正方形、藍(lán)色和紅色），我們需要不同的向量。向量之間的獨(dú)特性可以通過正交性（即相互垂直）來量化。在三維空間中，有三個(gè)相互正交的向量；而在10,000維空間中，有10,000個(gè)這樣的向量。 然而，如果允許向量近似正交，那么高維空間中這種不同向量的數(shù)量會大幅增加。在一個(gè)10,000維空間中，有數(shù)百萬個(gè)近似正交的向量。這意味著在高維空間中，有大量的向量可以用來表示不同的信息，從而為高維計(jì)算提供了基礎(chǔ)。
現(xiàn)在，讓我們創(chuàng)建獨(dú)特的向量來表示形狀（SHAPE）、顏色（COLOR）、圓形（CIRCLE）、正方形（SQUARE）、藍(lán)色（BLUE）和紅色（RED）。在高維空間中有很多可能的近似正交向量，因此你可以為這六個(gè)屬性分配六個(gè)隨機(jī)向量，它們幾乎可以保證是近似正交的。這里的“近似正交”意味著這些向量之間的關(guān)系非常接近于正交（即相互垂直）。 在2009年的一篇具有影響力的論文中，加州大學(xué)伯克利分校紅木理論神經(jīng)科學(xué)中心的研究員Pentti Kanerva指出，制作近似正交向量的容易性是使用高維表示法的主要原因。這是因?yàn)?strong>在高維空間中，可以輕松地生成大量幾乎正交的向量來表示不同的屬性，例如形狀和顏色。 這篇論文是基于20世紀(jì)90年代中期Pentti Kanerva和Tony Plate的工作。他們獨(dú)立地開發(fā)了處理超向量（高維向量）的代數(shù)，并暗示了這種方法在高維計(jì)算中的潛在應(yīng)用。給定形狀和顏色的超向量，Kanerva 和 Plate 的系統(tǒng)向我們展示了如何使用特定的數(shù)學(xué)運(yùn)算來操作這些向量。這些數(shù)學(xué)運(yùn)算對應(yīng)于用符號處理概念的方法。這意味著我們可以用這些數(shù)學(xué)運(yùn)算來處理和操作不同概念，從而在計(jì)算中實(shí)現(xiàn)更高效、更透明的處理方式。
第一個(gè)操作是乘法，它是一種將概念組合在一起的方法。例如，將向量 SHAPE（形狀）與向量 CIRCLE（圓形）相乘，將兩者結(jié)合成表示“形狀是圓形”的概念。這個(gè)新的“綁定”向量與 SHAPE 和 CIRCLE 都近乎正交。這里所說的“綁定”向量是指將兩個(gè)向量（在這個(gè)例子中是形狀和圓）通過某種操作（如乘法）組合在一起的結(jié)果。這個(gè)新的綁定向量與原始的 SHAPE 和 CIRCLE 向量近乎正交，這意味著它們之間的關(guān)系非常微弱，幾乎獨(dú)立。 綁定向量中的單個(gè)元素（形狀或圓）可以恢復(fù)，這意味著你可以從綁定向量中提取原始的信息。從綁定向量中獲取有關(guān)信息時(shí)非常重要。例如，在這個(gè)情景中，給定一個(gè)表示大眾汽車的綁定向量，你可以對其進(jìn)行解綁操作，從中檢索到表示顏色的向量，即紫色。這使得你能夠從組合的概念中提取和了解其各個(gè)組成部分。 第二個(gè)操作是加法，它用于創(chuàng)建一個(gè)表示概念疊加的新向量。例如，你可以將兩個(gè)綁定向量，“形狀是圓形”和“顏色是紅色”，相加以創(chuàng)建一個(gè)表示紅色圓形的向量。同樣，疊加后的向量可以分解成其組成部分。這意味著，通過這種方法，你可以將不同的概念組合在一起，并在需要時(shí)將它們拆分開。 第三種操作是置換，它包括重新排列向量的各個(gè)元素。例如，如果你有一個(gè)三維向量，其值標(biāo)為x、y和z，置換可能會將x的值移到y(tǒng)，y的值移到z，z的值移到x。Kanerva表示，置換允許構(gòu)建結(jié)構(gòu)并處理按順序發(fā)生的事物。 考慮用超向量A和B表示的兩個(gè)事件。我們可以將它們疊加成一個(gè)向量，但這會破壞關(guān)于事件順序的信息。將加法與置換相結(jié)合可以保留順序信息，然后通過逆轉(zhuǎn)操作按順序檢索事件。 這三個(gè)操作共同構(gòu)成了一種超向量的形式代數(shù)，允許進(jìn)行符號推理。但是，包括Olshausen在內(nèi)的許多研究人員對高維計(jì)算的潛力理解得很慢。他說：“它就是沒法讓人理解。” 高維計(jì)算的力量
在2018年，Olshausen的一名學(xué)生Eric Weiss展示了高維計(jì)算的一種獨(dú)特能力。Weiss找到了一種方法，可以將一個(gè)復(fù)雜圖像表示為一個(gè)單獨(dú)的高維向量，該向量包含了圖像中所有對象的信息，包括它們的屬性，如顏色、位置和尺寸。 隨后，更多的研究團(tuán)隊(duì)開始開發(fā)高維算法，以復(fù)制深度神經(jīng)網(wǎng)絡(luò)在大約20年前開始處理的一些簡單任務(wù)，例如對圖像進(jìn)行分類。這意味著高維計(jì)算逐漸成為一個(gè)研究領(lǐng)域，并在處理某些任務(wù)時(shí)展現(xiàn)出潛力。 例如，考慮如何使用高維計(jì)算來識別手寫數(shù)字。首先，算法從帶有標(biāo)簽的手寫數(shù)字圖像數(shù)據(jù)集中提取特征，并為每個(gè)圖像創(chuàng)建一個(gè)高維向量（超向量）。接著，它將所有表示 0 的圖像的超向量相加，形成一個(gè)代表 0 概念的超向量。同樣的方法應(yīng)用于其他數(shù)字，最終創(chuàng)建了 10 個(gè)類別超向量，每個(gè)數(shù)字對應(yīng)一個(gè)。 當(dāng)給定一個(gè)未標(biāo)記的圖像時(shí)，算法會為這個(gè)新圖像創(chuàng)建一個(gè)超向量，并將其與存儲的類別超向量進(jìn)行比較。這種比較可以確定新圖像最接近哪個(gè)數(shù)字，從而實(shí)現(xiàn)手寫數(shù)字識別。 高維計(jì)算的優(yōu)勢在于能夠通過組合和分解高維向量進(jìn)行推理。最近的一個(gè)例子是2022年3月，IBM蘇黎世研究中心的Abbas Rahimi及其同事成功利用高維計(jì)算與神經(jīng)網(wǎng)絡(luò)解決了抽象視覺推理領(lǐng)域的一個(gè)經(jīng)典問題。這個(gè)問題對于普通的人工神經(jīng)網(wǎng)絡(luò)，甚至對某些人來說都是一個(gè)極具挑戰(zhàn)性的問題。這個(gè)問題被稱為漸進(jìn)矩陣測試（Raven's Progressive Matrices），其任務(wù)是在一個(gè)3×3的網(wǎng)格中展示一系列幾何圖形圖像。網(wǎng)格中有一個(gè)空白位置。參與者需要從一組候選圖像中選擇一個(gè)最適合填入空白位置的圖像。
為了使用高維計(jì)算解決這個(gè)問題，該團(tuán)隊(duì)首先創(chuàng)建了一個(gè)高維向量字典，用以表示每個(gè)圖像中的對象以及與這些對象相關(guān)的屬性組合。然后，他們訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)，使其能夠檢查圖像并生成一個(gè)雙極高維向量（元素可以是+1或-1），這個(gè)向量盡可能地接近字典中高維向量的某種疊加。這樣一來，生成的高維向量就包含了圖像中所有對象及其屬性的信息。通過這種方法，研究者們引導(dǎo)神經(jīng)網(wǎng)絡(luò)進(jìn)入一個(gè)有意義的概念空間，從而使其能夠理解和處理圖像中的對象和屬性。 當(dāng)網(wǎng)絡(luò)為每個(gè)上下文圖像和每個(gè)候選空白位圖像生成高維向量后，另一個(gè)算法分析這些高維向量，為每個(gè)圖像中的對象數(shù)量、大小和其他特征創(chuàng)建概率分布。這些概率分布揭示了上下文和候選圖像的可能特征，可以將其轉(zhuǎn)換為高維向量，從而利用代數(shù)預(yù)測填補(bǔ)空白位的最可能候選圖像。 他們的方法在一組問題上的準(zhǔn)確率接近88%，而僅使用神經(jīng)網(wǎng)絡(luò)的解決方案準(zhǔn)確率不足61%。這意味著他們的方法比僅依賴神經(jīng)網(wǎng)絡(luò)的方法更準(zhǔn)確。另外，該團(tuán)隊(duì)還證明了對于3x3網(wǎng)格，他們的系統(tǒng)比使用符號邏輯規(guī)則進(jìn)行推理的傳統(tǒng)方法快了近250倍。這是因?yàn)閭鹘y(tǒng)方法在進(jìn)行推理時(shí)，需要在龐大的規(guī)則庫中搜索以確定正確的下一步，而他們的系統(tǒng)無需這樣做，從而大大提高了計(jì)算速度。 一個(gè)有前景的開端高維計(jì)算不僅讓我們能夠符號化地解決問題，還解決了傳統(tǒng)計(jì)算的一些棘手問題。當(dāng)今計(jì)算機(jī)的性能在遇到隨機(jī)比特翻轉(zhuǎn)（例如，0變成1）等錯(cuò)誤時(shí)，如果內(nèi)置的糾錯(cuò)機(jī)制無法糾正這些錯(cuò)誤，性能會迅速下降。此外，這些糾錯(cuò)機(jī)制可能會給性能帶來高達(dá)25%的損失。
與傳統(tǒng)計(jì)算相比，高維計(jì)算在面對錯(cuò)誤時(shí)更有容錯(cuò)能力。即使高維向量遭受大量隨機(jī)比特翻轉(zhuǎn)，它仍然接近原始向量。因此，在出現(xiàn)錯(cuò)誤時(shí)，使用這些向量進(jìn)行的推理不會受到太大影響。已經(jīng)證明，這些系統(tǒng)至少比傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)具有10倍的硬件容錯(cuò)能力，而傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)本身已經(jīng)比傳統(tǒng)計(jì)算架構(gòu)具有更高的彈性。這意味著可以利用這種彈性來設(shè)計(jì)更高效的硬件。 高維計(jì)算的另一個(gè)優(yōu)點(diǎn)是透明性：代數(shù)能清晰地解釋系統(tǒng)為什么會選擇某個(gè)答案。然而，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)并沒有這個(gè)特點(diǎn)。Olshausen、Rahimi等人正在開發(fā)一種混合系統(tǒng)，該系統(tǒng)中神經(jīng)網(wǎng)絡(luò)將物理世界中的事物映射到高維向量，接著高維代數(shù)就會接管處理。Olshausen表示，這種方式使得諸如類比推理這類問題變得容易解決。他認(rèn)為，我們對任何AI系統(tǒng)的期望應(yīng)該是能夠像理解飛機(jī)或電視機(jī)一樣去理解它。 所有這些優(yōu)勢都表明高維計(jì)算非常適合新一代極其穩(wěn)固、低功耗的硬件。高維計(jì)算還與“內(nèi)存計(jì)算系統(tǒng)”兼容，這種系統(tǒng)在存儲數(shù)據(jù)的硬件上執(zhí)行計(jì)算，而不是像現(xiàn)有的馮·諾伊曼計(jì)算機(jī)那樣在內(nèi)存和中央處理器之間低效地傳輸數(shù)據(jù)。 這些新設(shè)備中的一些是模擬設(shè)備，它們在非常低的電壓下運(yùn)行，這使得它們能效高，但也容易受到隨機(jī)噪聲的影響。在馮·諾伊曼計(jì)算中，這種隨機(jī)性是一個(gè)難以克服的障礙。然而，高維計(jì)算可以克服這個(gè)障礙，突破這個(gè)限制。 盡管高維計(jì)算具有許多優(yōu)勢，如透明性、錯(cuò)誤容忍性和適應(yīng)性，但它仍處于初級階段。現(xiàn)在，研究人員需要針對實(shí)際問題和更大規(guī)模的場景對其進(jìn)行測試，以使其更接近現(xiàn)代神經(jīng)網(wǎng)絡(luò)的規(guī)模。面對大規(guī)模問題，高維計(jì)算需要非常高效的硬件。隨著時(shí)間的推移，高維計(jì)算領(lǐng)域有望解決這些問題并揭示更多高維空間的秘密。目前，這只是使用向量計(jì)算的起點(diǎn)。 |
|
|
