深度學習的過去，現(xiàn)在和未來

關(guān)于深度學習從人腦研究到構(gòu)建復雜算法的進化過程的一個小故事

Frank Rosenblatt working on Perceptron Cornell Chronicle, Division of Rare and Manuscript

TLDR；在此博客中，您將學習深度學習（DL）的理論方面及其發(fā)展方式，從研究人類大腦到構(gòu)建復雜算法。接下來，您將看到由著名的深度學習人員進行的幾項研究，然后他們在DL領(lǐng)域播種了幼樹，而DL現(xiàn)已發(fā)展成一棵大樹。最后，將向您介紹深度學習已奠定堅實基礎的應用程序和領(lǐng)域。

深度學習：簡史

在過去的十年中，沒有其他技術(shù)比人工智能重要。斯坦福大學的安德魯·伍（Andrew NG）稱其為'新電力'，包括Google，微軟和蘋果在內(nèi)的多家科技巨頭已經(jīng)改變了其業(yè)務戰(zhàn)略，成為'人工智能第一'的公司。我們?yōu)榇松畋砀兄x。在開始之前，讓我們了解DL的含義以及其大肆宣傳的原因。

深度學習是AI的子集，是一種計算機技術(shù)，可以使用神經(jīng)網(wǎng)絡的多個人工層來提取和轉(zhuǎn)換數(shù)據(jù)。這些層包含一組以特定狀態(tài)存在的人工神經(jīng)元。當數(shù)據(jù)發(fā)送到這些層時，每個層都從先前的層中獲取輸入，并逐步完善它們。然后，通過可不斷減少錯誤并提高其預測準確性的算法對各層進行訓練。這樣，網(wǎng)絡便學會了執(zhí)行特定任務。

> Classes of Artificial Intelligence (Image by Author)

DL與傳統(tǒng)的AI和機器學習（ML）算法相比，速度較慢，但功能更加直接和強大。因此，它們基于一種創(chuàng)新類型的模型（神經(jīng)網(wǎng)絡）在醫(yī)學，科學，社會，制造，供應鏈，機器人等不同領(lǐng)域中得到廣泛使用。如果您想知道DL的時間可以追溯到什么時候，讓我向您澄清，它畢竟不是新的。它自1940年代以來就存在。讓我們深入了解歷史，看看它們是如何不時演變的。

McCulloch-Pitts（MCP）模型

神經(jīng)網(wǎng)絡由沃倫·麥卡洛（Warren McCullough）和沃爾特·皮茨（Walter Pitts）于1944年首次提出，這是兩位芝加哥大學的研究人員，他們于1952年移居麻省理工學院，成為第一個認知科學系的創(chuàng)始人。他們的研究的標題為'神經(jīng)活動固有思想的邏輯演算'，目的是了解大腦如何通過使用許多相互連接的細胞來產(chǎn)生高度復雜的模式。同樣的理論也幫助他們使用受真實神經(jīng)元啟發(fā)的電子電路對簡單的神經(jīng)網(wǎng)絡進行建模。據(jù)學者稱，盡管存在不同的觀點和問題，但本文仍被視為人工神經(jīng)網(wǎng)絡的開端。

> Warren McCulloch and Walter Pitts (Wikipedia Commons)

神經(jīng)元的結(jié)構(gòu)以' MCP（McCulloch Pitts）神經(jīng)元'命名。MCP神經(jīng)元通常被稱為線性閾值門，因為它將輸入分為兩類。在數(shù)學上，線性階躍函數(shù)定義為

> The mathematical definition of Linear threshold gate (Image by Author)

· y代表輸出

· xi代表輸入信號

· wi代表神經(jīng)元的相應權(quán)重

· Zj代表抑制輸入

· Θ代表閾值

該功能的設計方式是，任何抑制性輸入的活動都可以在任何時間點完全阻止神經(jīng)元的興奮。

下圖是河口清（Kiyoshi Kawaguchi）的線性閾值門圖示。

> Symbolic Illustration of Linear Threshold Gate by Kiyoshi Kawaguchi

赫比學習規(guī)則

1949年，即MCP模型發(fā)明六年之后，唐納德·赫布（Donald O. Hebb）在他的名為'行為的組織'的研究中加強了神經(jīng)元的概念。由于他在深度學習方面做出的巨大貢獻，他還被稱為神經(jīng)網(wǎng)絡之父。

> Donald Hebb (SRC: UBC Open Collections)

現(xiàn)在，讓我們看看' Hebbian規(guī)則'是關(guān)于什么的；它指出，隨著這兩個單元同時出現(xiàn)的頻率增加，應加強兩個單元之間的聯(lián)系。

為了理解規(guī)則，以下是他的書摘錄，

'當細胞A的軸突足夠接近以激發(fā)細胞B并反復或持續(xù)參與激發(fā)它時，一個或兩個細胞中都會發(fā)生某些生長過程或代謝變化，使得作為激發(fā)細胞B的細胞之一，作為效率，增加了。'

上面的陳述描述了神經(jīng)元活動如何影響神經(jīng)元之間的連接，即突觸可塑性。它提供了一種更新神經(jīng)網(wǎng)絡內(nèi)神經(jīng)元連接權(quán)重的算法。總結(jié)他的研究，以下是Hebbian學習機制的三個主要收獲：

· 神經(jīng)網(wǎng)絡中神經(jīng)元連接之間的信息以權(quán)重的形式存儲。

· 權(quán)重的更新與神經(jīng)元激活值的乘積成正比。

· 隨著學習的進行，弱連接神經(jīng)元的同時或重復激活會逐漸改變強度和模式，從而導致更牢固的連接。

感知器

1957年，在MCP模型和希伯來準則獲得成功之后，心理學家弗蘭克·羅森布拉特提出了第一個可訓練的神經(jīng)網(wǎng)絡，稱為Perceptron。后來，他用感知器構(gòu)造了一種電子設備，該電子設備顯示出能夠根據(jù)聯(lián)想進行學習的能力。

Perceptron的設計與現(xiàn)代神經(jīng)網(wǎng)絡相似，不同之處在于，Perceptron的設計只有一層，可以在輸入層和輸出層之間將輸入分為具有可調(diào)權(quán)重和閾值的兩種可能的輸出類別。

> Rosenblatt and the Perceptron (Wikipedia Commons)

他的大部分研究主要是受到人類視覺環(huán)境的啟發(fā)。讓我們看看如何！

> Left: Illustration of organisation of a perceptron in (Rosenblatt, 1958), Right: A typical perceptron in modern machine learning literature (Src: On the origins of DL)

左圖解釋了Rosenblatt感知器。它具有四個單元，分別是感覺單元，投影單元，關(guān)聯(lián)單元和響應單元。當輸入被發(fā)送到視網(wǎng)膜時，信息被發(fā)送到投影區(qū)域，然后投影區(qū)域前進到感覺單元，然后傳遞到關(guān)聯(lián)單元。該結(jié)構(gòu)類似于當今神經(jīng)網(wǎng)絡中感知器的結(jié)構(gòu)，如右圖所示。

可以認為感知器與MCP模型非常相似。但是，這是主要區(qū)別：

在感知器中，神經(jīng)元具有與突觸權(quán)重相關(guān)的附加常數(shù)，稱為偏差（b）。可以將其視為激活閾值的取反。

· 突觸權(quán)重不限于單一或正。因此，某些輸入可能具有抑制作用，從而使某些輸入對神經(jīng)元輸出的影響大于其他輸入。

在數(shù)學上，感知器所依賴的人工神經(jīng)元的非線性由下式給出：

> Image by Author

無論采用什么形式，感知器（以及許多其他線性分類器）的決策邊界都由下式給出：

> Image by Author

另外，我們可以給出一個緊湊的數(shù)學符號，如下所示：

> Image by Author

這是感知器的現(xiàn)代插圖，解釋了重量和偏向如何與神經(jīng)元相連：

> Image by Author

反向傳播

反向傳播學習技術(shù)是深度學習領(lǐng)域的重大突破之一。該算法于1970年代引入。但是，直到1986年著名的研究論文'通過反向傳播錯誤學習表示法'（David Rumelhart，Geoffrey Hinton和Ronald Williams出版）之后，它的重要性才得到人們的充分認識。

Left to Right: David Rumelhart Geoffrey Hinton, NNs, with forward and back pass (Wikipedia Commons)

如果沒有針對神經(jīng)網(wǎng)絡的高效反向傳播技術(shù)，將深度學習網(wǎng)絡訓練到今天所看到的深度將是不切實際的。反向傳播可以被認為是現(xiàn)代神經(jīng)網(wǎng)絡和深度學習的基礎。

該算法用于使用稱為鏈規(guī)則的方法有效地訓練神經(jīng)網(wǎng)絡。簡而言之，在每次向前通過網(wǎng)絡后，反向傳播都會執(zhí)行向后傳播，同時會調(diào)整模型的參數(shù)（權(quán)重和偏差）。反向傳播的核心是成本函數(shù)C的偏導數(shù)?C/?w的表達，其中C涉及網(wǎng)絡中的任何權(quán)重w（或偏差b）。

'為什么將導數(shù)用于反向傳播算法？'。

· 特定輸入x的成本函數(shù)C的梯度是C的偏導數(shù)的向量。

· 使用成本函數(shù)的這種梯度，我們可以測量與輸入量變化有關(guān)的輸出值靈敏度。換句話說，使用此導數(shù)，我們可以了解成本函數(shù)的發(fā)展方向。

· 總而言之，漸變顯示參數(shù)w（或b）需要改變（正向或負向）以最小化C的量。

> Image showing how the gradients are Computed (src)

到目前為止，我們已經(jīng)看到了深度學習先驅(qū)做出的一些重要貢獻。下圖為我們提供了自1940年代以來該領(lǐng)域如何演變的總體思路。如我們所見，時間軸非常密集，而在單個博客文章中涵蓋所有這些內(nèi)容將是完全不現(xiàn)實的。如果您仍然有興趣進一步詳細了解這一點，建議您閱讀這篇由Haohan Wang和Bhiksha Raj撰寫的非凡研究，題為'關(guān)于深度學習的起源'。

> Credits to Favio Vázquez for this awesome image!

現(xiàn)在，讓我們來看看深度學習如何發(fā)展到迄今為止具有各自應用程序的不同領(lǐng)域。

深度學習的領(lǐng)域和應用

很久以前，當前技術(shù)的進步是無法觸及的。我們從未想象過人性化的計算機，自動駕駛汽車以及醫(yī)療程序的改進。但是如今，這些功能憑借深度學習的力量已成為我們?nèi)粘Ｉ畹囊徊糠帧，F(xiàn)在讓我們進一步了解深度學習在各個領(lǐng)域的應用。

計算機視覺：簡而言之，簡歷提供了一些技術(shù)來幫助計算機'看到'并理解數(shù)字內(nèi)容，例如圖像和視頻。以下是DL for Computer Vision的一些應用程序。

· 面部識別和識別

· 衛(wèi)星和無人機圖像

· 圖像搜索優(yōu)化

· 圖像超分辨率和彩色化

· 引導自動駕駛車輛識別道路，行人，信號燈等

自然語言處理（NLP）：NLP幫助理解與語言相關(guān)的復雜性，可能是語法，語義，音調(diào)細微差別，表達甚至嘲諷。隨著計算能力的提高，深度學習現(xiàn)在也能夠識別和理解人類語言。諸如Siri，Google Voice之類的AI助手主要依靠NLP來處理信息。這是它的一些應用。

· 語音識別

· 命名實體識別（標識名稱，位置，地址，并且可以從文本中移出）

· 聊天機器人（Q和A）

· 社交媒體上的情緒和情感檢測

醫(yī)學與生物學：醫(yī)學與生物學的進步提供了大量數(shù)據(jù)，如醫(yī)學圖像，基因信息，蛋白質(zhì)序列等。利用這些數(shù)據(jù)，正在開發(fā)幾種基于深度學習的算法，這些算法已廣泛用于生產(chǎn)中，以幫助醫(yī)生，科學家和放射科醫(yī)生。以下是一些通過DL取得突破的應用程序：

· 醫(yī)學圖像分類（在CT，MRI，X射線圖像上）

· 腫瘤分割

· 蛋白質(zhì)折疊和藥物發(fā)現(xiàn)

· 臨床文字處理

游戲：DL徹底改變了以前的游戲方式。DL算法現(xiàn)在可以通過適應玩家的情緒和心理狀態(tài)來與人類對抗。所有這些都歸功于強化學習帶來的嘗試和錯誤學習的概念。

> OpenAI models playing against humans (Source: OpenAI)

以下是一些被廣泛使用的應用程序：

· 玩NPC（非角色）—機器人

· 建模復雜的交互

· 視頻圖形處理

· 游戲宇宙創(chuàng)作

參考文獻：

· 解釋：神經(jīng)網(wǎng)絡

· 用于反向傳播的多線程軟件模型

· 感知器：大腦中信息存儲和組織的概率模型

· 深度學習的起源

· 羅森布拉特的感知器，第一個現(xiàn)代神經(jīng)網(wǎng)絡|尚·克里斯托夫·B·洛索（Jean-Christophe B.Loiseau）

謝謝閱讀！

(本文由聞數(shù)起舞翻譯自Emma Ding的文章《The past, present and future of deep learning》，轉(zhuǎn)載請注明出處，原文鏈接：https:///the-past-present-and-future-of-deep-learning-adb4d60eaf24)