麻省理工牛人解說數學體系（下）

回過頭來，再說說另一個大家族——代數。

如果說古典微積分是分析的入門，那么現代代數的入門點則是兩個部分：線性代數(linear algebra)和基礎的抽象代數(abstract algebra)——據說國內一些教材稱之為近世代數。代數——名稱上研究的似乎是數，在我看來，主要研究的是運算規則。一門代數，其實都是從某種具體的運算體系中抽象出一些基本規則，建立一個公理體系，然后在這基礎上進行研究。一個集合再加上一套運算規則，就構成一個代數結構。在主要的代數結構中，最簡單的是群(Group)——它只有一種符合結合率的可逆運算，通常叫“乘法”。如果，這種運算也符合交換率，那么就叫阿貝爾群 (Abelian Group)。如果有兩種運算，一種叫加法，滿足交換率和結合率，一種叫乘法，滿足結合率，它們之間滿足分配率，這種豐富一點的結構叫做環(Ring)，如果環上的乘法滿足交換率，就叫可交換環(Commutative Ring)。如果，一個環的加法和乘法具有了所有的良好性質，那么就成為一個域(Field)。基于域，我們可以建立一種新的結構，能進行加法和數乘，就構成了線性代數(Linear algebra)。

代數的好處在于，它只關心運算規則的演繹，而不管參與運算的對象。只要定義恰當，完全可以讓一只貓乘一只狗得到一頭豬:-)。基于抽象運算規則得到的所有定理完全可以運用于上面說的貓狗乘法。當然，在實際運用中，我們還是希望用它 干點有意義的事情。學過抽象代數的都知道，基于幾條最簡單的規則，比如結合律，就能導出非常多的重要結論——這些結論可以應用到一切滿足這些簡單規則的地 方——這是代數的威力所在，我們不再需要為每一個具體領域重新建立這么多的定理。

抽象代數有在一些基礎定理的基礎上，進一步的研究往往分為兩個流派：研究有限的離散代數結構（比如有限群和有限域），這部分內容通常用于數論，編碼，和整數方程這些地方；另外一個流派是研究連續的代數結構，通常和拓撲與分析聯系在 一起（比如拓撲群，李群）。我在學習中的focus主要是后者。

對于做Learning, vision, optimization或者statistics的人來說，接觸最多的莫過于線性代數——這也是我們在大學低年級就開始學習的。線性代數，包括建立在它基礎上的各種學科，最核心的兩個概念是向量空間和線性變換。線性變換在線性代數中的地位，和連續函數在分析中的地位，或者同態映射在群論中的地位是一樣的 ——它是保持基礎運算（加法和數乘）的映射。

在learning中有這樣的一種傾向——鄙視線性算法，標榜非線性。也許在很多場合下面，我們需要非線性來描述復雜的現實世界，但是無論什么時候，線性都是具有根本地位的。沒有線性的基礎，就不可能存在所謂的非線性推廣。我們常用的非線性化的方法包括流形和kernelization，這兩者都需要在某個階段回歸線性。流形需要在每個局部建立和線性空間的映射，通過把許多局部線性空間連接起來形成非線性；而kernerlization則是通過置換內積結構把原線性空間“非線性”地映射到另外一個線性空間，再進行線性空間中所能進行的操作。而在分析領域，線性的運算更是無處不在，微分，積分，傅立葉變換，拉普拉斯變換，還有統計中的均值，通通都是線性的。

在大學中學習的線性代數，它的簡單主要因為它是在有限維空間進行的，因為有限，我們無須借助于太多的分析手段。但是，有限維空間并不能有效地表達我們的世界——最重要的，函數構成了線性空間，可是它是無限維的。對函數進行的最重要的運算都在無限維空間進行，比如傅立葉變換和小波分析。這表明了，為了研究函數（或者說連續信號），我們需要打破有限維空間的束縛，走入無限維的函數空間——這里面的第一步，就是泛函分析。

泛函分析(Functional Analysis)是研究的是一般的線性空間，包括有限維和無限維，但是很多東西在有限維下顯得很trivial，真正的困難往往在無限維的時候出現。在泛函分析中，空間中的元素還是叫向量，但是線性變換通常會叫作“算子”(operator)。除了加法和數乘，這里進一步加入了一些運算，比如加入范數去表達“向量的長度”或者“元素的距離”，這樣的空間叫做“賦范線性空間”(normed space)，再進一步的，可以加入內積運算，這樣的空間叫“內積空間”(Inner product space)。

大家發現，當進入無限維的時間時，很多老的觀念不再適用了，一切都需要重新審視。

• 所有的有限維空間都是完備的（柯西序列收斂），很多無限維空間卻是不完備的（比如閉區間上的連續函數）。在這里，完備的空間有特殊的名稱：完備的賦范空間叫巴拿赫空間(Banach space)，完備的內積空間叫希爾伯特空間(Hilbert space)。

• 在有限維空間中空間和它的對偶空間的是完全同構的，而在無限維空間中，它們存在微妙的差別。

• 在有限維空間中，所有線性變換（矩陣）都是有界變換，而在無限維，很多算子是無界的(unbounded)，最重要的一個例子是給函數求導。

• 在有限維空間中，一切有界閉集都是緊的，比如單位球。而在所有的無限維空間中，單位球都不是緊的——也就是說，可以在單位球內撒入無限個點，而不出現一個極限點。

• 在有限維空間中，線性變換（矩陣）的譜相當于全部的特征值，在無限維空間中，算子的譜的結構比這個復雜得多，除了特征值組成的點譜(point spectrum)，還有approximate point spectrum和residual spectrum。雖然復雜，但是，也更為有趣。由此形成了一個相當豐富的分支——算子譜論(Spectrum theory)。

• 在有限維空間中，任何一點對任何一個子空間總存在投影，而在無限維空間中， 這就不一定了，具有這種良好特性的子空間有個專門的名稱切比雪夫空間(Chebyshev space)。這個概念是現代逼近理論的基礎(approximation theory)。函數空間的逼近理論在Learning中應該有著非常重要的作用，但是現在看到的運用現代逼近理論的文章并不多。

基本的泛函分析繼續往前走，有兩個重要的方向。第一個是巴拿赫代數 (Banach Algebra)，它就是在巴拿赫空間（完備的內積空間）的基礎上引入乘法（這不同于數乘）。比如矩陣——它除了加法和數乘，還能做乘法——這就構成了一 個巴拿赫代數。除此以外，值域完備的有界算子，平方可積函數，都能構成巴拿赫代數。巴拿赫代數是泛函分析的抽象，很多對于有界算子導出的結論，還有算子譜 論中的許多定理，它們不僅僅對算子適用，它們其實可以從一般的巴拿赫代數中得到，并且應用在算子以外的地方。巴拿赫代數讓你站在更高的高度看待泛函分析中 的結論，但是，我對它在實際問題中能比泛函分析能多帶來什么東西還有待思考。

最能把泛函分析和實際問題在一起的另一個重要方向是調和分析 (Harmonic Analysis)。我在這里列舉它的兩個個子領域，傅立葉分析和小波分析，我想這已經能說明它的實際價值。它研究的最核心的問題就是怎么用基函數去逼近和構造一個函數。它研究的是函數空間的問題，不可避免的必須以泛函分析為基礎。除了傅立葉和小波，調和分析還研究一些很有用的函數空間，比如Hardy space，Sobolev space，這些空間有很多很好的性質，在工程中和物理學中都有很重要的應用。對于vision來說，調和分析在信號的表達，圖像的構造，都是非常有用的工具。

當分析和線性代數走在一起，產生了泛函分析和調和分析；當分析和群論走在一起，我們就有了李群(Lie Group)和李代數(Lie Algebra)。它們給連續群上的元素賦予了代數結構。我一直認為這是一門非常漂亮的數學：在一個體系中，拓撲，微分和代數走到了一起。在一定條件下，通過李群和李代數的聯系，它讓幾何變換的結合變成了線性運算，讓子群化為線性子空間，這樣就為Learning中許多重要的模型和算法的引入到對幾何運動的建模創造了必要的條件。因此，我們相信李群和李代數對于vision有著重要意義，只不過學習它的道路可能會很艱辛，在它之前需要學習很多別的數學。

最后，再簡單說說很多Learning的研究者特別關心的數學分支：概率論。自從Kolmogorov在上世紀30年代把測度引入概率論以來，測度理論就成為現代概率論的基礎。在這里，概率定義為測度，隨機變量定義為可測函數，條件隨機變量定義為可測函數在某個函數空間的投影，均值則是可測函數對于概率測度的積分。值得注意的是，很多的現代觀點，開始以泛函分析的思路看待概率論的基礎概念，隨機變量構成了一個向量空間，而帶符號概率測度則構成了它的對偶空間，其中一方施加于對方就形成均值。角度雖然不一樣，不過這兩種方式殊途同歸，形成的基礎是等價的。

在現代概率論的基礎上，許多傳統的分支得到了極大豐富，最有代表性的包括鞅論 (Martingale)——由研究賭博引發的理論，現在主要用于金融（這里可以看出賭博和金融的理論聯系，:-P），布朗運動(Brownian Motion)——連續隨機過程的基礎，以及在此基礎上建立的隨機分析(Stochastic Calculus)，包括隨機積分（對隨機過程的路徑進行積分，其中比較有代表性的叫伊藤積分(Ito Integral)），和隨機微分方程。對于連續幾何運用建立概率模型以及對分布的變換的研究離不開這些方面的知識。