|
很多同學(xué)談數(shù)學(xué)色變，但數(shù)學(xué)是機(jī)器學(xué)習(xí)繞不開(kāi)的基礎(chǔ)知識(shí)。今天我們來(lái)談?wù)勥@個(gè)話(huà)題：學(xué)好機(jī)器學(xué)習(xí)究竟需要哪些數(shù)學(xué)知識(shí)？ 先看某乎上的回答： “ 隨機(jī)過(guò)程，實(shí)分析。機(jī)器學(xué)習(xí)往深里做肯定需要用這種，高級(jí)的數(shù)學(xué)語(yǔ)言去對(duì)問(wèn)題進(jìn)行描述。我本人對(duì)隨機(jī)和實(shí)分析，其實(shí)目前也還只是略懂，很難說(shuō)，真正的徹底掌握這兩門(mén)十分強(qiáng)大的數(shù)學(xué)工具。” “我本科沒(méi)好好學(xué)泛函，到學(xué)到一些ML的方法比如kernel相關(guān)的方法的時(shí)候就凸顯出來(lái)對(duì)泛函不熟，對(duì)函數(shù)空間理解不夠的話(huà)會(huì)比較吃力。但重要性上比如前面幾個(gè)方面。” （以上為原文引用，錯(cuò)別字沒(méi)有校正） 大部分讀者看到這樣的答案之后內(nèi)心是凄涼的。實(shí)變函數(shù)，拓?fù)鋵W(xué)，泛函分析，除了數(shù)學(xué)系之外，很少有其他專(zhuān)業(yè)會(huì)學(xué)這些課程。 實(shí)變函數(shù)學(xué)十遍 隨機(jī)過(guò)程隨機(jī)過(guò) 泛函分析心犯寒 我們先用不少大學(xué)流傳的順口溜壓壓驚 真的需要學(xué)習(xí)這些令人不寒而栗的課程嗎？事實(shí)上，要理解和掌握絕大部分機(jī)器學(xué)習(xí)算法和理論，尤其是對(duì)做工程應(yīng)用的人而言，所需要的數(shù)學(xué)知識(shí)大學(xué)數(shù)學(xué)老師已經(jīng)給你了：  微積分 線(xiàn)性代數(shù) 概率論 最優(yōu)化方法  關(guān)鍵知識(shí)點(diǎn) 微積分 先說(shuō)微積分/高等數(shù)學(xué)。在機(jī)器學(xué)習(xí)中，微積分主要用到了微分部分，作用是求函數(shù)的極值，就是很多機(jī)器學(xué)習(xí)庫(kù)中的求解器（solver）所實(shí)現(xiàn)的功能。在機(jī)器學(xué)習(xí)里會(huì)用到微積分中的以下知識(shí)點(diǎn)：
其中最核心的是記住多元函數(shù)的泰勒展開(kāi)公式，根據(jù)它我們可以推導(dǎo)出機(jī)器學(xué)習(xí)中常用的梯度下降法，牛頓法，擬牛頓法等一系列最優(yōu)化方法：  參考書(shū)目： 微積分用經(jīng)典的同濟(jì)7版就可以了，這是國(guó)內(nèi)很多高校工科專(zhuān)業(yè)的微積分教材。如果想深入學(xué)習(xí)，可以看數(shù)學(xué)分析的教材，這是數(shù)學(xué)系的微積分。北大張筑生先生所著的數(shù)學(xué)分析可謂是國(guó)內(nèi)這方面教材的精品。 同濟(jì)大學(xué) 《高等數(shù)學(xué)》   張筑生 《數(shù)學(xué)分析新講》 線(xiàn)性代數(shù) 相比之下，線(xiàn)性代數(shù)用的更多。在機(jī)器學(xué)習(xí)的幾乎所有地方都有使用，具體用到的知識(shí)點(diǎn)有：
機(jī)器學(xué)習(xí)算法處理的數(shù)據(jù)一般都是向量、矩陣或者張量。經(jīng)典的機(jī)器學(xué)習(xí)算法輸入的數(shù)據(jù)都是特征向量，深度學(xué)習(xí)算法在處理圖像時(shí)輸入的2維的矩陣或者3維的張量。掌握這些知識(shí)會(huì)使你游刃有余。 參考書(shū)目： 線(xiàn)性代數(shù)同樣是同濟(jì)版的教材，如果想更全面系統(tǒng)的學(xué)習(xí)，可以看斯蒂文的這本。 同濟(jì)大學(xué) 《線(xiàn)性代數(shù)》   Steven Leon 《線(xiàn)性代數(shù)》 概率論 如果把機(jī)器學(xué)習(xí)所處理的樣本數(shù)據(jù)看作隨機(jī)變量/向量，我們就可以用概率論的觀點(diǎn)對(duì)問(wèn)題進(jìn)行建模，這代表了機(jī)器學(xué)習(xí)中很大一類(lèi)方法。在機(jī)器學(xué)習(xí)里用到的概率論知識(shí)點(diǎn)有:
這些知識(shí)不超出普通理工科概率論教材的范圍。 參考書(shū)目： 概率論國(guó)內(nèi)理工科專(zhuān)業(yè)使用最多的是浙大版的教材： 《概率論與數(shù)理統(tǒng)計(jì)》  最優(yōu)化方法 最后要說(shuō)的是最優(yōu)化，因?yàn)閹缀跛袡C(jī)器學(xué)習(xí)算法歸根到底都是在求解最優(yōu)化問(wèn)題。求解最優(yōu)化問(wèn)題的指導(dǎo)思想是在極值點(diǎn)出函數(shù)的導(dǎo)數(shù)/梯度必須為0。因此你必須理解梯度下降法，牛頓法這兩種常用的算法，它們的迭代公式都可以從泰勒展開(kāi)公式中得到。如果能知道坐標(biāo)下降法、擬牛頓法就更好了。 凸優(yōu)化是機(jī)器學(xué)習(xí)中經(jīng)常會(huì)提及的一個(gè)概念，這是一類(lèi)特殊的優(yōu)化問(wèn)題，它的優(yōu)化變量的可行域是凸集，目標(biāo)函數(shù)是凸函數(shù)。凸優(yōu)化最好的性質(zhì)是它的所有局部最優(yōu)解就是全局最優(yōu)解，因此求解時(shí)不會(huì)陷入局部最優(yōu)解。如果一個(gè)問(wèn)題被證明為是凸優(yōu)化問(wèn)題，基本上已經(jīng)宣告此問(wèn)題得到了解決。在機(jī)器學(xué)習(xí)中，線(xiàn)性回歸、嶺回歸、支持向量機(jī)、logistic回歸等很多算法求解的都是凸優(yōu)化問(wèn)題。 拉格朗日對(duì)偶為帶等式和不等式約束條件的優(yōu)化問(wèn)題構(gòu)造拉格朗日函數(shù)，將其變?yōu)樵瓎?wèn)題，這兩個(gè)問(wèn)題是等價(jià)的。通過(guò)這一步變換，將帶約束條件的問(wèn)題轉(zhuǎn)換成不帶約束條件的問(wèn)題。通過(guò)變換原始優(yōu)化變量和拉格朗日乘子的優(yōu)化次序，進(jìn)一步將原問(wèn)題轉(zhuǎn)換為對(duì)偶問(wèn)題，如果滿(mǎn)足某種條件，原問(wèn)題和對(duì)偶問(wèn)題是等價(jià)的。這種方法的意義在于可以將一個(gè)不易于求解的問(wèn)題轉(zhuǎn)換成更容易求解的問(wèn)題。在支持向量機(jī)中有拉格朗日對(duì)偶的應(yīng)用。 KKT條件是拉格朗日乘數(shù)法對(duì)帶不等式約束問(wèn)題的推廣，它給出了帶等式和不等式約束的優(yōu)化問(wèn)題在極值點(diǎn)處所必須滿(mǎn)足的條件。在支持向量機(jī)中也有它的應(yīng)用。 如果你沒(méi)有學(xué)過(guò)最優(yōu)化方法這門(mén)課也不用擔(dān)心，這些方法根據(jù)微積分和線(xiàn)性代數(shù)的基礎(chǔ)知識(shí)可以很容易推導(dǎo)出來(lái)。如果需要系統(tǒng)的學(xué)習(xí)這方面的知識(shí)，可以閱讀《凸優(yōu)化》，《非線(xiàn)性規(guī)劃》兩本經(jīng)典教材。 參考書(shū)目： 最優(yōu)化方法可以參考下面兩本經(jīng)典教材： Stephen Boyd《凸優(yōu)化》   Dimitri Bertsekas 《非線(xiàn)性規(guī)劃》 各種算法和理論用到的數(shù)學(xué)知識(shí) 下面我們來(lái)看典型算法和理論結(jié)論所用到的數(shù)學(xué)知識(shí)：
除流形學(xué)習(xí)需要簡(jiǎn)單的微分幾何概念之外，深層次的數(shù)學(xué)知識(shí)如實(shí)變函數(shù)，泛函分析等主要用在一些基礎(chǔ)理論結(jié)果的證明上，即使不能看懂證明過(guò)程，也不影響我們使用具體的機(jī)器學(xué)習(xí)算法。概率圖模型、流形學(xué)習(xí)中基于圖的模型會(huì)用到圖論的一些基本知識(shí)，如果學(xué)習(xí)過(guò)離散數(shù)學(xué)或者數(shù)據(jù)結(jié)構(gòu)，這些概念很容易理解。 看完這些，你心里的底氣應(yīng)該更足，如果你大學(xué)數(shù)學(xué)知識(shí)還沒(méi)有還給老師，為什么還擔(dān)心因?yàn)閿?shù)學(xué)而學(xué)不好機(jī)器學(xué)習(xí)呢？ 本文為SIGAI原創(chuàng) |
|
|
來(lái)自： 自然大道張 > 《數(shù)據(jù)處理》
