機(jī)器學(xué)習(xí)（2）之回歸算法

什么是回歸算法

• 線性回歸

• 常用的其他損失函數(shù)

• 局部加權(quán)回歸-損失函數(shù)

• 似然函數(shù)/對數(shù)似然函數(shù)

• 目標(biāo)函數(shù)/損失函數(shù)

• 線性回歸的過擬合

• Ridge回歸(嶺回歸)

• LASSO回歸

• Elasitc Net算法(彈性網(wǎng)絡(luò)算法)

• 梯度下降算法

• 批量梯度下降算法(BGD)

• 隨機(jī)梯度下降算法(SGD)

• 小批量梯度下降法(MBGD)

• 梯度下降法調(diào)優(yōu)策略

• Logistic回歸

• Softmax回歸

• 模型效果判斷

• 機(jī)器學(xué)習(xí)調(diào)參

@(機(jī)器學(xué)習(xí)（2）之回歸算法)

什么是回歸算法

• 有監(jiān)督算法

• 解釋變量（x）與觀測值（因變量y）之間的關(guān)系

• 最終結(jié)果是一個連續(xù)的數(shù)據(jù)值，輸入值(屬性值)是一個d維度的屬性/數(shù)值向量

線性回歸

• 最終要求是計算出 θ 的值，并選擇最優(yōu)的 θ值構(gòu)成算法公式

• 可以寫為
  
  其中ε^(i)^是誤差，獨(dú)立同分布的，服從均值為0，方差為某定值δ^2^的高斯分布。
  即
  
  
  

似然函數(shù)/對數(shù)似然函數(shù)

• 似然函數(shù)
  （釋然函數(shù)的概念可以參考：https://segmentfault.com/a/1190000014373677?utm_source=channel-hottest）
  
  

  注：似然函數(shù)里面用的是正態(tài)分布，實際問題中，很多隨機(jī)現(xiàn)象可以看做眾多因素的獨(dú)立影響的綜合反應(yīng)，往往服從正態(tài)分布。

• 對數(shù)似然函數(shù)

目標(biāo)函數(shù)/損失函數(shù)

• 損失函數(shù)是實際值與預(yù)測值之間的關(guān)系，通過求損失函數(shù)的最小值，來確定求解的θ的值，下面式子對數(shù)似然函數(shù)得：

• 通過對損失函數(shù)求導(dǎo)并令其等于0，可以得到：
  注：X為樣本x^(i)^的矩陣,Y為y^(i)^的矩陣，要求矩陣X^T^X是可逆的。

常用的其他損失函數(shù)

局部加權(quán)回歸-損失函數(shù)

• w(i)是權(quán)重，它根據(jù)要預(yù)測的點與數(shù)據(jù)集中的點的距離來為數(shù)據(jù)集中的點賦權(quán)值。當(dāng)某點離要預(yù)測的點越遠(yuǎn)，其權(quán)重越小，否則越大。常用值選擇公式為：
  
  該函數(shù)稱為指數(shù)衰減函數(shù)，其中k為波長參數(shù)，它控制了權(quán)值隨距離下降的速率。
  注意：使用該方式主要應(yīng)用到樣本之間的相似性考慮。

線性回歸的過擬合

• 為了防止數(shù)據(jù)過擬合，也就是的θ值在樣本空間中不能過大/過小，可以在目標(biāo)函數(shù)之上增加一個平方和損失：
  
  其中λ$\sum_{i=1}^{n}$θ^2^~j~為正則項(norm),這里這個正則項叫做L2-norm。

Ridge回歸(嶺回歸)

• 使用L2正則的線性回歸模型就稱為Ridge回歸(嶺回歸)
  
  Ridge模型具有較高的準(zhǔn)確性、魯棒性以及穩(wěn)定性。

LASSO回歸

• 使用L1正則的線性回歸模型就稱為LASSO回歸(Least Absolute Shrinkage and Selection Operator)
  LASSO模型具有較高的求速度，容易出現(xiàn)稀疏解，即解為0的情況。

Elasitc Net算法(彈性網(wǎng)絡(luò)算法)

• 同時使用L1正則和L2正則的線性回歸模型就稱為Elasitc Net算法(彈性網(wǎng)絡(luò)算法)
  
  既要考慮穩(wěn)定性也考慮求解的速度，就使用Elasitc Net。

梯度下降算法

• 目標(biāo)函數(shù)θ求解：
  

• 初始化θ(隨機(jī)初始化，可以初始為0)

• 沿著負(fù)梯度方向迭代，更新后的θ使J(θ)更小
  
  α：學(xué)習(xí)率、步長

批量梯度下降算法(BGD)

• 當(dāng)樣本量為m的時候，每次迭代BGD算法中對于參數(shù)值更新一次。

• BGD一定能夠得到一個局部最優(yōu)解(在線性回歸模型中一定是得到一個全局最優(yōu)解)。

• 計算速度比較慢。
  

隨機(jī)梯度下降算法(SGD)

• 當(dāng)樣本量為m的時候，SGD算法中對于參數(shù)值更新m次。SGD算法的結(jié)果并不是完全收斂的，而是在收斂結(jié)果處波動的。

• SGD在某些情況下(全局存在多個相對最優(yōu)解/J(θ)不是一個二次)，SGD有可能跳出某些小的局部最優(yōu)解，所以不會比BGD壞。

• SGD由于隨機(jī)性的存在可能導(dǎo)致最終結(jié)果比BGD的差。

• SGD算法特別適合樣本數(shù)據(jù)量大的情況以及在線機(jī)器學(xué)習(xí)(Online ML)。

• 注意：優(yōu)先選擇SGD
  

小批量梯度下降法(MBGD)

• 保證算法的訓(xùn)練過程比較快，又保證最終參數(shù)訓(xùn)練的準(zhǔn)確率。MBGD中不是每拿一個樣本就更新一次梯度，而且拿b個樣本(b一般為10)的平均梯度作為更新方向。

梯度下降法調(diào)優(yōu)策略

• 學(xué)習(xí)率的選擇：學(xué)習(xí)率過大，表示每次迭代更新的時候變化比較大，有可能會跳過最優(yōu)解；學(xué)習(xí)率過小，表示每次迭代更新的時候變化比較小，就會導(dǎo)致迭代速度過慢，很長時間都不能結(jié)束。

• 算法初始參數(shù)值的選擇：初始值不同，最終獲得的最小值也有可能不同，因為梯度下降法求解的是局部最優(yōu)解，所以一般情況下，選擇多次不同初始值運(yùn)行算法，并最終返回?fù)p失函數(shù)最小情況下的結(jié)果值。

• 標(biāo)準(zhǔn)化：由于樣本不同特征的取值范圍不同，可能會導(dǎo)致在各個不同參數(shù)上迭代速度不同，為了減少特征取值的影響，可以將特征進(jìn)行標(biāo)準(zhǔn)化操作。

Logistic回歸

• 主要是進(jìn)行二分類預(yù)測，也即是對于0~1之間的概率值，當(dāng)概率大于0.5預(yù)測為1，小于0.5預(yù)測為0。

• Logistic/sigmoid函數(shù)：
  

• 假設(shè)：

• 得似然函數(shù)：
  

• 回歸參數(shù)θ（類似梯度下降方法求得）：
  

• Logistic回歸損失函數(shù)（由對數(shù)似然函數(shù)得來）：
  

Softmax回歸

• softmax回歸是logistic回歸的一般化，適用于K分類的問題，第k類的參數(shù)為向量θ~k~，組成的二維矩陣為θ~k*n~ 。

• softmax函數(shù)的本質(zhì)就是將一個K維的任意實數(shù)向量壓縮（映射）成另一個K維的實數(shù)向量，其中向量中的每個元素取值都介于（0，1）之間。

• softmax回歸概率函數(shù)為：
  

• 算法原理
  

• 損失函數(shù)
  

• 回歸參數(shù)θ（類似梯度下降方法求得）：
  

模型效果判斷

• MSE：誤差平方和，越趨近于0表示模型越擬合訓(xùn)練數(shù)據(jù)。

• RMSE：MSE的平方根，作用同MSE。

• R2：取值范圍(負(fù)無窮,1]，值越大表示模型越擬合訓(xùn)練數(shù)據(jù)；最優(yōu)解是1；當(dāng)模型預(yù)測為隨機(jī)值的時候，有可能為負(fù)；若預(yù)測值恒為樣本期望，R2為0。

• TSS：總平方和TSS(Total Sum of Squares)，表示樣本之間的差異情況，是偽方差的m倍。

• RSS：殘差平方和RSS（Residual Sum of Squares），表示預(yù)測值和樣本值之間的差異情況，是MSE的m倍。