文本語言模型的參數(shù)估計(jì)

Rivalry 2019-01-30

展開全文

以PLSA和LDA為代表的文本語言模型是當(dāng)今統(tǒng)計(jì)自然語言處理研究的熱點(diǎn)問題。這類語言模型一般都是對文本的生成過程提出自己的概率圖模型，然后利用觀察到的語料數(shù)據(jù)對模型參數(shù)做估計(jì)。有了語言模型和相應(yīng)的模型參數(shù)，我們可以有很多重要的應(yīng)用，比如文本特征降維、文本主題分析等等。本文主要介紹文本分析的三類參數(shù)估計(jì)方法-最大似然估計(jì)MLE、最大后驗(yàn)概率估計(jì)MAP及貝葉斯估計(jì)。

1、最大似然估計(jì)MLE

首先回顧一下貝葉斯公式

$p(\theta|X) = \frac{p(X|\theta) \cdot p(\theta)}{p(X)}$

這個(gè)公式也稱為逆概率公式，可以將后驗(yàn)概率轉(zhuǎn)化為基于似然函數(shù)和先驗(yàn)概率的計(jì)算表達(dá)式，即

$posterior = \frac{likelihood \cdot prior}{evidence}$

最大似然估計(jì)就是要用似然函數(shù)取到最大值時(shí)的參數(shù)值作為估計(jì)值，似然函數(shù)可以寫做

$L(\theta | X) = p(X | \theta) = \prod_{x \in X}{p(X = x | \theta)}$

由于有連乘運(yùn)算，通常對似然函數(shù)取對數(shù)計(jì)算簡便，即對數(shù)似然函數(shù)。最大似然估計(jì)問題可以寫成

$\hat{\theta}_{ML} = argmax_\theta L(\theta | X) = argmax_\theta \sum_{x \in X}\log p(x|\theta)$

這是一個(gè)關(guān)于 $\theta$ 的函數(shù)，求解這個(gè)優(yōu)化問題通常對 $\theta$ 求導(dǎo)，得到導(dǎo)數(shù)為0的極值點(diǎn)。該函數(shù)取得最大值是對應(yīng)的 $\theta$ 的取值就是我們估計(jì)的模型參數(shù)。

以扔硬幣的伯努利實(shí)驗(yàn)為例子，N次實(shí)驗(yàn)的結(jié)果服從二項(xiàng)分布，參數(shù)為P，即每次實(shí)驗(yàn)事件發(fā)生的概率，不妨設(shè)為是得到正面的概率。為了估計(jì)P，采用最大似然估計(jì)，似然函數(shù)可以寫作

$\begin{aligned} L &= \log\prod_{i=1}^Np(C=c_i|p)=\sum_{i=1}^N\log p(C=c_i|p) \\ &= n^{(1)}\log p(C = 1|p) + n^{(0)}\log p(C = 0|p)\\ &= n^{(1)}\log p + n^{(0)}\log (1-p) \end{aligned}$

其中表示實(shí)驗(yàn)結(jié)果為i的次數(shù)。下面求似然函數(shù)的極值點(diǎn)，有

$\frac{\partial{L}} {\partial{p}} = \frac{n^{(1)}}{p} - \frac{n^{(0)}}{1-p} = 0$

得到參數(shù)p的最大似然估計(jì)值為

$\hat{p}_{ML} = \frac{n^{(1)}}{n^{(1)} + n^{(0)}} = \frac{n^{(1)}}{N}$

可以看出二項(xiàng)分布中每次事件發(fā)的概率p就等于做N次獨(dú)立重復(fù)隨機(jī)試驗(yàn)中事件發(fā)生的概率。

如果我們做20次實(shí)驗(yàn)，出現(xiàn)正面12次，反面8次

那么根據(jù)最大似然估計(jì)得到參數(shù)值p為12/20 = 0.6。

2、最大后驗(yàn)估計(jì)MAP

最大后驗(yàn)估計(jì)與最大似然估計(jì)相似，不同點(diǎn)在于估計(jì) $\theta$ 的函數(shù)中允許加入一個(gè)先驗(yàn) $p(\theta)$ ，也就是說此時(shí)不是要求似然函數(shù)最大，而是要求由貝葉斯公式計(jì)算出的整個(gè)后驗(yàn)概率最大，即

$\begin{aligned} \hat{\theta}_{MAP} &= argmax_\theta \frac{p(X | \theta) p(\theta)}{p(X)}\\ &= argmax_\theta p(X | \theta)p(\theta) \\ &= argmax_\theta \{L(\theta|X) + \log p(\theta)\}\\ &= argmax_\theta \{\sum_{x \in X} \log p(x | \theta) + \log p(\theta)\} \end{aligned}$

注意這里P（X）與參數(shù) $\theta$ 無關(guān)，因此等價(jià)于要使分子最大。與最大似然估計(jì)相比，現(xiàn)在需要多加上一個(gè)先驗(yàn)分布概率的對數(shù)。在實(shí)際應(yīng)用中，這個(gè)先驗(yàn)可以用來描述人們已經(jīng)知道或者接受的普遍規(guī)律。例如在扔硬幣的試驗(yàn)中，每次拋出正面發(fā)生的概率應(yīng)該服從一個(gè)概率分布，這個(gè)概率在0.5處取得最大值，這個(gè)分布就是先驗(yàn)分布。先驗(yàn)分布的參數(shù)我們稱為超參數(shù)(hyperparameter)即

$p(\theta)= p(\theta|\alpha)$

同樣的道理，當(dāng)上述后驗(yàn)概率取得最大值時(shí)，我們就得到根據(jù)MAP估計(jì)出的參數(shù)值。給定觀測到的樣本數(shù)據(jù)，一個(gè)新的值 $\tilde{x}$ 發(fā)生的概率是

$p(\tilde{x}|X) = \int_{\theta \in \Theta}p(\tilde{x}|\hat{\theta}_{MAP}) p(\theta | X) d\theta = p(\tilde{x}|\hat{\theta}_{MAP})$

下面我們?nèi)匀灰匀佑矌诺睦觼碚f明，我們期望先驗(yàn)概率分布在0.5處取得最大值，我們可以選用Beta分布即

$p(p|\alpha, \beta) = \frac{1}{B(\alpha, \beta)}p^{\alpha - 1}(1-p)^{\beta - 1} \stackrel{\triangle}{=}Beta(p|\alpha, \beta)$

其中Beta函數(shù)展開是

$B(\alpha, \beta) = \frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha + \beta)}$

當(dāng)x為正整數(shù)時(shí)

$\Gamma(n) = (n-1)!\,$

Beta分布的隨機(jī)變量范圍是[0,1],所以可以生成normalised probability values。下圖給出了不同參數(shù)情況下的Beta分布的概率密度函數(shù)

我們?nèi)?a href="http://www./eqnedit.php?latex=%5Calpha%20=%20%5Cbeta%20=%205" target="_blank" rel="nofollow"> $\alpha = \beta = 5$ ,這樣先驗(yàn)分布在0.5處取得最大值，現(xiàn)在我們來求解MAP估計(jì)函數(shù)的極值點(diǎn)，同樣對p求導(dǎo)數(shù)我們有

$\frac{\partial \hat\theta_{MAP}}{\partial p} = \frac{n^{(1)}}{p}-\frac{n^{(0)}}{1-p}+\frac{\alpha - 1}{p}-\frac{\beta - 1}{1 - p} = 0$

得到參數(shù)p的的最大后驗(yàn)估計(jì)值為

$\hat{p}_{MAP} = \frac{n^{(1)} + \alpha - 1}{n^{(1)} + n^{(0)} + \alpha + \beta - 2} = \frac{n^{(1)} + 4}{n^{(1)} + n^{(0)} + 8}$

和最大似然估計(jì)的結(jié)果對比可以發(fā)現(xiàn)結(jié)果中多了 $\alpha -1 , \alpha + \beta -2$ 這樣的pseudo-counts,這就是先驗(yàn)在起作用。并且超參數(shù)越大，為了改變先驗(yàn)分布傳遞的belief所需要的觀察值就越多，此時(shí)對應(yīng)的Beta函數(shù)越聚集，緊縮在其最大值兩側(cè)。

如果我們做20次實(shí)驗(yàn)，出現(xiàn)正面12次，反面8次，那么

那么根據(jù)MAP估計(jì)出來的參數(shù)p為16/28 = 0.571,小于最大似然估計(jì)得到的值0.6，這也顯示了“硬幣一般是兩面均勻的”這一先驗(yàn)對參數(shù)估計(jì)的影響。

3 貝葉斯估計(jì)

貝葉斯估計(jì)是在MAP上做進(jìn)一步拓展，此時(shí)不直接估計(jì)參數(shù)的值，而是允許參數(shù)服從一定概率分布。回顧一下貝葉斯公式

$p(\theta|X) = \frac{p(X|\theta) \cdot p(\theta)}{p(X)}$

現(xiàn)在不是要求后驗(yàn)概率最大，這樣就需要求,即觀察到的evidence的概率，由全概率公式展開可得

$p(X) = \int_{\theta \in \Theta}p(X|\theta)p(\theta)d\theta$

當(dāng)新的數(shù)據(jù)被觀察到時(shí)，后驗(yàn)概率可以自動(dòng)隨之調(diào)整。但是通常這個(gè)全概率的求法是貝葉斯估計(jì)比較有技巧性的地方。

那么如何用貝葉斯估計(jì)來做預(yù)測呢？如果我們想求一個(gè)新值 $\hat{x}$ 的概率，可以由

$p(\hat{x}|X) = \int_{\theta \in \Theta} p(\hat{x} | \theta)p(\theta|X)d\theta=\int_{\theta \in \Theta}p(\hat{x}|\theta)\frac{p(X|\theta)p(\theta)}{p(X)}d\theta$

來計(jì)算。注意此時(shí)第二項(xiàng)因子在 $\theta \in \Theta$ 上的積分不再等于1，這就是和MLE及MAP很大的不同點(diǎn)。

我們?nèi)匀灰匀佑矌诺牟麑?shí)驗(yàn)為例來說明。和MAP中一樣，我們假設(shè)先驗(yàn)分布為Beta分布，但是構(gòu)造貝葉斯估計(jì)時(shí)，不是要求用后驗(yàn)最大時(shí)的參數(shù)來近似作為參數(shù)值，而是求滿足Beta分布的參數(shù)p的期望，有

注意這里用到了公式

$\int_p\prod_{t=1}^{|T|}P_t^{\alpha_t - 1} = B(\alpha)$

當(dāng)T為二維的情形可以對Beta分布來應(yīng)用；T為多維的情形可以對狄利克雷分布應(yīng)用

根據(jù)結(jié)果可以知道，根據(jù)貝葉斯估計(jì)，參數(shù)p服從一個(gè)新的Beta分布。回憶一下，我們?yōu)閜選取的先驗(yàn)分布是Beta分布，然后以p為參數(shù)的二項(xiàng)分布用貝葉斯估計(jì)得到的后驗(yàn)概率仍然服從Beta分布，由此我們說二項(xiàng)分布和Beta分布是共軛分布。在概率語言模型中，通常選取共軛分布作為先驗(yàn)，可以帶來計(jì)算上的方便性。最典型的就是LDA中每個(gè)文檔中詞的Topic分布服從Multinomial分布，其先驗(yàn)選取共軛分布即Dirichlet分布；每個(gè)Topic下詞的分布服從Multinomial分布，其先驗(yàn)也同樣選取共軛分布即Dirichlet分布。

根據(jù)Beta分布的期望和方差計(jì)算公式，我們有

可以看出此時(shí)估計(jì)的p的期望和MLE ，MAP中得到的估計(jì)值都不同，此時(shí)如果仍然是做20次實(shí)驗(yàn)，12次正面，8次反面，那么我們根據(jù)貝葉斯估計(jì)得到的p滿足參數(shù)為12+5和8+5的Beta分布，其均值和方差分別是17/30=0.567, 17*13/(31*30^2)=0.0079。可以看到此時(shí)求出的p的期望比MLE和MAP得到的估計(jì)值都小，更加接近0.5。

綜上所述我們可以可視化MLE,MAP和貝葉斯估計(jì)對參數(shù)的估計(jì)結(jié)果如下

個(gè)人理解是，從MLE到MAP再到貝葉斯估計(jì)，對參數(shù)的表示越來越精確，得到的參數(shù)估計(jì)結(jié)果也越來越接近0.5這個(gè)先驗(yàn)概率，越來越能夠反映基于樣本的真實(shí)參數(shù)情況。

參考文獻(xiàn)

Gregor Heinrich, Parameter estimation for test analysis, technical report

Wikipedia Beta分布詞條 , http://en./wiki/Beta_distribution

本站是提供個(gè)人知識管理的網(wǎng)絡(luò)存儲(chǔ)空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點(diǎn)。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點(diǎn)擊一鍵舉報(bào)。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來自： Rivalry > 《研究生》

舉報(bào)/認(rèn)領(lǐng)