|
1.從貝葉斯定理到貝葉斯統(tǒng)計(jì)推斷 （1）貝葉斯統(tǒng)計(jì)簡(jiǎn)史 貝葉斯統(tǒng)計(jì)緣起于托馬斯.貝葉斯（1702-1761），一位英國長(zhǎng)老會(huì)牧師和業(yè)余數(shù)學(xué)家。在他去世后發(fā)表的論文“論有關(guān)機(jī)遇問題的求解”中， 貝葉斯定理的現(xiàn)代形式實(shí)際上歸因于拉普拉斯（1812）。拉普拉斯重新發(fā)現(xiàn)了貝葉斯定理，并把它用來解決天體力學(xué)、醫(yī)學(xué)甚至法學(xué)的問題。但自19世紀(jì)中葉起，隨著頻率學(xué)派（在下文有時(shí)也稱作經(jīng)典統(tǒng)計(jì)）的興起，概率的貝葉斯解釋逐漸被統(tǒng)計(jì)學(xué)主流所拒絕。 現(xiàn)代貝葉斯統(tǒng)計(jì)學(xué)的復(fù)興肇始于Jeffreys(1939),在1950年代，經(jīng)過Wald(1950),Savage(1954),Raiffic&Schlaifer(1961),Lindley(1972),De Finetti(1974)等人的努力，貝葉斯統(tǒng)計(jì)學(xué)逐漸發(fā)展壯大，并發(fā)展出了貝葉斯統(tǒng)計(jì)決策理論這個(gè)新分支。特別是到1990年代以后，隨著計(jì)算方法MCMC在貝葉斯統(tǒng)計(jì)領(lǐng)域的廣泛應(yīng)用，解決了貝葉斯統(tǒng)計(jì)學(xué)長(zhǎng)期存在的計(jì)算困難的問題，從而推動(dòng)了貝葉斯統(tǒng)計(jì)在理論和應(yīng)用領(lǐng)域的長(zhǎng)足發(fā)展。 貝葉斯統(tǒng)計(jì)學(xué)廣泛應(yīng)用于各個(gè)學(xué)科。就本書的主題而言，從認(rèn)知學(xué)科、政治學(xué)到從自然語言處理和社會(huì)網(wǎng)絡(luò)分析，貝葉斯方法都起到了舉足輕重的作用。 (2)貝葉斯定理 貝葉斯統(tǒng)計(jì)方法是基于貝葉斯定理而發(fā)展起來的系統(tǒng)闡述和解決統(tǒng)計(jì)問題的方法。 貝葉斯定理，也稱為貝葉斯法則現(xiàn)在是概率論教科書的重要內(nèi)容。一般我們習(xí)慣于它的離散（事件）形式： p(Ai∣B)=p(B∣Ai)p(Ai)∑p(B∣Aj)p(Aj) 其中p(Ai)被稱為先驗(yàn)概率，表示在對(duì)樣本觀測(cè)前我們關(guān)于這個(gè)問題已經(jīng)具有的知識(shí)。而p(Ai∣B)稱為后驗(yàn)概率，是在進(jìn)行了新觀測(cè)之后對(duì)原有知識(shí)的更新。貝葉斯定理作為一種概率計(jì)算可用于多個(gè)領(lǐng)域內(nèi)進(jìn)行概率推理。今天，我們用貝葉斯法則過濾垃圾郵件，為網(wǎng)站用戶推薦唱片、電影和書籍。它滲透到了互聯(lián)網(wǎng)、語言和語言處理、人工智能、機(jī)器學(xué)習(xí)、金融、天文學(xué)和物理學(xué)乃至國家安全等各個(gè)領(lǐng)域。 案例：法庭證據(jù)；郵件過濾。 那么，用來描述事件的貝葉斯法則是如何和統(tǒng)計(jì)推斷建立聯(lián)系，并擴(kuò)展為貝葉斯統(tǒng)計(jì)學(xué)的呢？ 我們從一個(gè)簡(jiǎn)單的例子開始討論。假設(shè)有方形和圓形的兩種盒子，盒子內(nèi)有紅、黃、白三種顏色的球。方盒有3個(gè)，每個(gè)里邊有紅球70只、黃球10只、白球20只；圓盒有5個(gè)，每個(gè)里邊有紅球20只、黃球75只、白球5只。現(xiàn)在先任取一個(gè)盒子，再從盒中任取一球，能不能通過求得顏色推斷它最有可能取自哪個(gè)盒子？為表示方便，記方盒=A，圓盒=B，紅球=R，黃球=Y，白球=W 使用貝葉斯定理進(jìn)行計(jì)算： p(A∣R)=38×7010038×70100+58×20100=2131 同樣可求出p(B∣R)=1031，p(A∣Y)=227，p(B∣Y)=2527 p(A∣W)=1217，p(B∣W)=517 按照發(fā)生的可能性最大，我們可以得到這樣的推斷： 紅$\rightarrow$方，黃$\rightarrow$ 圓，白$\rightarrow$方 由此我們知道各種情況下如何回答盒子的形狀，這就是一個(gè)完整的統(tǒng)計(jì)推斷。我們把它一般化：球的顏色就是樣本X，觀測(cè)到的球的顏色記為x，盒子就是參數(shù)，記為$\theta。記：\theta(A)=1,\theta(B)=2$，X(R )=1，X(Y)=2,X(W)=3, 那么我們上邊所述的就是一個(gè)參數(shù)估計(jì)問題，得到的參數(shù)的估計(jì)值為： \hat{\theta (x=1)}=1,\hat{\theta (x=2)}=2,\hat{\theta (x=3)}=1 貝葉斯公式說明了在具體的樣本下我們對(duì)參數(shù)$\theta$能了解到何種程度，這并不取決于所用的是什么樣的統(tǒng)計(jì)推斷方法；相反，由它可產(chǎn)生種種推斷方法。這是因?yàn)檫@里的參數(shù)$\theta$是一個(gè)隨機(jī)變量，而且我們知道了參數(shù)$\theta$的分布: p(θ(A))=3/8,p(θ(B))=5/8 （3）先驗(yàn)分布和后驗(yàn)分布 上面我們使用的是離散形式的貝葉斯定理。很多時(shí)候，我們更關(guān)心連續(xù)的參數(shù)，因此我們把定理的形式修正為連續(xù)的形式： h(θ∣x)=f(x,θ)h(θ)/∫θf(x,φ)dφ 因?yàn)榉帜傅姆e分結(jié)果是一個(gè)常數(shù)，因此更常用的形式是把它簡(jiǎn)記為：h(θ∣x)∝f(x,θ)h(θ) 其中符號(hào)\propto表示“正比于” 這個(gè)式子是貝葉斯統(tǒng)計(jì)推斷的基礎(chǔ)。下面我們來解釋一下其中各個(gè)部分的含義。 設(shè)樣本X有分布為Fθ(x)，其中θ是分布參數(shù)，要由X推斷θ。這個(gè)F可以稱為模型，它提供了關(guān)于所研究問題的一種知識(shí)（不是關(guān)于θ的知識(shí)，但是對(duì)推斷θ有用）。樣本X也提供了一種知識(shí)，包含了有關(guān)θ的信息。在經(jīng)典統(tǒng)計(jì)中，統(tǒng)計(jì)推斷是利用這兩種知識(shí)進(jìn)行的。在貝葉斯統(tǒng)計(jì)中，還需要關(guān)于參數(shù)的先驗(yàn)知識(shí)。θ要看做隨機(jī)變量，θ的分布為H(θ)（密度是h(θ)）,在對(duì)X進(jìn)行觀察之前就已知。這個(gè)H(θ)就稱為θ的先驗(yàn)分布（先驗(yàn)，就是抽樣之前）。 #關(guān)于先驗(yàn)分布解釋的例子 有了于θ的分布及給定于θ的條件下X的條件分布（這個(gè)分布叫做x的邊緣分布，也稱之為似然），就可以得到(X,θ)的聯(lián)合概率分布。貝葉斯推斷就是有一個(gè)隨機(jī)變量(X,θ)，其聯(lián)合分布已知，能觀察到X而不能觀察θ時(shí)，由X去推斷θ。 對(duì)樣本觀測(cè)之后，給定X=x條件下，θ的條件分布叫做θ的后驗(yàn)分布（后驗(yàn)，抽樣之后）。 后驗(yàn)分布綜合了關(guān)于θ的先驗(yàn)信息（先驗(yàn)分布）和樣本x中關(guān)于θ的信息。因此，如果說先驗(yàn)分布是抽樣前關(guān)于θ的認(rèn)識(shí)，則對(duì)X抽樣后，關(guān)于θ有了新的認(rèn)識(shí)，體現(xiàn)在后驗(yàn)分布中，樣本的作用在于使我們對(duì)θ的知識(shí)更新起到了這樣一個(gè)轉(zhuǎn)化。 后驗(yàn)分布對(duì)貝葉斯統(tǒng)計(jì)至關(guān)重要，對(duì)θ所做的任何推斷（估計(jì)，假設(shè)檢驗(yàn)等）必須且只能基于θ的后驗(yàn)分布，這就是貝葉斯統(tǒng)計(jì)推斷的原則。 （4）幾種不同的先驗(yàn)分布 如何利用之前的經(jīng)驗(yàn)和資料來提出先驗(yàn)分布，是貝葉斯統(tǒng)計(jì)推斷中一個(gè)重要的問題。這就涉及到了貝葉斯統(tǒng)計(jì)的“主觀概率”問題。在貝葉斯統(tǒng)計(jì)里，概率并不需要頻率解釋，而是根據(jù)經(jīng)驗(yàn)對(duì)隨機(jī)現(xiàn)象的發(fā)生可能性的一種看法或者信念。只要滿足概率公理三個(gè)條件的主觀概率也是概率。統(tǒng)計(jì)學(xué)家薩維奇曾給出過一個(gè)著名的女士品茶的例子：一位常喝牛奶加茶的女士說她可以分辨在杯中先加入的是茶還是奶。連續(xù)做了十次實(shí)驗(yàn)，她都說對(duì)了。顯然這來自于她的經(jīng)驗(yàn)而非猜測(cè)。我們?cè)谌粘Ｉ钪幸步?jīng)常使用基于經(jīng)驗(yàn)或者信念的主觀的概率陳述。比如說，天氣預(yù)報(bào)里說明天（8月3日）降水概率30%，就是關(guān)于“明日降水”這個(gè)事件的一種信念，因?yàn)樽鳛?月3日的明天是不可重復(fù)的，自然也就沒有頻率意義。再比如說，醫(yī)生認(rèn)為對(duì)某位病人進(jìn)行手術(shù)的成功可能性為80%，也是根據(jù)自己的經(jīng)驗(yàn)而具有的的信念，而非在這位病人身上反復(fù)進(jìn)行試驗(yàn)的頻率結(jié)果。 把θ看做隨機(jī)變量，進(jìn)而提出先驗(yàn)分布，在許多情況下是合理的。比如工廠產(chǎn)品的合格率每一天都有波動(dòng)，可以看做隨機(jī)變量；明天的降水概率雖然是幾乎不動(dòng)的，但這是基于經(jīng)驗(yàn)和規(guī)律提出來的概率陳述，也可以看做隨機(jī)變量。 盡管我們使用后驗(yàn)分布來進(jìn)行推理，但先驗(yàn)分布的選取也是很重要的。下面我們來討論一些常用的先驗(yàn)分布的形式。 i.無信息先驗(yàn)（Noninformative Priors） 無信息先驗(yàn)只包含了參數(shù)的模糊的或者一般的信息，是對(duì)后驗(yàn)分布影響最小的先驗(yàn)分布。很多人愿意選取無信息先驗(yàn)，因?yàn)檫@種先驗(yàn)與其它“主觀”的先驗(yàn)相比更接近“客觀”。通常，我們把均勻分布作為無信息先驗(yàn)來使用，這相當(dāng)于在參數(shù)所有的可能值上邊指派了相同的似然。但是無先驗(yàn)信息的使用也要慎重，比如有些情況下會(huì)導(dǎo)致不恰當(dāng)?shù)暮篁?yàn)分布（如不可積分的后驗(yàn)概率密度）。 iiJeffreys先驗(yàn)(Jeffreys’ Prior) Jeffreys提出的選取先驗(yàn)分布的原則是一種不變?cè)恚捎肍isher信息陣的平方根作為θ的無信息先驗(yàn)分布。較好地解決了無信息先驗(yàn)中的一個(gè)矛盾，即若對(duì)參數(shù)θ選用均勻分布，則其函數(shù)g(θ)往往不是均勻分布。 iii.信息先驗(yàn)（Informative Priors） 根據(jù)以前的經(jīng)驗(yàn)、研究或?qū)＜医?jīng)驗(yàn)得到的先驗(yàn)分布。 iv.共軛先驗(yàn)（Conjugate Priors） 共軛先驗(yàn)是指先驗(yàn)分布和后驗(yàn)分布來自同一個(gè)分布族的情況，就是說先驗(yàn)和后驗(yàn)有相同的分布形式（當(dāng)然，參數(shù)是不同的）。這些共軛先驗(yàn)是結(jié)合似然的形式推導(dǎo)出來的。常見的共軛先驗(yàn)形式如下表所示。共軛先驗(yàn)是經(jīng)常被使用的一種先驗(yàn)分布形式，原因在于數(shù)學(xué)處理和計(jì)算上的方便性，同時(shí)后驗(yàn)分布的一些參數(shù)也可以有很好的解釋。 常見的共軛先驗(yàn)分布 似然是二項(xiàng)分布$L(p)\propto {p}^{r}{1-p}^{n-r}$，參數(shù)為p（比例），p的先驗(yàn)分布是貝塔分布beta（α,β），后驗(yàn)分布是beta(α+r,β+n?r),后驗(yàn)均值是α+r,β+n?r。 似然是泊松分布$L(\lambda )\propto {\lambda }^{\sum {x}_{i}}{e}^{-n\lambda }$，參數(shù)是λ,先驗(yàn)是伽馬分布Gamma(α,β)， 后驗(yàn)分布是Gamma(∑xi+α,n+β)， 后驗(yàn)均值是∑xi+αn+β。 似然是正態(tài)分布N(μ,σ2)，參數(shù)是μ（σ2已知），先驗(yàn)是正態(tài)分布N(μ0,τ2)， 后驗(yàn)分布正態(tài)分布,后驗(yàn)均值是nτ2xˉ+μσ2nτ2+σ2 似然是正態(tài)分布N(μσ2)，參數(shù)是σ2（μ 已知），先驗(yàn)是逆伽馬分布inverse-Gamma(α,β)， 后驗(yàn)是inverse-Gamma(α+n2,β+∑(xi?μ)22),后驗(yàn)均值是(β+∑(xi?μ)22)/(α+n2+1) 似然是多項(xiàng)分布Mk(n,θ1,...,θk)，先驗(yàn)是Dirichlet分布D(α1,...,αk)，后驗(yàn)分布是D(α1+c1,...,αk+ck) 后驗(yàn)均值是E(Xi)=αi∑αk 更多先驗(yàn)分布請(qǐng)參考:http://en./wiki/Conjugate_prior 關(guān)于先驗(yàn)分布的選取。如果是離散的情況，根據(jù)經(jīng)驗(yàn)或者專家意見形成主觀概率就可以得到先驗(yàn)分布。在信息充分的情況下，利用分參數(shù)密度估計(jì)（如直方圖）尋找先驗(yàn)分布，判斷似然分布的形式選擇共軛先驗(yàn)分布也是一種比較方便的方法。如果沒有先驗(yàn)信息，或者先驗(yàn)信息很模糊的情況下，選擇無信息先驗(yàn)分布，也可以根據(jù)似然函數(shù)的形式選擇共軛先驗(yàn)分布。 先驗(yàn)分布的選取應(yīng)以合理性為首要原則。 （5）使用R做后驗(yàn)分布的計(jì)算 下邊我們采用R的貢獻(xiàn)包LearnBayes來進(jìn)行一些基本的貝葉斯計(jì)算。LearnBayes這個(gè)R包包括一系列的函數(shù)來計(jì)算后驗(yàn)分布，MCMC抽樣方法，貝葉斯回歸模型和層次模型。 例：嗜睡者研究 一位研究者想研究大學(xué)生的睡眠情況。他走訪了30名學(xué)生，其中12名可以保證8小時(shí)的充分睡眠，而其它18名學(xué)生的睡眠時(shí)間則不足8小時(shí)。這位學(xué)者感興趣的是大學(xué)生這個(gè)群體中充足睡眠者的比例p。作為比例的p其似然函數(shù)是二項(xiàng)分布，可以把它寫為：L(p)∝ps(1?p)n?s，其中n是走訪的學(xué)生總數(shù)，s是充分睡眠的學(xué)生數(shù)。 下面我們采用兩種方法來取先驗(yàn)分布并計(jì)算后驗(yàn)分布。 一種方法是假設(shè)有關(guān)于大學(xué)生群體睡眠狀況的比較充分信息，p值可能取.05, .15, .25, .35, .45, .55, .65, .75, .85, .95這些值，相對(duì)應(yīng)的權(quán)重的可以取為1, 5, 8, 7, 4.5, 2, 1, 0.7, 0.5, 0.2，那么通過對(duì)這些權(quán)重值的歸一化可以得到p的離散形式的先驗(yàn)概率。對(duì)具有離散先驗(yàn)的比例參數(shù)，計(jì)算后驗(yàn)概率使用函數(shù)pdisc（）。然后我們可以用繪圖包ggplot2把先驗(yàn)和后驗(yàn)分布畫出來。計(jì)算過程如下： # 使用離散先驗(yàn) library(LearnBayes) library(ggplot2) p <- seq(0.05, 0.95, by = 0.1) prior <- c(1, 5, 8, 7, 4.5, 2, 1, 0.7, 0.5, 0.2) prior <- prior/sum(prior) data <- c(12, 18) post <- pdisc(p, prior, data) prob <- c(prior, post) type <- factor(rep(c("prior", "posterior"), each = 10)) n <- as.numeric(rep(1:10, times = 2)) d.prior <- data.frame(prob, type, n) ggplot(d.prior, aes(x = n, y = prob, fill = type)) + geom_bar(stat = "identity", position = "dodge")
 另一種方式是取共軛先驗(yàn)分布。因?yàn)樗迫皇嵌?xiàng)分布，共軛先驗(yàn)分布就是beta分布。假設(shè)我們對(duì)先驗(yàn)分布有一定了解，其50%分位數(shù)對(duì)應(yīng)的比例值為0.3，90%分位數(shù)對(duì)應(yīng)的比例值為0.5。利用beta.select（）函數(shù)可以得到完整的先驗(yàn)分布。然后利用ggplot2包繪制先驗(yàn)和后驗(yàn)分布的圖形： # 使用beta分布作為共軛先驗(yàn) quantile2 = list(p = 0.9, x = 0.5) #p代表分位數(shù)，x代表比例 quantile1 = list(p = 0.5, x = 0.3) beta.prior <- beta.select(quantile1, quantile2) #利用分位數(shù)生成先驗(yàn)分布 a <- beta.prior[1] b <- beta.prior[2] print(c(a, b)) ## [1] 3.26 7.19 s = 12 f = 18 ggplot(data.frame(x = c(0, 1)), aes(x = x)) + stat_function(fun = dbeta, args = list(shape1 = a, shape2 = b), geom = "area", fill = "blue", alpha = 0.3, colour = "blue", lwd = 1) + stat_function(fun = dbeta, args = list(shape1 = s + a, shape2 = f + b), geom = "area", fill = "red", alpha = 0.3, , colour = "red", lwd = 1) + annotate("text", x = 0.25, y = 3, label = "prior") + annotate("text", x = 0.37, y = 5.3, label = "posterior")
 2.貝葉斯統(tǒng)計(jì)推斷 （1）點(diǎn)估計(jì) 點(diǎn)估計(jì)就是估計(jì)θ的取值。貝葉斯統(tǒng)計(jì)中的點(diǎn)估計(jì)是利用后驗(yàn)分布的某個(gè)有代表性的特征數(shù)字來估計(jì)θ，比如后驗(yàn)分布的均值（后驗(yàn)期望估計(jì)）、中位數(shù)（后驗(yàn)中位數(shù)估計(jì)）或使后驗(yàn)密度最大的θ的估計(jì)值（后驗(yàn)最大估計(jì)）。這里有個(gè)問題，既然在貝葉斯統(tǒng)計(jì)里θ看做隨機(jī)變量，那么對(duì)θ的估計(jì)是什么含義呢？這個(gè)點(diǎn)估計(jì)表示的是θ在一個(gè)特定場(chǎng)景下所取的特定值。那么這個(gè)時(shí)候的后驗(yàn)分布就可以理解成在抽樣得到樣本x后，盡管無法確定得到參數(shù)值，但是可以給出關(guān)于參數(shù)取值可能性的概率分布。 三種不同的點(diǎn)估計(jì)一般是不同的，只有當(dāng)后驗(yàn)密度是對(duì)稱的分布時(shí)三者才重合。存在三種不同估計(jì)量的原因是取不同的損失函數(shù)可以得到不同的估計(jì)量，使用時(shí)根據(jù)不同的需要選擇合適的估計(jì)量。 上面充分睡眠的例子中，在取共軛分布為beta分布的情況下，取后驗(yàn)分布的均值作為估計(jì)量，得p?=α+sα+β+n=3.26+123.26+7.19+30=0.377 （2）區(qū)間估計(jì) 得到后驗(yàn)分布之后，尋找一個(gè)區(qū)間（A(x),B(x)），使$p(A(x)\ll \theta \ll B(x))=1-\alpha ，這個(gè)區(qū)間叫做\theta$的覆蓋概率（有的文獻(xiàn)直接叫做可信水平）為1?α的貝葉斯可信區(qū)間。 可信區(qū)間這個(gè)概念和頻率統(tǒng)計(jì)中置信區(qū)間雖然是同類型的概念，含義卻相去甚遠(yuǎn)。對(duì)貝葉斯可信區(qū)間來說，給定樣本計(jì)算出可信區(qū)間之后，它的意義可以理解為θ以概率1?α落在這個(gè)區(qū)間里；而在頻率統(tǒng)計(jì)里這樣的說法沒有意義，因?yàn)轭l率統(tǒng)計(jì)中θ是一個(gè)常量，我們只能說在100次試驗(yàn)中，θ有1001?α次落入這個(gè)置信區(qū)間。 一般情況下可以得到多個(gè)貝葉斯可信區(qū)間，那么選擇其中長(zhǎng)度最短的區(qū)間。只要使區(qū)間外的后驗(yàn)概率密度值都小于區(qū)間內(nèi)的后驗(yàn)概率密度值就可以得到這樣的區(qū)間，我們稱它為最大后驗(yàn)密度可信區(qū)間（HPD） 下面我們用計(jì)算beta分布分位數(shù)值的qbeta（）函數(shù)來計(jì)算取beta（3.19,7.26） 為先驗(yàn)分布時(shí)，后驗(yàn)分布95%的置信區(qū)間。 qbeta(c(0.25, 0.75), a + s, b + f) ## [1] 0.3246 0.4277 這個(gè)置信區(qū)間是等尾置信區(qū)間，也就是說分布密度左右兩個(gè)尾部的面積是相等的。 (3)假設(shè)檢驗(yàn) 貝葉斯統(tǒng)計(jì)的假設(shè)檢驗(yàn)是很直接的。 首先建立假設(shè)：H0:θ∈Θ0?H1:θ∈Θ1 在得到θ的后驗(yàn)分布之后，計(jì)算原假設(shè)和備選假設(shè)的后驗(yàn)概率： αi=P(Θi∣x)dθ,i=0,1,然后比較α0,α1的大小，如果α0>α1,則接受原假設(shè)：H0,否則反之。（如果這個(gè)比值為1，則需要進(jìn)一步抽樣或者搜集先驗(yàn)信息）。 3.貝葉斯學(xué)派與頻率學(xué)派 （1） 貝葉斯學(xué)派和頻率學(xué)派的論戰(zhàn)是二十世紀(jì)統(tǒng)計(jì)學(xué)發(fā)展中一個(gè)非常重要的組成部分。在貝葉斯統(tǒng)計(jì)學(xué)已得到廣泛接受和使用的今天，依然有必要簡(jiǎn)述一下兩派學(xué)者各自的觀點(diǎn)，這有助于理解貝葉斯統(tǒng)計(jì)的一些基本概念以便更好的應(yīng)用。 ## ## +-------------------------------------------------------------------------------+ ## | 頻率學(xué)派 | ## +===============================================================================+ ## | （1）概率的概念基于頻率。方法的性質(zhì)可由試驗(yàn)的多次重復(fù)來解釋 | ## +-------------------------------------------------------------------------------+ ## | （2）除非包括先驗(yàn)概率在內(nèi)的所有概率都有頻率解釋，不把貝葉斯定理作為推斷的手段 | ## +-------------------------------------------------------------------------------+ ## | （3）使用樣本數(shù)據(jù)進(jìn)行推斷 | ## +-------------------------------------------------------------------------------+ ## | （4）參數(shù)是固定未知的常量 | ## +-------------------------------------------------------------------------------+ ## | （5）方法中起決定作用的是統(tǒng)計(jì)量及其分布 | ## +-------------------------------------------------------------------------------+ ## ## Table: 頻率學(xué)派觀點(diǎn) ## ## ## +-------------------------------------------------------------+ ## | 貝葉斯學(xué)派 | ## +=============================================================+ ## | （1）概率是“主觀”的，反映了在唯一的給定狀況下研究者的信念 | ## +-------------------------------------------------------------+ ## | （2）貝葉斯定理是進(jìn)行推斷的關(guān)鍵 | ## +-------------------------------------------------------------+ ## | （3）利用所有能用的知識(shí)進(jìn)行推斷，包括樣本知識(shí)和先驗(yàn)知識(shí) | ## +-------------------------------------------------------------+ ## | （4）參數(shù)是隨機(jī)變量 | ## +-------------------------------------------------------------+ ## | （5）方法中起決定作用的是后驗(yàn)分布 | ## +-------------------------------------------------------------+ ## ## Table: 貝葉斯學(xué)派觀點(diǎn) 盡管存在爭(zhēng)議，現(xiàn)在越來越多的人認(rèn)為貝葉斯統(tǒng)計(jì)和經(jīng)典統(tǒng)計(jì)各有其適用的場(chǎng)合。什么情況下，選擇貝葉斯統(tǒng)計(jì)能得到更好的結(jié)果呢？ 一般來說，如果存在明顯的先驗(yàn)信息或便于使用貝葉斯計(jì)算方法（如共軛先驗(yàn)、MCMC等）處理的復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，這時(shí)使用貝葉斯方法會(huì)有很好的效果。如果存在大量重復(fù)試驗(yàn)的數(shù)據(jù)或者只有很弱的先驗(yàn)信息，則沒有必要過份強(qiáng)調(diào)貝葉斯方法。 下面的例子來說明如何針對(duì)不同的問題選擇貝葉斯方法還是經(jīng)典方法：http://site.douban.com/182577/widget/notes/10567181/note/278503359/ （2）為什么選擇貝葉斯方法 貝葉斯統(tǒng)計(jì)方法的廣泛應(yīng)用在于它在概念和使用上的優(yōu)點(diǎn)：不依賴于重復(fù)抽樣的推斷思想，適用于更多樣的情況；后驗(yàn)概率是在觀察數(shù)據(jù)之后信念的完整特征，包含進(jìn)行統(tǒng)計(jì)推斷所需的一切信息，利用后驗(yàn)分布進(jìn)行統(tǒng)計(jì)推斷，實(shí)現(xiàn)概念的簡(jiǎn)化；現(xiàn)代計(jì)算方法的采用讓貝葉斯統(tǒng)計(jì)方法更加簡(jiǎn)單實(shí)用。 |
|
|
