概率論與數理統計教材上的解釋，每次看過覺得懂了，之后用到還是很混亂。希望找到一個有啟發性的解釋！
大數定律說的是隨機現象平均結果穩定性。
中心極限定理論證隨機變量的和的極限分布是正態分布。
假設檢驗中經常用到 某個統計量標準化（減期望再比方差）后的漸進分布是標準正態，這個應該是中心極限定理最常見的應用之一。在使用這一條的時候有什么限制嗎？還是所有統計量都可以套用進來，只需要樣本量不太?。ū热?0以上）？
試圖從另一個角度給出一個還算啟發性的答案。 題主學過微積分的泰勒展開吧，對一個連續可導的函數，在一點局部我們認為這個函數可以用線性函數來擬合，從而有  . 這里面  是零階項，  是一階修正，  是高階小量。 與此對應，我們可以試著對隨機變量的進行“局部的泰勒展開”。假設  是獨立同分布的變量，那么根據大數定律和中心極限定理，我們有  . 其中期望  對應 ，標準差  對應一階導  ，標準正態分布  對應線性函數 ， 是概率意義下的高階小量。 通過這個類比我們可以這樣理解大數定律和中心極限定理： 1、大數定律和中心極限定理可以看做隨機變量的零階和一階“泰勒展開”，其中大數定律是隨機變量的“零階估計”，中心極限定理是在大數定律成立下的“一階導數”，在極限下高階小量可忽略。 2、大數定律負責給出估計——期望，中心極限定理負責給出大數定律的估計的誤差——標準差乘以標準正態分布。 3、通過泰勒展開我們可以對中心極限定理的應用范圍有一個直觀的估計。為了使泰勒展開成立，我們假設了高階小量 在取平均（除以 后）是可以忽略的。為了使這一點成立，我們至少需要樣本量和方差在同一量級上或者更小。 4、其實我們還可以進行更高階的展開，貌似三階展開對應的統計量叫做skewness，wiki上常用分布的詞條都會給出這一數值。不過實際應用中中心極限定理已經足夠，所以通常也就不需要了。
A1.大數定律成立的條件比中心極限定理寬松，前者只需要一階矩存在，而后者需要前兩階矩都存在。 因為條件更強，中心極限定理的結論也更強，大數定律只是證明幾乎處處收斂，卻沒有指明收斂的速度，而中心極限定理給出了收斂的極限分布和漸近方差。 A2. 中心極限定理有很多版本，最常見的版本要求（或假設）所有樣本獨立同分布，且他們共同服從的分布存在前兩階原點矩。 即 , . 由于 可以推出 ，故在使用的時候只要保證二階矩有限即可。對于并非獨立同分布的情形，有較弱條件下的中心極限定理，亦稱 The Linderberg-Feller Theorem. 不詳述了。 PS.
誠如題主所言，中心極限定理和強、弱大數定律是概率論的核心，歷史悠久（不晚于1733年）研究者甚眾【至少包括拉普拉斯(Laplace)、棣莫佛(de
Movire)、林德伯格(Linderberg)、列維（Levy）、費勒（Feller）、李雅普諾夫（Lyapunov）、切比雪夫（Chebyshev）、馬爾可夫（Markov）、科爾默格洛夫（Kolmogorov）、波若爾（Borel），坎泰利（Cantelli）等巨擘】，各種版本（比如隨即過程的中心極限定理、三角級數的中心極限定理等等）和推廣也不少，很難一兩句話講清，水平有限，草草。
教授這周剛講完這兩個定理。先說中心極限定理。 中心極限定理：
大量相互獨立的隨機變量，其均值（或者和）的分布以正態分布為極限（意思就是當滿足某些條件的時候，比如Sample
Size比較大，采樣次數區域無窮大的時候，就越接近正態分布）。而這個定理amazing的地方在于，無論是什么分布的隨機變量，都滿足這個定理。 比如現在有一個 奇形怪狀的六面骰子，并且六面上的點數分別為1,1,2,3,3,5。 我們現在開始擲這個骰子（可視為一個隨機過程），然后記錄下每次朝上的點數（每次扔骰子可視為一個隨機變量）。先扔6次好了。 第一次： 那么第一次結果的均值 然后你再擲五次，分別求得每次結果的均值，于是你得到了 現在神奇的地方是，這六個值的分布，有點像是正態分布。 然后你再繼續瘋狂的擲這個奇形怪狀的骰子，擲了n次，并且分別對每次的結果都求了均值，這時候你得到了 當n越大，這n個值的分布就越接近正態分布，而當n趨向正無窮時，這無窮個均值的分布就是正態分布了！并且！這還沒有結束??！ 并且！這個正態分布的均值 和 投擲奇形怪狀骰子并記錄朝上的點數這個隨機過程的均值是一！樣！的！ 這樣，因為我們沒有辦法得到這個奇形怪狀骰子的分布函數，就沒有辦法直接通過求期望的公式得到這個隨機過程的期望。而運用中心極限定理，我們就能夠得到這個隨機過程的期望了。 大數定理 簡單的可以描述為，如果有一個隨機變量X，你不斷的觀察并且采樣這個隨機變量，得到了n個采樣值， ，然后求得這n個采樣值得平均值 ，當n趨向于正無窮的時候，這個平均值就收斂于這個隨機變量X的期望。 公式為 舉個例子。 比如你有一個盒子，盒子里面有100個硬幣，你每次搖晃盒子然后數一數有多少硬幣正面朝上。很容易算出這個隨機變量的期望為50。 第一次搖，數出有55個硬幣正面朝上， =55 第二次搖，數出有65個硬幣正面朝上， =（55+65）/2=60 第三次搖，數出有70個硬幣正面朝上， =（55+65+70）/3= ………… 當你搖的次數足夠多（無數次）時，最終這個平均值 就會等于50。
樓主的問題讓我想起了當年自己也對這倆東西鬧不明白的時候，想象一下當年的自己，然后看了下大家的答案，感覺好像回答的都不夠直接，于是我再無邀自答一下。 簡單來說，大數定律（LLN）和中心極限定理（CLT）的聯系與區別在于： - 共同點：都是用來描述獨立同分布（i.i.d）的隨機變量的和的漸進表現（asymptotic behavior)
- 區別：首先，它們描述的是在不同的收斂速率（convergence rate）之下的表現，其次LLN前提條件弱一點：, CLT成立條件強一點：
多說一句關于 收斂速率，假設有 n 個 i.i.d 的隨機變量，令它們的和為 - 大數定律（以其中弱大數定律為例）說的是 ~~~~~~~~~~~~ (1)
- 中心極限定理說的是 ~~~~~~~~~~~ (2)
注意 表達式（1）和表達式（2）差了個有沒有！所以你就記住這條就不會混亂了，來，跟我念一遍：“差了個！”
比如現在你穿越回17世紀，與帕斯卡兄弟和費馬大爺相遇?？吹剿麄兎▏鴮m廷正在玩：擲硬幣。
第一回合(老帕擲)：擲硬幣10次，正面出現7次。老帕得出結論～任意擲一次硬幣出現正面的概率是0.7
第二回合(費馬擲)：擲硬幣50次，正面出現30次。費馬得出結論～任意擲一次硬幣出現正面的概率是0.6
第三回合(老帕擲)：擲硬幣100次，正面出現65次。老帕得出結論～任意擲一次硬幣出現正面的概率是0.65
第四回合(費馬擲)：擲硬幣200次，正面出現110次。老帕得出結論～任意擲一次硬幣出現正面的概率是0.55
……
第九十九和一百回合(老帕和費馬單獨擲)：分別擲硬幣1000次，正面出現分別為505次和498次。老帕和費馬得出結論～任意擲一次硬幣出現正面的概率是0.505和0.498
……
這時兄弟你就可以跳出來，告訴法國國王說：女士們，先生們，現在我們宣布兩個定理。
定理一：當我們把擲硬幣的次數擴大到無限時，會發現出現正面的概率會趨向于0.5～～此乃大數定律。
定理二：我們繪制一個直角坐標，
X軸表示這一百回合我們每次擲的次數：即10，20，100，200……，1000，1000。
Y軸表示每一回合正面出現的概率：即0.7，0.6，0.65，0.55……0.505，0.498。
把這一百個點連接起來，會發現它的形狀非常像正態曲線～～此乃中心極限定理。
在無數次獨立同分布的隨機事件中，事件的頻率趨于一個穩定的概率值，這是大數定律； 而同樣的無數次獨立同分布的隨機事件中，事件的分布趨近于一個穩定的正態分布，而這個正太分布的期望值u，正是大數定律里面的概率值，這是中心極限定理所描述的。 所以，中心極限定理比大數定律揭示的現象更深刻，同時成立的條件當然也要相對來說苛刻一些。
大數定理說的是均值，搖骰子，搖100萬次，均值趨近3.5；中心極限定理說的是分布，每次4顆骰子一起扔，每次都記下4顆的均值，扔100萬次，這些均值服從正態分布
我來用兩句話總結這兩個定理
大數定理：當樣本容量逐漸增大，無限逼近總體容量時，樣本均值也是無限逼近于總體均值（即教材上講的是樣本期望收斂于真實的期望）
中心極限定理：對于N個相互獨立的分布函數未知但期望和方差已定的隨機變量，選樣本容量為m抽樣無數次，抽樣的均值是滿足正態分布的（比如說生產一箱貨，每箱重量的均值和方差確定但是任意一一箱的重量是隨機的，把貨不斷裝進很多貨車上，這時候每箱貨是滿足正態分布的，定理描述的是隨機變量的和）
大數定理比較好理解。主要是中心極限定理的理解：
無論進行抽樣的分布函數是不是正態分布，總會有這樣的事實：抽到某些情況的概率很低，比如投六次6次骰子都是6，對應取到均值6的概率就很低。再比如抽到1、2、5、7、3、4的情況的概率比較高，對應取到均值3.667的概率就比較大，當然取到1、2、5、6、4、4的情況也算，因為均值同樣為3.667。單次抽樣，取到某一種結果的概率與樣本的總體分布情況有關；多次抽樣，全部抽樣樣本的情況實際上明顯地表現出“普遍的高特殊的少”，這樣是不是有一點正態分布的感覺。
具體的證明我不會，但這樣想，不會有那種“這個定理只能推出來，無法直觀理解”的感覺。
中心極限定理有3點：期望值、標準差 σ/√N、正態分布；大數定律只是其中第一點。
呀這個問題！
卯詩松的概率論與數理統計上說
大數定律研究的是在什么條件下，這組數據依概率收斂于他們的均值。
中心極限定理研究的是在什么條件下，這些樣本依分布收斂于正太分布。
依概率收斂就是強收斂，隨機過程中成為強平穩。依分布收斂就是弱收斂，隨機過程中成為弱平穩。
認為上面高票答案關于中心極限定理說的不對。
比如擲兩枚硬幣，設正面為1反面為0，那么每次擲出現的結果的均值可能為1、0.5和0，擲無窮次，顯然結果只會出現在這三個點，何來正態之說？這里可以將每次的均值看作一個隨機變量X，符合P（X
= 1）= 1/4,P(X=0.5) = 1/2,P(X = 0) = 1/4的分布，重復n次實驗得到n個X，
則∑X符合正態分布，期望為0.5n，同樣∑X的均值也符合正態分布。中心極限定理的意義是對任意一個隨機變量X，期望為μ，方差為D，如果進行n→無窮次實驗（可以看成n個同分布的Xi），可以得出∑X符合期望為nμ，方差為nD的正態分布，因此當我們知道μ和D，需要研究一個實驗重復n次所帶來的結果的概率的時候，就可以用正態分布來近似。
|
