Centralne twierdzenie graniczne

Centralne twierdzenie graniczne – twierdzenie probabilistyki o zbieżności pewnych ciągów zmiennych losowych do rozkładu normalnego^[1]. Wyjaśnia ono powszechność w przyrodzie zbliżonych do niego rozkładów prawdopodobieństwa.

Wersje

Sformułowanie szczególne

Centralne twierdzenie graniczne to twierdzenie matematyczne mówiące, że jeśli ${\displaystyle X_{i}}$ są niezależnymi zmiennymi losowymi pochodzącymi z tej samej populacji o wartości oczekiwanej ${\displaystyle \mu }$ oraz dodatniej i skończonej wariancji ${\displaystyle \sigma ^{2},}$ to ciąg zmiennych losowych, w postaci znormalizowanych wartości oczekiwanych ${\displaystyle U_{n}}$

${\displaystyle U_{n}={\frac {{\frac {1}{n}}\sum _{i=1}^{n}X_{i}-\mu }{\sigma /{\sqrt {n}}}}}$

zbieżny jest według rozkładu do standardowego rozkładu normalnego, gdy ${\displaystyle n\to +\infty .}$

Tzn.

${\displaystyle \lim _{n\to \infty }P(U_{n}<u)={\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{u}e^{-x^{2}/2}\,dx}$

Sformułowanie ogólne

Centralne twierdzenie graniczne znane też pod nazwą twierdzenia Lindeberga-Lévy’ego mówi:

Niech ${\displaystyle (X_{n,k})}$ będzie schematem serii, w którym ${\displaystyle EX_{n,k}=0}$ dla ${\displaystyle k\leqslant n}$ i dla każdego ${\displaystyle n}$ mamy ${\displaystyle \sum _{k=1}^{n}D^{2}X_{n,k}=1.}$ Jeśli spełniony jest warunek Lindeberga, tj. dla każdego ${\displaystyle \epsilon >0}$ zachodzi ${\displaystyle \lim _{n\to \infty }\sum _{k=1}^{n}EX_{n,k}^{2}\mathbf {1} _{\{|X_{n,k}|>\epsilon \}}=0,}$ to ${\displaystyle \sum _{k=1}^{n}X_{n,k}{\xrightarrow {D}}N(0,1).}$

Dowód

Dowodów centralnego twierdzenia granicznego w wersji ogólnej jest kilka. Wszystkie są dość skomplikowane i wymagają korzystania z wielu zaawansowanych narzędzi matematycznych. Poniżej znajduje się jeden z prostszych dowodów, nie dający jednak oszacowania wartości błędu.

Pierwszym krokiem dowodu jest sformułowanie i udowodnienie użytecznych lematów.

Lemat 1

Niech ${\displaystyle f\colon \mathbf {R} \to \mathbf {R} }$ będzie funkcją trzykrotnie różniczkowalną taką, że ${\displaystyle \forall x\in \mathbf {R} }$ zachodzi ${\displaystyle |f'''(x)|\leqslant A}$ oraz ${\displaystyle |f''(x)|\leqslant B.}$ Wówczas: ${\displaystyle \forall x,y\in \mathbf {R} }$

• a) ${\displaystyle {\Bigg |}f(x+y)-f(x)-f'(x)y-{\frac {f''(x)y^{2}}{2!}}{\Bigg |}}$${\displaystyle {}\leqslant {\frac {A|y|^{3}}{3!}},}$
• b) ${\displaystyle {\bigg |}f(x+y)-f(x)-f'(y){\bigg |}\leqslant {\frac {By^{2}}{2!}}.}$

Dowód

Oznaczmy ${\displaystyle \varphi _{x}(y)=f(x+y)-f(x)-f'(x)y-{\frac {f''(x)y^{2}}{2!}}.}$ Wówczas ${\displaystyle \varphi _{x}(0)=0,\varphi _{x}'(0)=0,\varphi _{x}''(0)=0.}$

Ustalmy dowolne ${\displaystyle y>0.}$ Wówczas zgodnie z twierdzeniem Cauchy’ego istnieją takie ${\displaystyle z,t,w>0,}$ że:

${\displaystyle {\Bigg |}{\frac {\varphi _{x}(y)}{y^{3}}}{\Bigg |}={\Bigg |}{\frac {\varphi _{x}(y)-\varphi _{x}(0)}{y^{3}-0}}{\Bigg |}}$${\displaystyle {}={\Bigg |}{\frac {\varphi _{x}'(z)}{3z^{2}}}{\Bigg |}}$${\displaystyle {}={\Bigg |}{\frac {\varphi _{x}'(z)-\varphi _{x}'(0)}{3z^{2}-3\cdot 0^{2}}}{\Bigg |}}$${\displaystyle {}={\Bigg |}{\frac {\varphi _{x}''(t)}{6t}}{\Bigg |}}$${\displaystyle {}={\Bigg |}{\frac {\varphi _{x}''(t)-\varphi _{x}''(0)}{6t-6\cdot 0}}{\Bigg |}}$${\displaystyle {}={\Bigg |}{\frac {\varphi _{x}'''(w)}{6}}{\Bigg |}\leqslant {\frac {A}{6}}.}$

Na tej samej zasadzie:

${\displaystyle {\Bigg |}{\frac {\varphi _{x}(y)}{y^{2}}}{\Bigg |}}$${\displaystyle {}={\Bigg |}{\frac {\varphi _{x}''(t)}{2}}{\Bigg |}}$${\displaystyle {}\leqslant {\frac {B}{2}}.}$ ${\displaystyle \Box }$

Lemat 2

Jeżeli ${\displaystyle X\sim N(0,1),}$ to

${\displaystyle E|X|^{3}=\int \limits _{R}|x|^{3}{\frac {1}{\sqrt {2\pi }}}e^{-{\frac {x^{2}}{2}}}dx={\frac {4}{\sqrt {2\pi }}}.}$

Dowód

${\displaystyle E|X|^{3}=\int \limits _{R}|x|^{3}{\frac {1}{\sqrt {2\pi }}}e^{-{\frac {x^{2}}{2}}}dx}$${\displaystyle {}={\frac {2}{\sqrt {2\pi }}}\int \limits _{0}^{+\infty }x^{3}e^{-{\frac {x^{2}}{2}}}dx.}$

Dokonujemy podstawienia ${\displaystyle x^{2}=t\Rightarrow dx={\frac {dt}{2x}}{:}}$

${\displaystyle E|X|^{3}={\frac {2}{\sqrt {2\pi }}}\int \limits _{0}^{+\infty }txe^{-{\frac {t}{2}}}{\frac {dt}{2x}}}$${\displaystyle {}={\frac {1}{\sqrt {2\pi }}}\int \limits _{0}^{+\infty }te^{-{\frac {t}{2}}}dt.}$

Teraz całkujemy przez części:

${\displaystyle E|X|^{3}=-{\frac {2t}{\sqrt {2\pi }}}e^{-{\frac {t}{2}}}{\Bigg |}_{0}^{+\infty }+{\frac {2}{\sqrt {2\pi }}}\int \limits _{0}^{+\infty }e^{-{\frac {t}{2}}}dt}$${\displaystyle {}=-{\frac {4}{\sqrt {2\pi }}}e^{-{\frac {t}{2}}}{\Bigg |}_{0}^{+\infty }}$${\displaystyle {}={\frac {4}{\sqrt {2\pi }}}.}$ ${\displaystyle \Box }$

Drugi krok polega na oszacowaniu pewnej wartości:

Niech ${\displaystyle f\colon \mathbf {R} \to \mathbf {R} ,f\in C^{3}(\mathbf {R} )}$ będzie funkcją trzykrotnie różniczkowalną taką, że ${\displaystyle |f'''(x)|\leqslant A\;\forall x\in \mathbf {R} }$ oraz ${\displaystyle |f''(x)|\leqslant B\;\forall x\in \mathbf {R} .}$

Rozważamy niezależne zmienne ${\displaystyle (G_{n,k})}$ o rozkładzie normalnym takie, że ${\displaystyle \forall n,k\;EG_{n,k}=0}$ oraz ${\displaystyle D^{2}G_{n,k}=D^{2}X_{n,k}.}$

Wówczas:

${\displaystyle \forall x\in \mathbf {R} \;{\Bigg |}Ef(x+X_{n,k})-Ef(x+G_{n,k}){\Bigg |}}$

${\displaystyle {}={\Bigg |}Ef(x+X_{n,k})-f(x)-f'(x)\cdot EX_{n,k}}$${\displaystyle {}-{\frac {f''(x)}{2!}}EX_{n,k}^{2}-Ef(x+G_{n,k})+f(x)+f'(x)\cdot EG_{n,k}+{\frac {f''(x)}{2!}}EG_{n,k}^{2}{\Bigg |}}$

${\displaystyle ={\Bigg |}E{\Big [}f(x+X_{n,k})-f(x)-f'(x)\cdot X_{n,k}}$${\displaystyle {}-{\frac {f''(x)}{2!}}X_{n,k}^{2}{\Big ]}-E{\Big [}f(x+G_{n,k})-f(x)-f'(x)\cdot G_{n,k}-{\frac {f''(x)}{2!}}G_{n,k}^{2}{\Big ]}{\Bigg |}}$

${\displaystyle \leqslant E{\Bigg |}f(x+X_{n,k})-f(x)-f'(x)\cdot X_{n,k}}$${\displaystyle {}-{\frac {f''(x)}{2!}}X_{n,k}^{2}{\Bigg |}+E{\Bigg |}f(x+G_{n,k})-f(x)-f'(x)\cdot G_{n,k}-{\frac {f''(x)}{2!}}G_{n,k}^{2}{\Bigg |}.}$

Przy czym ostatnia nierówność to nierówność trójkąta.

Drugi ze składników daje się na podstawie Lematu 1 oszacować w sposób następujący:

${\displaystyle E{\Bigg |}f(x+G_{n,k})-f(x)-f'(x)\cdot G_{n,k}-{\frac {f''(x)}{2!}}G_{n,k}^{2}{\Bigg |}}$${\displaystyle {}\leqslant {\frac {A}{6}}E|G_{n,k}|^{3}.}$

Tymczasem ${\displaystyle G_{n,k}={\sqrt {D^{2}X_{n,k}}}\cdot G,}$ gdzie ${\displaystyle G\sim N(0,1).}$ W związku z tym (korzystając z Lematu 2):

${\displaystyle E|G_{n,k}|^{3}=(D^{2}X_{n,k})^{3/2}\cdot E|G|^{3}}$${\displaystyle {}\leqslant 12\cdot (D^{2}X_{n,k})^{3/2}.}$

Wobec tego

${\displaystyle {\frac {A}{6}}E|G_{n,k}|^{3}\leqslant 2A\cdot (D^{2}X_{n,k})^{3/2}}$${\displaystyle {}\leqslant 2A\cdot D^{2}X_{n,k}\cdot {\bigg (}\max _{1\leqslant k\leqslant n}{\sqrt {D^{2}X_{n,k}}}{\bigg )}.}$

Pierwszy ze składników można natomiast oszacować w sposób następujący:

${\displaystyle E{\Bigg |}f(x+X_{n,k})-f(x)-f'(x)\cdot X_{n,k}-{\frac {f''(x)}{2!}}X_{n,k}^{2}{\Bigg |}}$${\displaystyle {}=E{\Bigg |}f(x+X_{n,k})-f(x)-f'(x)\cdot X_{n,k}-{\frac {f''(x)}{2!}}X_{n,k}^{2}{\Bigg |}\cdot \mathbf {1} _{\{|X_{n,k}|\leqslant \epsilon \}}}$${\displaystyle {}+E{\Bigg |}f(x+X_{n,k})-f(x)-f'(x)\cdot X_{n,k}}$${\displaystyle {}-{\frac {f''(x)}{2!}}X_{n,k}^{2}{\Bigg |}\cdot \mathbf {1} _{\{|X_{n,k}|>\epsilon \}}.}$

Z kolei szacujemy:

${\displaystyle E{\Bigg |}f(x+X_{n,k})-f(x)-f'(x)\cdot X_{n,k}-{\frac {f''(x)}{2!}}X_{n,k}^{2}{\Bigg |}\cdot \mathbf {1} _{\{|X_{n,k}|\leqslant \epsilon \}}}$${\displaystyle {}\leqslant {\frac {A}{6}}E|X_{n,k}|^{3}\cdot \mathbf {1} _{\{|X_{n,k}|\leqslant \epsilon \}}}$${\displaystyle {}\leqslant {\frac {A}{6}}D^{2}X_{n,k}\cdot \epsilon }$

oraz

${\displaystyle E{\Bigg |}f(x+X_{n,k})-f(x)-f'(x)\cdot X_{n,k}-{\frac {f''(x)}{2!}}X_{n,k}^{2}{\Bigg |}\cdot \mathbf {1} _{\{|X_{n,k}|>\epsilon \}}}$${\displaystyle {}\leqslant E|f(x+X_{n,k})-f(x)-f'(x)\cdot X_{n,k}|\cdot \mathbf {1} _{\{|X_{n,k}|>\epsilon \}}+E{\Bigg |}{\frac {f''(x)}{2!}}X_{n,k}^{2}{\Bigg |}\cdot \mathbf {1} _{\{|X_{n,k}|>\epsilon \}}}$${\displaystyle {}\leqslant B\cdot EX_{n,k}^{2}\cdot \mathbf {1} _{\{|X_{n,k}|>\epsilon \}}.}$

Ostatnia nierówność wynika z Lematu 1.

Zatem ${\displaystyle \forall x\in \mathbf {R} }$ mamy następujące oszacowanie:

${\displaystyle |Ef(x+X_{n,k})-Ef(x+G_{n,k})|}$${\displaystyle {}\leqslant 2A\cdot D^{2}X_{n,k}\cdot {\bigg (}\max _{1\leqslant k\leqslant n}{\sqrt {D^{2}X_{n,k}}}{\bigg )}+{\frac {A}{6}}D^{2}X_{n,k}\cdot \epsilon +B\cdot EX_{n,k}^{2}\cdot \mathbf {1} _{\{|X_{n,k}|>\epsilon \}}.}$

Trzeci krok polega na wielokrotnym zastosowaniu oszacowania uzyskanego powyżej.

${\displaystyle |Ef(X_{n,1}+X_{n,2}+\ldots +X_{n,n})-Ef(G_{n,1}+G_{n,2}+\ldots +G_{n,n})|}$${\displaystyle {}\leqslant |Ef(X_{n,1}+\ldots +X_{n,n})-Ef(X_{n,1}+\ldots +X_{n,n-1}+G_{n,n})|}$${\displaystyle {}+|Ef(X_{n,1}+\ldots +X_{n,n-1}+G_{n,n})-Ef(X_{n,1}+\ldots +X_{n,n-2}+G_{n,n-1}+G_{n,n})|}$${\displaystyle {}+\ldots +|Ef(X_{n,1}+G_{n,2}+\ldots +G_{n,n})-Ef(G_{n,1}+G_{n,2}+\ldots +G_{n,n})|.}$

Rozpatrzmy ${\displaystyle k}$-ty z powyższych wyrazów.

Podstawiamy

${\displaystyle Y:=X_{n,1}+\ldots +X_{n,k-1}+G_{n,k+1}+\ldots +G_{n,n}.}$

Zmienna ${\displaystyle Y}$ jest niezależna od ${\displaystyle X_{n,k}}$ i ${\displaystyle G_{n,k}.}$ Wobec tego:

${\displaystyle |Ef(X_{n,1}+\ldots +X_{n,k}+G_{n,k+1}+\ldots +G_{n,n})-Ef(X_{n,1}+\ldots +X_{n,k-1}+G_{n,k}+\ldots +G_{n,n})|}$${\displaystyle {}=|Ef(Y+X_{n,k})-Ef(Y+G_{n,k})|={\bigg |}\int \limits _{R}Ef(y+X_{n,k})d\mu _{Y}(y)}$${\displaystyle {}-\int \limits _{R}Ef(y+G_{n,k})d\mu _{Y}(y){\bigg |}}$${\displaystyle {}\leqslant \int \limits _{R}|Ef(y+X_{n,k})}$${\displaystyle {}-Ef(y+G_{n,k})|d\mu _{Y}(y)}$${\displaystyle {}\leqslant 2A\cdot D^{2}X_{n,k}\cdot }$${\displaystyle {\bigg (}\max _{1\leqslant k\leqslant n}{\sqrt {D^{2}X_{n,k}}}{\bigg )}}$${\displaystyle {}+{\frac {A}{6}}D^{2}X_{n,k}\cdot \epsilon }$${\displaystyle {}+B\cdot EX_{n,k}^{2}\cdot \mathbf {1} _{\{|X_{n,k}|>\epsilon \}}.}$

Zatem:

${\displaystyle |Ef(X_{n,1}+X_{n,2}+\ldots +X_{n,n})-Ef(G_{n,1}+G_{n,2}+\ldots +G_{n,n})|}$

${\displaystyle {}\leqslant 2A\cdot {\bigg (}\sum _{k=1}^{n}D^{2}X_{n,k}{\bigg )}\cdot {\bigg (}\max _{1\leqslant k\leqslant n}{\sqrt {D^{2}X_{n,k}}}{\bigg )}}$${\displaystyle {}+{\frac {A}{6}}{\bigg (}\sum _{k=1}^{n}D^{2}X_{n,k}{\bigg )}\cdot \epsilon }$${\displaystyle {}+B\cdot {\bigg (}\sum _{k=1}^{n}EX_{n,k}^{2}\cdot \mathbf {1} _{\{|X_{n,k}|>\epsilon \}}{\bigg )}}$${\displaystyle {}\leqslant 2A\cdot {\bigg (}\max _{1\leqslant k\leqslant n}{\sqrt {D^{2}X_{n,k}}}{\bigg )}}$${\displaystyle {}+{\frac {A}{6}}\epsilon +B\cdot L_{n}(\epsilon ).}$

Pierwszy i ostatni składnik z warunku Lindeberga zbiegają do zera, gdy ${\displaystyle n}$ dąży do nieskończoności. W związku z tym:

${\displaystyle \forall \epsilon >0\;\limsup _{n\to \infty }|Ef(X_{n,1}+\ldots +X_{n,n})-Ef(G_{n,1}+\ldots +G_{n,n})|\leqslant A\cdot \epsilon .}$

Oznacza to, że:

${\displaystyle Ef(X_{n,1}+\ldots +X_{n,k})}$${\displaystyle {}{\xrightarrow[{n\to \infty }]{}}Ef(G_{n,1}+\ldots +G_{n,n})=Ef(G),}$ gdzie ${\displaystyle G\sim N(0,1).}$

Czwarty krok polega na wyliczenie dystrybuanty granicznej na podstawie powyższych oszacowań.

Weźmy funkcję ${\displaystyle f\colon \mathbf {R} \to \mathbf {R} ,f\in \mathbb {C} ^{3}(R)}$ spełniającą warunek ${\displaystyle \forall x\in \mathbf {R} \;\mathbf {1} _{(t+\delta ,+\infty )}(x)}$${\displaystyle {}\leqslant f(x)\leqslant \mathbf {1} _{(t,+\infty )}(x)}$ dla pewnych ${\displaystyle t\in \mathbf {R} ,\delta >0.}$

Wówczas:

${\displaystyle P(X_{n,1}+\ldots +X_{n,n}\geqslant t)\geqslant Ef(X_{n,1}+\ldots +X_{n,n})\geqslant P(X_{n,1}+\ldots +X_{n,n}\geqslant t+\delta ).}$

Ale:

${\displaystyle Ef(X_{n,1}+\ldots +X_{n,n}){\xrightarrow[{n\to \infty }]{}}Ef(G)}$

oraz

${\displaystyle P(G\geqslant t)\geqslant Ef(G)\geqslant P(G\geqslant t+\delta ).}$

W związku z tym:

${\displaystyle \liminf _{n\to \infty }P(X_{n,1}+\ldots +X_{n,n}\geqslant t)}$${\displaystyle {}\geqslant P(G\geqslant t+\delta ){\xrightarrow[{\delta \to 0^{+}}]{}}P(G\geqslant t)}$

oraz podobnie

${\displaystyle \limsup _{n\to \infty }P(X_{n,1}+\ldots +X_{n,n}\geqslant t)}$${\displaystyle {}\leqslant P(G\geqslant t-\delta ){\xrightarrow[{\delta \to 0^{+}}]{}}P(G\geqslant t).}$

Otrzymujemy więc

${\displaystyle P(X_{n,1}+\ldots +X_{n,n}\geqslant t){\xrightarrow[{n\to \infty }]{}}}$${\displaystyle P(G\geqslant t)\Rightarrow P(X_{n,1}+\ldots +X_{n,n}<t){\xrightarrow[{n\to \infty }]{}}P(G<t).}$

Ale z ciągłości dystrybuanty rozkładu normalnego wnioskujemy, że

${\displaystyle P(X_{n,1}+\ldots +X_{n,n}\leqslant t){\xrightarrow[{n\to \infty }]{}}P(G\leqslant t).}$

Ponieważ punktowa zbieżność dystrybuant w punktach ciągłości dystrybuanty granicznej jest równoważna zbieżności według rozkładu, więc ostatecznie:

${\displaystyle \sum _{k=1}^{n}X_{n,k}{\xrightarrow[{n\to \infty }]{D}}N(0,1).}$

${\displaystyle \Box }$

Częste nieporozumienia

• Centralne twierdzenie graniczne nie sprawi, by przy dostatecznie dużej próbie rozkład stał się normalny. Jedynie rozkład średniej z tej próby upodabnia się do normalnego.
• Centralne twierdzenie graniczne jest prawdziwe tylko dla rozkładów o skończonej wariancji. Zobacz stabilność struktury.

Zobacz też

• prawo wielkich liczb
• twierdzenie Berry-Essena

Przypisy