Wielowymiarowy rozkład normalny

Wielowymiarowy rozkład normalny – rozkład wielowymiarowej zmiennej losowej, będący uogólnieniem rozkładu normalnego na n wymiarów.

Definicja

n-wymiarowa zmienna losowa ${\displaystyle X=[x_{1},\dots ,x_{n}]^{T}}$ podlega n-wymiarowemu rozkładowi normalnemu jeśli dowolna kombinacja liniowa ${\displaystyle Y=a_{1}x_{1}+\ldots +a_{n}x_{n}}$ jej składowych ma rozkład normalny.

Funkcja gęstości n-wymiarowego rozkładu normalnego wektora losowego ${\displaystyle X}$ o wektorze wartości oczekiwanych ${\displaystyle {\boldsymbol {\mu }}=[\mu _{1},\dots ,\mu _{n}]^{T}}$ i macierzy kowariancji ${\displaystyle \Sigma }$ dana jest wzorem:

${\displaystyle f_{{\boldsymbol {\mu }},\Sigma }(X)={\frac {1}{(2\pi )^{n/2}\left|\Sigma \right|^{1/2}}}\exp \left(-{\frac {1}{2}}(X-{\boldsymbol {\mu }})^{T}\Sigma ^{-1}(X-{\boldsymbol {\mu }})\right).}$

Oznacza się to w skrócie zapisem

${\displaystyle X\sim N({\boldsymbol {\mu }},\Sigma ).}$

Niezależność zmiennych

Dla wielowymiarowego rozkładu normalnego jeśli składowe wektora losowego ${\displaystyle X}$ o wielowymiarowym rozkładzie normalnym są niezależne to są nieskorelowane i odwrotnie, jeśli są nieskorelowane to są niezależne. Wówczas funkcja gęstości wektora losowego ${\displaystyle X}$ jest iloczynem funkcji gęstości każdej ze zmiennych:

${\displaystyle f_{{\boldsymbol {\mu }},\Sigma }(X)=\prod _{i=1}^{n}f_{\mu _{i},\sigma _{i}}(x_{i}).}$

Zmienne losowe (nawet nieskorelowane) o rozkładzie normalnym nie muszą razem tworzyć wektora o wielowymiarowym rozkładzie normalnym. Wówczas powyższa zależność nie musi być prawdziwa.

Na przykład niech ${\displaystyle x\sim N(0,1),}$ niech ${\displaystyle w}$ będzie zmienną losową przyjmującą wartości 1 i –1 z równym prawdopodobieństwem 0,5, niezależną od ${\displaystyle x,}$ oraz niech ${\displaystyle y=wx.}$ Wówczas ${\displaystyle x}$ i ${\displaystyle y}$ są nieskorelowane, normalne, ale są zależne. Nie tworzą one jednak wielowymiarowego rozkładu normalnego. Cała masa prawdopodobieństwa ich wspólnego rozkładu znajduje się na prostych ${\displaystyle y=x,}$ ${\displaystyle y=-x,}$ podczas gdy nośnikiem wielowymiarowego rozkładu normalnego jest cała płaszczyzna ${\displaystyle \mathbb {R} ^{2}.}$ W szczególności zmienna ${\displaystyle x+y}$ ma rozkład mieszany (dyskretno-ciągły), i z prawdopodobieństwem 0,5 przyjmuje wartość 0, a więc nie jest spełniona definicja wielowymiarowego rozkładu normalnego: pewna kombinacja liniowa składowych wektora losowego nie ma rozkładu normalnego.

Estymacja parametrów

Mając dane ${\displaystyle N}$ wektorów pobranych z pewnego wielowymiarowego rozkładu normalnego o wektorze wartości oczekiwanych ${\displaystyle {\boldsymbol {\mu }}}$ i macierzy kowariancji ${\displaystyle \Sigma }$ możemy oszacować jego parametry w następujący sposób:

Estymator wartości oczekiwanej:

${\displaystyle {\hat {\boldsymbol {\mu }}}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}.}$

Estymator macierzy kowariancji o największej wiarygodności:

${\displaystyle {\hat {\Sigma }}={\frac {1}{N}}\sum _{i=1}^{N}(X_{i}-{\hat {\boldsymbol {\mu }}})(X_{i}-{\hat {\boldsymbol {\mu }}})^{T}.}$

Estymator nieobciążony macierzy kowariancji:

${\displaystyle {\hat {\Sigma }}={\frac {1}{N-1}}\sum _{i=1}^{N}(X_{i}-{\hat {\boldsymbol {\mu }}})(X_{i}-{\hat {\boldsymbol {\mu }}})^{T}.}$

Symulacja

W celu uzyskania wektora losowego o rozkładzie danym przez wektor średnich ${\displaystyle {\boldsymbol {\mu }}}$ i macierz kowariancji ${\displaystyle \Sigma ,}$ postępujemy według następującego algorytmu:

1. Stosujemy rozkład Choleskiego względem macierzy ${\displaystyle \Sigma ,}$ tak by otrzymać macierz ${\displaystyle A,}$ dla której zachodzi: ${\displaystyle AA^{T}=\Sigma .}$
2. Tworzymy wektor ${\displaystyle Z}$ n niezależnych zmiennych losowych o standardowym rozkładzie normalnym, stosując np. metodę Boxa-Mullera.
3. Szukany wektor to ${\displaystyle X={\boldsymbol {\mu }}+AZ.}$

Zobacz też

• odległość Mahalanobisa