カーネル密度推定

カーネル密度推定（カーネルみつどすいてい、英: kernel density estimation）は、統計学において、確率変数の確率密度関数を推定するノンパラメトリック手法のひとつ。エマニュエル・パルツェン（英語版）の名をとってパルツェン窓（英: Parzen window）とも。大まかに言えば、ある母集団の標本のデータが与えられたとき、カーネル密度推定を使えばその母集団のデータを外挿できる。

ヒストグラムは、一様なカーネル関数によるカーネル密度推定量と見ることもできる。

定義

x₁, x₂, ..., x_n を（未知の）確率密度関数 ƒ を持つ独立同分布からの標本とする。カーネル関数 K、バンド幅（平滑化パラメータ）h のカーネル密度推定量（英: kernel density estimator）とは

${\hat {f}}_{h}(x)={\frac {1}{nh}}\sum _{i=1}^{n}K\left({\frac {x-x_{i}}{h}}\right)$

のことである^[1]。カーネル関数としては、標準ガウス関数（平均がゼロで分散が1）

$K(x)={1 \over {\sqrt {2\pi }}}\,e^{-x^{2}/2}$

を採用することが多い。

直観的説明

あまり平滑でない推定器（例えばヒストグラム密度推定器）は漸近的に一致させられるが、他の推定器は不連続であるか、カーネル密度推定より収束が遅い。カーネル密度推定器は、標本を一定幅の箱に入れて数えるのではなく、カーネル関数から決定されたコブを各標本に与えるものと見ることができる。つまり、「コブの総和」によって推定が形成されるため、結果として非常に滑らかになる（下図参照）。

特性

確率密度関数 ƒ の L² リスク関数を $R(f,{\hat {f}}(x))$ とする。確率密度関数 ƒ とカーネル関数 K に関する弱い仮定から次が得られる。

$R(f,{\hat {f}}(x))\approx {\frac {1}{4}}\sigma _{k}^{4}h^{4}\int (f''(x))^{2}\,dx+{\frac {\int K^{2}(x)\,dx}{nh}}\quad {\text{ where }}\quad \sigma _{K}^{2}=\int x^{2}K(x)\,dx$

理論的リスク関数を最小化することで、最適なバンド幅は以下のように示される。

$h^{*}={\frac {c_{1}^{-2/5}c_{2}^{1/5}c_{3}^{-1/5}}{n^{1/5}}}$

ここで

$c_{1}=\int x^{2}K(x)\,dx$
$c_{2}=\int K(x)^{2}\,dx$
$c_{3}=\int (f''(x))^{2}\,dx$

である。最適なバンド幅を選択したとき、リスク関数は $R(f,{\hat {f}}(x))\approx c_{4}/n^{4/5}$ であり c₄ > 0 はある定数である。弱い仮定の下で、カーネル推定器より早く収束するノンパラメトリックな推定器は存在しないことが示される。なお、n^−4/5 という収束レートは、パラメトリックな手法での典型である n⁻¹ という収束レートよりも遅い。

実装例

MATLAB - カーネル密度推定は ksdensity 関数で実装されている。
Origin - 2Dカーネル密度プロットがユーザーインターフェースより作画できるほか、Ksdensity（1D用）とKs2density（2D用）の両関数がLabTalk言語、 Python、C言語からアクセス可能である。
PAST - Plot項目の中のHistogramで，カーネル曲線が描ける。
R言語 - density 関数で実装されている。
Stata - kdensity で実装されている。例えば、histogram x, kdensity
SAS - proc kde は1変量または2変量のカーネル密度推定に使われる。

脚注

[脚注の使い方]

^ Silverman 1986, (2.2a).

参考文献

Duda, R. and Hart, P. (1973). Pattern Classification and Scene Analysis. John Wiley & Sons. ISBN 0-471-22361-1.
Parzen E. (1962). On estimation of a probability density function and mode, Ann. Math. Stat. 33, pp. 1065-1076.
Silverman, B. W. (1986). Density estimation for statistics and data analysis. Monographs on Statistics and Applied Probability. Chapman & Hall, London. ISBN 0-412-24620-1. MR0848134. Zbl 0617.62042. https://books.google.com/books?id=e-xsrjsL7WkC
Wasserman, L. (2005). All of Statistics: A Concise Course in Statistical Inference, Springer Texts in Statistics.

外部リンク

Introduction to kernel density estimation
Kernel Bandwidth Optimization フリーウェブアプリデータを入力すれば最適化なカーネルバンド幅を計算してカーネル密度推定値を出力します。
Free Online Software (Calculator) 任意のデータ列についてカーネル密度推定を行い描画する。カーネル関数としては、ガウス関数、Epanechnikov、Rectangular、Triangular、Biweight、Cosine、Optcosine がある。
FIGTree ガウスカーネルによるカーネル密度推定を計算するライブラリ。MATLAB と C/C++ 用インタフェースがある。
最適ヒストグラム・カーネル密度推定を作成するツールボックス

位置	平均算術幾何調和中央値分位数順序統計量最頻値階級値
分散	範囲偏差偏差値標準偏差標準誤差変動係数決定係数相関係数自己相関共分散自己共分散分散共分散行列百分率統計的ばらつき
モーメント	分散歪度尖度

カテゴリデータ

頻度
分割表

推計統計学

仮説検定

パラメトリック	t検定ウェルチのt検定 F検定 Z検定二項検定ジャック-ベラ検定シャピロ–ウィルク検定分散分析共分散分析
ノンパラメトリック	ウィルコクソンの符号順位検定マン・ホイットニーのU検定カイ二乗検定イェイツのカイ二乗検定累積カイ二乗検定フィッシャーの正確確率検定尤度比検定 G検定アンダーソン–ダーリング検定コルモゴロフ–スミルノフ検定カイパー検定マンテル検定コクラン・マンテル・ヘンツェルの統計量
その他	帰無仮説対立仮説有意棄却

区間推定

モデル選択基準

その他

ベイズ統計学

確率	主観確率ベイズ確率事前確率事後確率最大事後確率
その他	ベイズ推定ベイズ因子

相関

モデル

回帰

線形	リッジ回帰ラッソ回帰エラスティックネット
非線形	k近傍法決定木ランダムフォレストニューラルネットワークサポートベクターマシン射影追跡回帰
時系列	自己回帰モデル自己回帰移動平均モデル ARCHモデル対移動平均比率法トレンド定常傾向推定共和分構造変化

分類

線形	線形判別分析ロジスティック回帰 <! -- 名前に回帰とついていますが確率を回帰する分類手法です --> 単純ベイズ分類器単純パーセプトロン線形サポートベクターマシン
二次	二次判別分析
非線形	k近傍法決定木ランダムフォレストニューラルネットワークサポートベクターマシンベイジアンネットワーク隠れマルコフモデル
その他	二項分類多クラス分類第一種過誤と第二種過誤

教師なし学習

クラスタリング	k平均法（k-means++法） DBSCAN
密度推定（英語版）	カーネル密度推定（カーネル）
その他	主成分分析独立成分分析自己組織化写像