ベイズ統計学

統計学
ベイズ統計学
理論
許容決定規則 ベイズ効率性 ベイズ確率 確率の解釈 ベイズの定理 ベイズ因子 ベイズ推定 ベイジアンネットワーク 事前確率 事後確率 尤度 共役事前分布 事後予測分布 ハイパーパラメータ ハイパーパラメータの事前分布 等確率の原理 最大エントロピー原理 経験ベイズ法 クロムウェルの差止め規則 ベルンシュテイン＝フォン・ミーゼス定理 シュワルツ情報量規準 信用区間 最大事後確率推定 根源的蓋然論
技法
ベイズ線形回帰 ベイズ推定量 近似ベイズ計算 マルコフ連鎖モンテカルロ法
表 話 編 歴

ベイズ統計学（ベイズとうけいがく、英: Bayesian statistics）は、確率のベイズ的解釈に基づく統計学（および理論）を指す。

• この確率のベイズ的解釈では、対象の変数に関する確率（分布）は事象における直観的信頼度（仮説モデルの信頼度）を表す。したがってパラメーター変数に対しても確率であるとし固定値と捉えない特徴を持つ。
• さらにこの確率は新たに集めた現実の情報・データを取り込むことでより尖鋭型へ更新され、したがって事実を忠実に反映する働きと捉える^[1]。直観的信頼度は、以前の実験の結果や事象に関する個人的信頼度といった事象に関する事前知識に基づいてよい。
• 上記は数多くの他の確率の解釈（英語版）に基づく統計学理論とは異なる。例えば、頻度主義の解釈では、確率を多数の試行後の事象の相対的頻度の極限と見なす^[2]。またパラメーター変数は固定値と捉えることを原則とする。

ベイズ統計的手法は、新たなデータを得た後に確率を計算および更新するためにベイズの定理を用いる。ベイズの定理は、データに基づく事象の条件付き確率や事象に関する事前情報または直観的信頼度、事象に関連した条件を説明する。例えば、ベイズ推定において、ベイズの定理を確率分布または統計モデルのパラメータを見積るために使うことができる。ベイズ統計学は確率を直感的信頼度として扱うため、ベイズの定理はパラメータまたはパラメータのセットに対して、信頼度を定量化する確率分布を直接的に割当てることができる^[2]。

ベイズ統計学という名称は、1763年に発表された論文（英語版）においてベイズの理論の特殊な場合を定式化したトーマス・ベイズに因む。18世紀末から19世紀初頭にわたるいくつかの論文において、ピエール＝シモン・ラプラスは確率のベイズ的解釈を発展させた。ラプラスは、数多くの統計問題を解くためにベイズ的手法と現在は見なされるであろう手法を用いた。多くのベイズ的手法は後の執筆者らによって発展されたが、この用語は1950年代までこういった手法を言い表すためには一般的に用いれらなかった。20世紀の大半、ベイズ的手法は哲学的および実践的判断により多くの統計学者によって好まれなかった。多くのベイズ的手法は完了するのに多くの計算を必要とし、20世紀に広く用いられたほとんどの手法は頻度主義的解釈に基づいていた。しかしながら、強力な計算機とマルコフ連鎖モンテカルロ法のような新たなアルゴリズムの出現によって、ベイズ的手法は21世紀に入り統計学内において利用の増加が見られてきている^[2][3]。

ベイズの定理

ベイズの定理はベイズ統計学における基本定理である。ベイズの定理は新たなデータを得た後に確率（直感的信頼度）を更新するためにベイズ的手法によって用いられる。2つの事象${\displaystyle A}$と${\displaystyle B}$を考えると、${\displaystyle B}$が真であると仮定したと時の${\displaystyle A}$の条件付き確率は以下の式で表わされる^[4]（${\displaystyle P(B)\neq 0}$）。

${\displaystyle P(A\mid B)={\frac {P(B\mid A)P(A)}{P(B)}}}$

ベイズの定理は確率論の基本的結果であるものの、ベイズ統計学においては明確な解釈を持つ。上記の式において、${\displaystyle A}$は大抵は命題（硬貨が50%の確率で表面から着地するとする宣言といったようなもの）、${\displaystyle B}$ は考慮に入れられるべき証拠（エビデンス）または新たなデータ（一連のコイン投げの結果といったようなもの）を表わす。${\displaystyle P(A)}$は${\displaystyle A}$の事前確率であり、証拠が考慮に入れられる前の${\displaystyle A}$に関する直感的信頼を表わす。${\displaystyle P(B\mid A)}$は尤度関数であり、${\displaystyle A}$が真であると仮定した時の証拠${\displaystyle B}$の確率と解釈することができる。この尤度は、証拠${\displaystyle B}$が命題${\displaystyle A}$を支持する度合いを定量する。${\displaystyle P(A\mid B)}$は事後確率であり、証拠${\displaystyle B}$を考慮に入れた後の命題${\displaystyle A}$の確率である。原則的に、ベイズの定理は新たな証拠${\displaystyle B}$を考慮した後に事前の直感的信頼度${\displaystyle P(A)}$を更新する^[2]。

証拠の確率${\displaystyle P(B)}$は全確率の公式（英語版）を使って計算できる。${\displaystyle \{A_{1},A_{2},\dots ,A_{n}\}}$が標本空間（実験の全ての結果一式）の分割であるとすると、以下のようになる^[2][4]。

${\displaystyle P(B)=P(B\mid A_{1})P(A_{1})+P(B\mid A_{2})P(A_{2})+\dots +P(B\mid A_{n})P(A_{n})=\sum _{i}P(B\mid A_{i})P(A_{i})}$

無限の数の結果が存在する時、全確率の公式を使って${\displaystyle P(B)}$を計算するためには全ての結果にわたって積分する必要がある。しばしば、この計算は評価に多大な時間を必要とする加算または積分を含むため、 ${\displaystyle P(B)}$は計算が難しく、そのためしばしば事前確率と尤度の積のみが考慮される。これは、証拠が同じ分析中では変化しないためである。事後分布はこの積に比例する^[2]。

${\displaystyle P(A\mid B)\propto P(B\mid A)P(A)}$

事後確率の最頻値であり、しばしば数理最適化手法を使ってベイズ統計学において計算される最大事後確率は同じままである。事後確率はマルコフ連鎖モンテカルロ法または変分ベイズ法（英語版）といった手法を使うことで${\displaystyle P(B)}$の厳密値を計算せずに近似することができる^[2]。

ベイズ的手法の概要

一般的な統計的技術は多くの活動に分割することができ、それらの多くが特別なベイズ統計版を有する。

ベイズ推定

ベイズ推定は、推定における不確かさが確率を使って定量化される統計的推定を指す。古典的な頻度主義的推定（英語版）では、モデルのパラメータと仮説は固定と見なされる。確率は頻度主義的推定においてはパラメータまたは仮説に割り当てられない。例えば、頻度主義的推定においては、公正な硬貨を次に投げた時の結果といった一度しか起こりえない事象へ直接的に確率を割り当てることは意味をなさない。しかしながら、表が出る割合が硬貨投げの回数が増加するにつれて2分の1に近付くと述べることは意味をなす^[5]。

統計モデルは、いかに標本データが生成されるかを表わす一連の統計的仮定および過程を規定する。統計モデルは修正可能な数多くのパラメータを持つ。例えば、硬貨はベルヌーイ分布からの標本として表わすことができ、これは2つの可能な結果をモデル化している。ベルヌーイ分布は一方の結果の確率に等しい単一のパラメータを有し、ほとんどの場合これは表が着地する確率である。データに対するよいモデルを考案することがベイズ推計において中心となる。ほとんどの場合において、モデルは真の過程を近似するだけであり、データに影響する特定の因子を考慮に入れない^[2]。ベイズ推計において、確率はモデルのパラメータに割り当てることがでできる。パラメータは確率変数として表わすことができる。ベイズ推計はより多くの証拠が得られたまたは知られた後に確率を更新するためにベイズの定理を用いる^[2][6]。

統計モデリング

ベイズ統計学を用いた統計モデルの定式化は、あらゆる未知のパラメータについて事前確率の指定を必要とする特徴を有する。実際、事前分布のパラメータそれら自身が事前分布を持ちうる（これが階層ベイズモデルにつながる^[7]）、あるいはそれら自身が相互に関係しうる（これがベイジアンネットワークにつながる）。

実験計画法

ベイズ実験計画法（英語版）は「事前信念の影響（influence of prior beliefs）」と呼ばれる概念を含む。この手法は次の実験の設計においてそれ以前の事件の結果を含めるために逐次分析（英語版）技術を用いる。これは、事前および事後分布の使用により「直感的信頼度（beliefs、信念）」を更新することによって達成される。これにより、実験計画法は全ての種類の資源を有効に利用することが可能となる。この一例が多腕バンディット問題である。

統計グラフィックス

統計グラフィックス（英語版）は、データ探索、モデル検証、その他の目的のための手法を含む。ベイズ推定のためのある計算技術、具体的に言うと様々な種類のマルコフ連鎖モンテカルロ法を使用すると、必要な事後分布を表わすうえでこういった計算の妥当性のチェックが必要となり、これはしばしば視覚的（グラフィカル）な形式で行われる。

出典

関連文献

• Jordi Vallverdu (2016). Bayesians Versus Frequentists A Philosophical Debate on Statistical Reasoning (1st ed.). Springer. ISBN 978-3-662-48638-2. https://www.springer.com/gp/book/9783662486368} 
• van de Schoot, Rens; Kaplan, David; Denissen, Jaap; Asendorpf, Jens B.; Neyer, Franz J.; van Aken, Marcel A.G. (2014). “A Gentle Introduction to Bayesian Analysis: Applications to Developmental Research”. Child Dev. 85 (3): 842–860. doi:10.1111/cdev.12169. PMC 4158865. PMID 24116396. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4158865/. 
• “Bayesian Statistics”. Nature Methods 12 (5): 377–8. (May 2015). doi:10.1038/nmeth.3368. http://www.nature.com/nmeth/journal/v12/n5/full/nmeth.3368.html 2016年5月31日閲覧。. 
• 樋口 知之：「予測にいかす統計モデリングの基本―ベイズ統計入門から応用まで」、講談社、ISBN 978-4061557956（2011年4月7日）。
• 渡辺澄夫：「ベイズ統計の理論と方法」、コロナ社、ISBN 978-4339024623（2012年3月）。
• 豊田秀樹：「基礎からのベイズ統計学　: ハミルトニアンモンテカルロ法による実践的入門」、朝倉書店、ISBN: 978-4254122121（2015年6月25日）。
• 佐藤忠彦、樋口知之：「ビッグデータ時代のマーケティング―ベイジアンモデリングの活用」、講談社、ISBN 978-4061573024（2013年1月22日）。
• 間瀬茂：「ベイズ法の基礎と応用 ：条件付き分布による統計モデリングとMCMC法を用いたデータ解析」、日本評論社、ISBN 978-4535787858（2016年2月6日）。

外部リンク

英語版ウィキバーシティに本記事に関連した学習教材があります。

Bayesian statistics

• Eliezer S. Yudkowsky. “An Intuitive Explanation of Bayes' Theorem”. 2015年6月15日閲覧。
• Theo Kypraios. “A Gentle Tutorial in Bayesian Statistics”. 2013年11月3日閲覧。
• Bayesian statistics David Spiegelhalter, Kenneth Rice Scholarpedia 4(8):5230. doi:10.4249/scholarpedia.5230
• Bayesian modeling book and examples available for downloading.
• Bayesian A/B Testing Calculator Dynamic Yield
• Think Bayes, Allen B. Downey
• Bayesian Statistics: Why and How

表 話 編 歴 統計学
標本調査	標本 母集団 無作為抽出 層化抽出法
要約統計量	連続確率分布 位置 平均 算術 幾何 調和 中央値 分位数 順序統計量 最頻値 階級値 分散 範囲 偏差 偏差値 標準偏差 標準誤差 変動係数 決定係数 相関係数 自己相関 共分散 自己共分散 分散共分散行列 百分率 統計的ばらつき モーメント 分散 歪度 尖度 カテゴリデータ 頻度 分割表
推計統計学	仮説検定 パラメトリック t検定 ウェルチのt検定 F検定 Z検定 二項検定 ジャック-ベラ検定 シャピロ–ウィルク検定 分散分析 共分散分析 ノンパラメトリック ウィルコクソンの符号順位検定 マン・ホイットニーのU検定 カイ二乗検定 イェイツのカイ二乗検定 累積カイ二乗検定 フィッシャーの正確確率検定 尤度比検定 G検定 アンダーソン–ダーリング検定 コルモゴロフ–スミルノフ検定 カイパー検定 マンテル検定 コクラン・マンテル・ヘンツェルの統計量 その他 帰無仮説 対立仮説 有意 棄却 区間推定 信頼区間 予測区間 モデル選択基準 AIC BIC WAIC MDL その他 偏り 偏りと分散 過剰適合 推定量 点推定 最尤推定 尤度関数 尤度方程式 最小距離推定 メタアナリシス ブートストラップ法
ベイズ統計学	確率 主観確率 ベイズ確率 事前確率 事後確率 最大事後確率 その他 ベイズ推定 ベイズ因子
相関	交絡 ピアソンの積率相関係数 順位相関（スピアマンの順位相関係数 ・ケンドールの順位相関係数 ）
モデル	一般線形モデル 一般化線形モデル 混合モデル 一般化線形混合モデル
回帰	線形 リッジ回帰 ラッソ回帰 エラスティックネット 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン 射影追跡回帰 時系列 自己回帰モデル 自己回帰移動平均モデル ARCHモデル 対移動平均比率法 トレンド定常 傾向推定 共和分 構造変化
分類	線形 線形判別分析 ロジスティック回帰 <! -- 名前に回帰とついていますが確率を回帰する分類手法です --> 単純ベイズ分類器 単純パーセプトロン 線形サポートベクターマシン 二次 二次判別分析 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン ベイジアンネットワーク 隠れマルコフモデル その他 二項分類 多クラス分類 第一種過誤と第二種過誤
教師なし学習	クラスタリング k平均法 （k-means++法 ） DBSCAN 密度推定（英語版） カーネル密度推定 （ カーネル ） その他 主成分分析 独立成分分析 自己組織化写像
統計図表	棒グラフ バイプロット（英語版） 箱ひげ図 管理図 フォレストプロット ヒストグラム 円グラフ Q-Qプロット ランチャート 散布図 幹葉表示 バイオリン図 ドットプロット ヒートマップ 階級区分図
生存分析	生存関数 カプラン＝マイヤー推定量 ログランク検定 故障率 比例ハザードモデル
歴史	統計学の創始者 確率論と統計学の歩み
応用	社会統計学 疫学 生物統計学 系統学 統計力学 計量経済学 機械学習 実験計画法
出版物	統計学に関する学術誌一覧 重要な出版物
全般	統計 頻度主義統計学 統計学および機械学習の評価指標
その他	方向統計学 S言語 R言語 統計検定 社会調査士 JDLA Deep Learning For GENERAL JDLA Deep Learning for ENGINEER 実用数学技能検定 品質管理検定
カテゴリ