ベイズ確率

統計学
ベイズ統計学
理論
許容決定規則 ベイズ効率性 ベイズ確率 確率の解釈 ベイズの定理 ベイズ因子 ベイズ推定 ベイジアンネットワーク 事前確率 事後確率 尤度 共役事前分布 事後予測分布 ハイパーパラメータ ハイパーパラメータの事前分布 等確率の原理 最大エントロピー原理 経験ベイズ法 クロムウェルの差止め規則 ベルンシュテイン＝フォン・ミーゼス定理 シュワルツ情報量規準 信用区間 最大事後確率推定 根源的蓋然論
技法
ベイズ線形回帰 ベイズ推定量 近似ベイズ計算 マルコフ連鎖モンテカルロ法
表 話 編 歴

ベイズ確率（ベイズかくりつ、英: Bayesian probability）とは、確率の概念を解釈したもので、ある現象の頻度や傾向の代わりに、確率を知識の状態^[1]を表す合理的な期待値^[2]、あるいは個人的な信念の定量化と解釈したものである^[3]。

ベイズ確率の解釈は、命題論理を拡張したものであり、真偽が不明な命題を用いた推論を可能にするものと考えられる^[4]。ベイズの考え方では仮説に確率を付与するが、頻度論的な推論では確率を付与せずに仮説を検証するのが一般的である。

ベイズ確率は証拠能力のある確率のカテゴリーに属する。仮説の確率を評価するために、ベイズ確率論者は事前確率を指定する。仮説の確率を評価するために、ベイズの確率論者は事前確率を指定し、新しい関連データ（証拠）に照らし合わせて事後確率に更新する^[5]。ベイジアン解釈では、この計算を行うための標準的な手順と式が用意されている。

ベイジアンという言葉は、18世紀の数学者・神学者であるトーマス・ベイズに由来する。ベイズは、現在ベイズ推定として知られているものを用いて、統計的データ分析の自明でない問題を初めて数学的に扱った人物である^[6]。また、数学者のピエール＝シモン・ラプラスは、現在ではベイズ確率と呼ばれているものを開拓し、普及させた^[6]。

ベイジアンの方法論

ベイズ法は、以下のような概念と手順によって特徴づけられる。

• 情報不足に起因する不確実性を含む、統計モデルにおける不確実性のすべての原因をモデル化するために、確率変数、より一般的には未知の量^[7]を使用すること（アレトロール的不確実性およびエピステミックな不確実性も参照）。
• 利用可能な（事前の）情報を考慮して、事前の確率分布を決定する必要がある。
• ベイズの定理の逐次使用（逐次ベイズ推定）：より多くのデータが利用可能になった場合、ベイズの公式を用いて事後分布を計算し、その後、事後分布が次の事前分布となる。
• 頻度主義者にとって、仮説は（真か偽かの）命題であり、頻度主義者にとっての仮説の確率は0か1であるが、ベイズ統計学では、真理値が不確かであれば、仮説に割り当てられる確率も0から1の範囲になる。

歴史

ベイズ確率（およびベイズ統計学）は、ベイズの定理の特別な場合を証明したトーマス・ベイズにちなんだ命名（実際の命名は1950年代）ではあるが、ベイズ自身が現在のようなベイズ確率やベイズ推定の考え方を持っていたかどうかは定かでない。

ベイズ確率の考え方を積極的に用いたのはピエール＝シモン・ラプラス（ベイズの定理の一般的な場合を証明した）で、それを「土星の質量を確率的に見積もる」というような問題に応用した。しかし彼以後は長らくこの考え方は顧みられなかった。土星の質量は推測値だからと言っても確率的に分布するわけではなく、観測誤差の方が確率的に分布するのであると頻度主義では考える。特に19世紀末以降に発展した数理統計学は専ら頻度主義に基づいて厳密な理論を構築した。

確率の主観的解釈（のちにベイズ主義と呼ばれる）は1931年に哲学者・数学者のフランク・ラムゼイによって提唱され、彼は別の主観確率（論理確率）の支持者だったケインズと論争をしているが、彼自身はこれを頻度主義的解釈の単なる補助としか考えなかった。これをさらに厳密に取り上げたのは1937年、統計学者ブルーノ・デ・フィネッティである。さらに初めて詳細な分析を加えたのは1954年、レオナード・ジミー・サヴェッジ（英語版）であって、彼の考え方にはベイズ確率・ベイズ主義という呼び名が適用された。そのほか初期の研究者にはバーナード・クープマン（英語版）、エイブラハム・ウォールドらがいる。これらの研究は現在広く受け入れられるようになってきたが、頻度主義者とベイズ主義者の亀裂は現在でも尾を引いており、両主義の支持者の一部は互いに議論せず共通の学会に参加しないといった状況が続いている。

頻度確率

ベイズ主義の基本的な考え方は、数学的確率論において現れるベイズの定理を、主観的確率におけるデータ集積に応じて改訂し、さらに経験的に解釈し、統計問題に適用することである。このような確率理解に基づいて功利を計算し、合理的意思決定の問題として考えていく。つまり、ベイズの定理における P(B|A) のうち、データ B を得たときの A が成り立つ条件付き確率を求め、新しいデータ B₁, B₂, B₃, …, B_n が得られるたびに、A の生起確率を更新する。この応用としてリチャード・ジェフリーの証拠的意思決定理論も編み出されている。

このような手法は、観測された頻度分布あるいは想定された母集団の割合から導かれるのが確率であるとする頻度確率の概念とは対照的である。また、統計学的方法が大きく異なる場合も多い。ただし、ベイズ主義と頻度主義とで同じ結論が得られる問題も多い。他方、統計学的仮説検定について、ベイズ主義と頻度主義との差が現れやすい。頻度主義では推定したいパラメータは一つの真の値をとると考えるが、ベイズ主義においてはパラメータは確率変数であると考える。

ここで、ベイズ主義者"Bayesian"が考える確率と頻度主義者"Frequentist"が考える確率とが全く異なる値となる例を一つ示す。

ここに1枚のインチキコインがあるとする。すなわち、表か裏のどちらかが出やすくなっている。 ただし、どちらが出やすいのかはわからない。 では、このコインを投げたとして表が出る確率をどう計算すべきか?

ベイズ主義者が正しいと考えるであろう確率

表が出る確率は、1⁄2である。

理由：表と裏のどちらが出やすいのか全く不明である。それ故、表の出る確率も裏の出る確率も全く平等である。それ故、理由不十分の原理により、ともに1⁄2とする以外にない。

頻度主義者が正しいと考えるであろう確率

表が出る確率は、0から1までのいずれかであるが、1⁄2ではない。

理由：コインを何度も投げると、［表の出た回数 / 投げた回数］は、ある値に近づく（大数の法則）。それが求める確率である。

ただし、このコインはインチキコインなのだから1⁄2には絶対にならない。

要するに、ベイズ主義者は、その時点で有する情報をもとに計算された確率を重視する。 （新たな情報が入手されれば確率は改定される。）

これに対して頻度主義者は、無限回試行を前提とした確率を重視する。

ベイズ推定

ベイズの定理を用いて、新しい証拠に照らして命題${\displaystyle \theta _{i}}$の尤もらしさ（確率）の値${\displaystyle p_{i}}$を改訂していく方法がベイズ推定である。改訂前の値を事前確率、改訂後を事後確率と呼ぶ。事後確率は最良な推定結果そのものとなる。

例えばラプラスはこの方法で土星の質量を見積もった（土星の質量の推定値の事後確率分布${\displaystyle p(m_{\text{sat}})}$の期待値${\displaystyle {\bar {m}}_{\text{sat}}}$を計算した）。

しかし頻度主義による確率の定義では、このような適用はできない。土星質量の推定値は確率変数ではないからである。「土星の質量とはどんな母集団から抽出されたものか?」という問いに答えられなければ、これは頻度主義者の議論の対象にはならない。

応用

ベイズ確率は現在いろいろな方面で応用されている。一方で頻度主義に基づく統計学の理論体系に対しては、かえって実用性を犠牲にしているとのベイジアンからの批判がある。むしろベイズ主義のほうが人間の思考様式になじむというわけである。ベイズ推定は、まず複数の仮説について尤もらしさ（信念の度合）を考え、実験や観測により新しい情報（データ）を収集し、それらを組み合わせてベイズの定理によってその確率を改訂するという点で、科学的方法のモデルとしても提案されている。またベイズ因子（従来の統計学における尤度を用いる方法に似ている）を利用する方法はオッカムの剃刀に対応するものとされている。

ベイズ推定を用いた方法は近年、スパムを見つける方法（ベイジアンフィルタ）として利用され成果を上げている。すでに分かっているスパムの選別法をフィルターに示し、次いで単語の頻度を用いてスパムと必要な電子メールとを識別するのである。

脚注

1. ^ Jaynes, E.T. (1986). “Bayesian Methods: General Background”. In Justice, J. H.. Maximum-Entropy and Bayesian Methods in Applied Statistics. Cambridge: Cambridge University Press 
2. ^ Cox, R.T. (1946). “Probability, Frequency, and Reasonable Expectation”. American Journal of Physics 14 (1): 1–10. Bibcode: 1946AmJPh..14....1C. doi:10.1119/1.1990764. 
3. ^ de Finetti, Bruno (2017). Theory of Probability: A critical introductory treatment. Chichester: John Wiley & Sons Ltd.. ISBN 9781119286370 
4. ^ Hailperin, Theodore (1996). Sentential Probability Logic: Origins, Development, Current Status, and Technical Applications. London: Associated University Presses. ISBN 0934223459 
5. ^ Paulos (2011年8月5日). “The Mathematics of Changing Your Mind [by Sharon Bertsch McGrayne]”. 2011年8月6日閲覧。
6. ^ ^{a b} Stigler, Stephen M. (March 1990). The history of statistics. Harvard University Press. ISBN 9780674403413 
7. ^ Dupré, Maurice J.; Tipler, Frank J. (2009). “New axioms for rigorous Bayesian probability”. Bayesian Analysis 4 (3): 599–606. doi:10.1214/09-BA422. http://projecteuclid.org/download/pdf_1/euclid.ba/1340369856. 

関連項目

• 最大エントロピー原理
• マルコフ連鎖モンテカルロ法（MCMC）
• ベイジアンネットワーク

表 話 編 歴 統計学
標本調査	標本 母集団 無作為抽出 層化抽出法
要約統計量	連続確率分布 位置 平均 算術 幾何 調和 中央値 分位数 順序統計量 最頻値 階級値 分散 範囲 偏差 偏差値 標準偏差 標準誤差 変動係数 決定係数 相関係数 自己相関 共分散 自己共分散 分散共分散行列 百分率 統計的ばらつき モーメント 分散 歪度 尖度 カテゴリデータ 頻度 分割表
推計統計学	仮説検定 パラメトリック t検定 ウェルチのt検定 F検定 Z検定 二項検定 ジャック-ベラ検定 シャピロ–ウィルク検定 分散分析 共分散分析 ノンパラメトリック ウィルコクソンの符号順位検定 マン・ホイットニーのU検定 カイ二乗検定 イェイツのカイ二乗検定 累積カイ二乗検定 フィッシャーの正確確率検定 尤度比検定 G検定 アンダーソン–ダーリング検定 コルモゴロフ–スミルノフ検定 カイパー検定 マンテル検定 コクラン・マンテル・ヘンツェルの統計量 その他 帰無仮説 対立仮説 有意 棄却 区間推定 信頼区間 予測区間 モデル選択基準 AIC BIC WAIC MDL その他 偏り 偏りと分散 過剰適合 推定量 点推定 最尤推定 尤度関数 尤度方程式 最小距離推定 メタアナリシス ブートストラップ法
ベイズ統計学	確率 主観確率 ベイズ確率 事前確率 事後確率 最大事後確率 その他 ベイズ推定 ベイズ因子
相関	交絡 ピアソンの積率相関係数 順位相関（スピアマンの順位相関係数 ・ケンドールの順位相関係数 ）
モデル	一般線形モデル 一般化線形モデル 混合モデル 一般化線形混合モデル
回帰	線形 リッジ回帰 ラッソ回帰 エラスティックネット 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン 射影追跡回帰 時系列 自己回帰モデル 自己回帰移動平均モデル ARCHモデル 対移動平均比率法 トレンド定常 傾向推定 共和分 構造変化
分類	線形 線形判別分析 ロジスティック回帰 <! -- 名前に回帰とついていますが確率を回帰する分類手法です --> 単純ベイズ分類器 単純パーセプトロン 線形サポートベクターマシン 二次 二次判別分析 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン ベイジアンネットワーク 隠れマルコフモデル その他 二項分類 多クラス分類 第一種過誤と第二種過誤
教師なし学習	クラスタリング k平均法 （k-means++法 ） DBSCAN 密度推定（英語版） カーネル密度推定 （ カーネル ） その他 主成分分析 独立成分分析 自己組織化写像
統計図表	棒グラフ バイプロット（英語版） 箱ひげ図 管理図 フォレストプロット ヒストグラム 円グラフ Q-Qプロット ランチャート 散布図 幹葉表示 バイオリン図 ドットプロット ヒートマップ 階級区分図
生存分析	生存関数 カプラン＝マイヤー推定量 ログランク検定 故障率 比例ハザードモデル
歴史	統計学の創始者 確率論と統計学の歩み
応用	社会統計学 疫学 生物統計学 系統学 統計力学 計量経済学 機械学習 実験計画法
出版物	統計学に関する学術誌一覧 重要な出版物
全般	統計 頻度主義統計学 統計学および機械学習の評価指標
その他	方向統計学 S言語 R言語 統計検定 社会調査士 JDLA Deep Learning For GENERAL JDLA Deep Learning for ENGINEER 実用数学技能検定 品質管理検定
カテゴリ

表 話 編 歴 確率論
確率の歴史	アンドレイ・コルモゴロフ トーマス・ベイズ アンドレイ・マルコフ ジョゼフ・L・ドゥーブ 伊藤清
確率の定義	客観確率 統計的確率 古典的確率 公理的確率 主観確率 ベイズ確率 確率の拡張 外確率 負の確率
基礎概念	モデル 試行 結果 事象 標本空間 確率測度 確率空間 確率変数 確率変数の収束 確率分布 離散確率分布 連続確率分布 同時分布 周辺分布 条件付き確率分布 独立同分布 関数 確率質量関数 確率密度関数 累積分布関数 特性関数 用語 独立 期待値 モーメント 条件付き確率 条件付き期待値
確率の解釈	ベルトランの逆説 3囚人問題 モンティ・ホール問題 サンクトペテルブルクのパラドックス 合接の誤謬 ギャンブラーの誤謬
問題	壺問題 クーポンコレクター問題
法則・定理	ベイズの定理 大数の法則 中心極限定理 コルモゴロフの0-1法則 デ・フィネッティの定理 ウィーナー＝ヒンチンの定理
測度論	確率測度の拡張 カラテオドリの拡張定理 E.ホップの拡張定理 コルモゴロフの拡張定理 ヴィタリの収束定理 ルベーグの優収束定理 ラプラス原理 スコロホッドの表現定理
確率微分方程式	伊藤の補題
確率過程	独立増分過程 定常過程 マルチンゲール マルコフ過程 マルコフ性 マルコフ連鎖 マルコフ決定過程 部分観測マルコフ決定過程 マルコフ再生過程 ウィーナー過程 ブラウン運動 幾何ブラウン運動 非整数ブラウン運動 ベルヌーイ過程 ガウス過程 自己相似過程 経験過程 中華料理店過程 オルンシュタイン＝ウーレンベック過程
情報量	最大エントロピー原理 交差エントロピー 結合エントロピー カルバック・ライブラー情報量 相互情報量
応用	数理ファイナンス ブラック–ショールズ方程式 確率的ボラティリティモデル 系統学 ベイズ法
カテゴリ