一般化線形モデル

この項目では、一般化線形モデル (generalized linear model)について説明しています。一般線形モデル (general linear model)については「一般線形モデル」をご覧ください。

統計学
回帰分析
モデル
線形回帰 線形単回帰（英語版） 多項式回帰 一般線形モデル
一般化線形モデル 離散選択（英語版） ロジスティック回帰 多項ロジット（英語版） 混合ロジット（英語版） プロビット（英語版） 多項プロビット（英語版） 順序ロジット（英語版） 順序プロビット（英語版） ポアソン（英語版）
多水準モデル（英語版） 固定効果（英語版） 変量効果 混合モデル
非線形回帰 ノンパラメトリック（英語版） セミパラメトリック（英語版） ロバスト（英語版） 分位点（英語版） 等調（英語版） 主成分（英語版） 最小角度（英語版） 局所 折れ線（英語版）
変数誤差（英語版）
推定
最小二乗法 線形（英語版） 非線形
普通（英語版） 加重（英語版） 一般化（英語版）
部分 総最小二乗法（英語版） 非負（英語版） リッジ回帰 正則化（英語版）
最小絶対偏差（英語版） 繰返し加重（英語版） ベイズ（英語版） ベイズ多変量（英語版）
背景
回帰検証（英語版） 平均応答と予測応答（英語版） 誤差と残差 適合度（英語版） スチューデント化残差 ガウス＝マルコフの定理
表 話 編 歴

一般化線形モデル (いっぱんかせんけいモデル、英: Generalized linear model、GLM)は、残差を任意の分布とした線形モデル。似たものとして一般線形モデルがあるが、これは残差が多変量正規分布に従うモデル。一般化線形モデルには線形回帰、ポアソン回帰、ロジスティック回帰などが含まれる。1972年にネルダーとウェダーバーンによって提唱された^[1]。

概要

確率変数 ${\displaystyle Y}$ が指数型分布族である、つまり確率密度関数 ${\displaystyle f(y)}$ は正準 (canonical) パラメーター ${\displaystyle \theta }$, 分散 (dispersion) パラメーター ${\displaystyle \phi }$ とスカラー関数 ${\displaystyle a(\theta )}$, ${\displaystyle c(y,\,\theta )}$ を用いて指数型

で表すことができるものとする。

一般化線形モデルでは、指数型分布族の正準パラメーター ${\displaystyle \theta }$ について、リンク関数 (link function) と呼ばれる滑らかな関数 ${\displaystyle g(\theta )}$ と、別の確率変数 ${\displaystyle \mathbf {X} }$ の実現値 ${\displaystyle \mathbf {x} }$ とを用いて、${\displaystyle g(\theta )=\mathbf {x} ^{T}\,{\boldsymbol {\beta }}}$ と表すことができるものとする。

一般化線型モデルは下記の3つの要素から構成される。

1. 指数型分布族の確率分布

2. 線形予測子 (linear predictor) ${\displaystyle \eta =\mathbf {x} ^{T}{\boldsymbol {\beta }}}$

3. リンク関数 (link function) ${\displaystyle g}$ such that ${\displaystyle g(\theta )=\eta }$

指数分布族の性質

下記のように尤度関数を定める。

このとき、下記等式が成立する。

この等式を用いて計算すると、確率変数 ${\displaystyle Y}$ の平均は ${\displaystyle a'(\theta )}$、分散は ${\displaystyle \phi \,a''(\theta )}$ であることが分かる。

下記の他、多くの確率分布が指数分布族に分類される。

• 正規分布
• ベルヌーイ分布
• ポアソン分布
• 二項分布
• ガウス分布

実例

正規分布に従うモデル

既知の値 ${\displaystyle \sigma ^{2}}$ を用いて ${\displaystyle a(\theta )=\theta ^{2}/2}$, ${\displaystyle \phi =\sigma ^{2}}$, ${\displaystyle c(y,\,\phi )=-\left(y^{2}/\sigma ^{2}+\log {2\pi \sigma ^{2}}\right)/2}$ と表されるとき、${\displaystyle f(y;\theta )={\frac {1}{{\sqrt {2\pi }}\sigma }}\exp {\left(-{\frac {(y-\theta )^{2}}{2\sigma ^{2}}}\right)}}$ は平均 ${\displaystyle \theta }$, 分散 ${\displaystyle \sigma ^{2}}$ の正規分布に相当する。

リンク関数として ${\displaystyle g(\theta )=\theta }$ (正準リンク<canonical link>とよぶ) を取るとき、これは、正規線型モデル (通常の線型回帰) に相当する。平均 ${\displaystyle \theta }$ は ${\displaystyle \mathbf {x} ^{T}\,{\boldsymbol {\beta }}}$ で与えられる。

ベルヌーイ分布に従うモデル

${\displaystyle p=e^{\theta }/(1+e^{\theta })}$ を用いて ${\displaystyle a(\theta )=-\log {(1-p)}}$, ${\displaystyle \phi =1}$, ${\displaystyle c=0}$ と表されるとき、${\displaystyle f(y;\theta )=p^{y}(1-p)^{1-y}}$ は生起確率 ${\displaystyle p}$ のベルヌーイ分布に相当する。

リンク関数として ${\displaystyle g(\theta )=\theta }$ を取るとき、これはロジスティック回帰モデル (logistic regression model) に相当する。${\displaystyle Y=1,0}$ の確率は、それぞれ、

で与えられる。

リンク関数として ${\displaystyle g(\theta )=\psi ^{-1}(p)}$ (ただし、${\displaystyle \psi }$ は標準正規分布の累積分布関数) を取るとき、これはプロビット回帰モデルに相当する。${\displaystyle p=\psi (\mathbf {x} ^{T}\,{\boldsymbol {\beta }})}$となる。

パラメーターの決定には、ニュートン法を用いた最尤法などがある。

脚注

参考文献

• McCullagh, Peter; Nelder, John (1989). Generalized Linear Models, Second Edition. Boca Raton: Chapman and Hall/CRC. ISBN 0-412-31760-5 
• Henrik Madsen and Poul Thyregod (2011). Introduction to General and Generalized Linear Models. Chapman & Hall/CRC. ISBN 978-1-4200-9155-7 
• Julia でデータサイエンス 一般化線形モデルにおける各種診断プロットの描画法の Julia コード

関連項目

• 一般線形モデル
• 混合モデル
• 一般化線形混合モデル

表 話 編 歴 統計学
標本調査	標本 母集団 無作為抽出 層化抽出法
要約統計量	連続確率分布 位置 平均 算術 幾何 調和 中央値 分位数 順序統計量 最頻値 階級値 分散 範囲 偏差 偏差値 標準偏差 標準誤差 変動係数 決定係数 相関係数 自己相関 共分散 自己共分散 分散共分散行列 百分率 統計的ばらつき モーメント 分散 歪度 尖度 カテゴリデータ 頻度 分割表
推計統計学	仮説検定 パラメトリック t検定 ウェルチのt検定 F検定 Z検定 二項検定 ジャック-ベラ検定 シャピロ–ウィルク検定 分散分析 共分散分析 ノンパラメトリック ウィルコクソンの符号順位検定 マン・ホイットニーのU検定 カイ二乗検定 イェイツのカイ二乗検定 累積カイ二乗検定 フィッシャーの正確確率検定 尤度比検定 G検定 アンダーソン–ダーリング検定 コルモゴロフ–スミルノフ検定 カイパー検定 マンテル検定 コクラン・マンテル・ヘンツェルの統計量 その他 帰無仮説 対立仮説 有意 棄却 区間推定 信頼区間 予測区間 モデル選択基準 AIC BIC WAIC MDL その他 偏り 偏りと分散 過剰適合 推定量 点推定 最尤推定 尤度関数 尤度方程式 最小距離推定 メタアナリシス ブートストラップ法
ベイズ統計学	確率 主観確率 ベイズ確率 事前確率 事後確率 最大事後確率 その他 ベイズ推定 ベイズ因子
相関	交絡 ピアソンの積率相関係数 順位相関（スピアマンの順位相関係数 ・ケンドールの順位相関係数 ）
モデル	一般線形モデル 一般化線形モデル 混合モデル 一般化線形混合モデル
回帰	線形 リッジ回帰 ラッソ回帰 エラスティックネット 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン 射影追跡回帰 時系列 自己回帰モデル 自己回帰移動平均モデル ARCHモデル 対移動平均比率法 トレンド定常 傾向推定 共和分 構造変化
分類	線形 線形判別分析 ロジスティック回帰 <! -- 名前に回帰とついていますが確率を回帰する分類手法です --> 単純ベイズ分類器 単純パーセプトロン 線形サポートベクターマシン 二次 二次判別分析 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン ベイジアンネットワーク 隠れマルコフモデル その他 二項分類 多クラス分類 第一種過誤と第二種過誤
教師なし学習	クラスタリング k平均法 （k-means++法 ） DBSCAN 密度推定（英語版） カーネル密度推定 （ カーネル ） その他 主成分分析 独立成分分析 自己組織化写像
統計図表	棒グラフ バイプロット（英語版） 箱ひげ図 管理図 フォレストプロット ヒストグラム 円グラフ Q-Qプロット ランチャート 散布図 幹葉表示 バイオリン図 ドットプロット ヒートマップ 階級区分図
生存分析	生存関数 カプラン＝マイヤー推定量 ログランク検定 故障率 比例ハザードモデル
歴史	統計学の創始者 確率論と統計学の歩み
応用	社会統計学 疫学 生物統計学 系統学 統計力学 計量経済学 機械学習 実験計画法
出版物	統計学に関する学術誌一覧 重要な出版物
全般	統計 頻度主義統計学 統計学および機械学習の評価指標
その他	方向統計学 S言語 R言語 統計検定 社会調査士 JDLA Deep Learning For GENERAL JDLA Deep Learning for ENGINEER 実用数学技能検定 品質管理検定
カテゴリ

この項目は、統計学に関連した書きかけの項目です。この項目を加筆・訂正などしてくださる協力者を求めています（プロジェクト:数学／Portal:数学）。

• 表示
• 編集