独立成分分析

独立成分分析（どくりつせいぶんぶんせき、英: independent component analysis、ICA）は、多変量の信号を複数の加法的な成分に分離するための計算手法である。各成分は、ガウス的でない信号で相互に統計的独立なものを想定する。これはブラインド信号分離の特殊な場合である。

概要

独立性の仮定が正しいなら、混合信号のブラインドICA分離は非常に良い結果となる。混合信号でなくとも、分析のためにこれを行う場合もある。典型的なICAの応用として、室内で録音された複数の人間の会話から特定の人物の声を抜き出す音源分離がある。一般に遅延や反響がないと仮定することで問題が単純化される。考慮すべき重要な点として、N個の信号源があるとき、個々を分離するには少なくともN個の観測装置（マイクロフォンなど）が必要となる。

この統計的手法は、予測される成分の統計的独立性を最大化するようにその独立成分（ファクター、潜在変数、信号源など）を見つける。中心極限定理によると、非ガウス性^{[注釈 1]}は成分の独立性を測る手法の1つである。非ガウス性は例えば、尖度やネゲントロピーの近似で測ることができる。相互情報量も信号間の独立性の尺度となる。

ICAの典型的アルゴリズムでは、複雑さを削減するために前段階として、中心化^{[注釈 2]}、白色化^{[注釈 3]}、次元削減（圧縮）^{[注釈 4]}などを行う。白色化と次元削減は主成分分析や特異値分解^{[注釈 5]}などによってなされる。ICAのアルゴリズムとしては、Infomax（インフォマックス）、FastICA（ファストアイシーエイ）、JADE（ジェイド）など様々なものがある。

ICA はブラインド信号分離で重要であり、具体的な応用がいくつもある。

数学的定義

線形独立成分分析はノイズのない場合とノイズのある場合に分けられ、ノイズのない ICA はノイズのある ICA の特別な場合である。非線形 ICA はそれらとは別と考えられる。

一般的定義

データは確率変数ベクトル ${\displaystyle x=(x_{1},\ldots ,x_{m})}$ と成分の確率変数ベクトル ${\displaystyle s=(s_{1},\ldots ,s_{n})}$ で表される。すべきことは、線形な統計的変換 ${\displaystyle s=Wx}$ を使って、観測データ ${\displaystyle x}$ を独立成分 ${\displaystyle s}$ に変換することである（独立性は関数 ${\displaystyle F(s_{1},\ldots ,s_{n})}$ によって表される）。

生成的モデル

線形ノイズなしICA

観測された確率変数ベクトル ${\displaystyle x=(x_{1},\ldots ,x_{m})^{T}}$ の成分 ${\displaystyle x_{i}}$ は独立成分 ${\displaystyle s_{k}}$, ${\displaystyle k=1,\ldots ,n}$ の次のような総和として生成される。

すなわち、${\displaystyle a_{i,k}}$ でそれぞれの独立成分に重み付けがなされている。

このモデルをベクトルとして表すと

となり、観測された確率変数ベクトル ${\displaystyle x}$ が基本ベクトル ${\displaystyle a_{k}=(a_{1,k},\ldots ,a_{m,k})^{T}}$ で表される。

基本ベクトル ${\displaystyle a_{k}}$ は混合行列^{[注釈 6]}${\displaystyle A=(a_{1},\ldots ,a_{n})}$ の列を形成し、生成式は ${\displaystyle x=As}$ と表され、このとき ${\displaystyle s=(s_{1},\ldots ,s_{n})^{T}}$ である。

モデルと ${\displaystyle x_{1},\ldots ,x_{N}}$ からなる確率変数ベクトル ${\displaystyle x}$ の標本があるとき、混合行列 ${\displaystyle A}$ と信号源 ${\displaystyle s}$ を予測する作業が行われる。これは、${\displaystyle w}$ ベクトルを順応的に計算し、計算された ${\displaystyle s_{k}=(w^{T}*x)}$ の非ガウス性を最大化するか、相互情報量を最小化するコスト関数を設定することでなされる。場合によっては信号源の確率分布についての事前の知識をコスト関数に利用する。

信号源 ${\displaystyle s}$ は観測された信号群 ${\displaystyle x}$ に混合行列の逆行列 ${\displaystyle W=A^{-1}}$ （分離行列^{[注釈 7]}をかけることで求められる。ここで、混合行列は正方行列と想定されている。

線形ノイズありICA

平均がゼロとなる無相関のガウス雑音 ${\displaystyle n\sim N(0,\operatorname {diag} (\Sigma ))}$ を仮定すると、ICAモデルは ${\displaystyle x=As+n}$ という形式になる。

非線形ICA

信号源の混合は線形でなければならないわけではない。パラメータ ${\displaystyle \theta }$ の非線形混合関数 ${\displaystyle f(\cdot |\theta )}$ による非線形ICAモデルは ${\displaystyle x=f(s|\theta )+n}$ となる。

同定可能性

独立成分分析の同定可能性には以下の要素が必要である。

• 信号源のうち高々1つだけ（${\displaystyle s_{k}}$）がガウス雑音である。
• 混合信号の観測数 ${\displaystyle m}$ と予測される信号源の数 ${\displaystyle n}$ について、${\displaystyle m\geq n}$ でなければならない。
• 混合行列 ${\displaystyle A}$ の行列の階数は最大でなければならない。

脚注

注釈

参考文献

• 『入門　独立成分分析』，村田昇，東京電機大学出版局，ISBN 4-501-53750-7, (2004).
• 『詳解 独立成分分析―信号解析の新しい世界』, Aapo Hyvärien, Juha Karhunen, 東京電機大学出版局, ISBN 978-4501538606、（2005）.

関連項目

• 主成分分析
• 因子分析
• 画像処理
• 信号処理
• ブラインド信号分離 (BSS)
• ブラインド逆畳み込み積分
• カクテルパーティー効果

外部リンク

• What is independent component analysis? by Aapo Hyvärinen
• Nonlinear ICA, Unsupervised Learning, Redundancy Reduction by Jürgen Schmidhuber
• A Brief Introduction to Independent Component Analysis by JV Stone, 2005 (7 pages).
• A. Hyvärinen, J. Karhunen, E. Oja (2001). Independent Component Analysis という書籍の Introductory chapter
• FastICA as a package for Matlab, in R language, C++, and Python
• ICALAB Toolboxes - Matlab 用。理化学研究所が開発。
• High Performance Signal Analysis Toolkit - FastICA や Infomax の C++ による実装。
• Free software for ICA by JV Stone.
• ICA toolbox - Matlab 用。DTUが開発。
• Demonstration of the cocktail party problem
• EEGLAB Toolbox - Matlab による脳波の独立成分分析ツール。UCSDが開発。
• FMRLAB Toolbox - Matlab によるfMRIの独立成分分析ツール。UCSDが開発。
• Discussion of ICA used in a biomedical shape-representation context

表 話 編 歴 統計学
標本調査	標本 母集団 無作為抽出 層化抽出法
要約統計量	連続確率分布 位置 平均 算術 幾何 調和 中央値 分位数 順序統計量 最頻値 階級値 分散 範囲 偏差 偏差値 標準偏差 標準誤差 変動係数 決定係数 相関係数 自己相関 共分散 自己共分散 分散共分散行列 百分率 統計的ばらつき モーメント 分散 歪度 尖度 カテゴリデータ 頻度 分割表
推計統計学	仮説検定 パラメトリック t検定 ウェルチのt検定 F検定 Z検定 二項検定 ジャック-ベラ検定 シャピロ–ウィルク検定 分散分析 共分散分析 ノンパラメトリック ウィルコクソンの符号順位検定 マン・ホイットニーのU検定 カイ二乗検定 イェイツのカイ二乗検定 累積カイ二乗検定 フィッシャーの正確確率検定 尤度比検定 G検定 アンダーソン–ダーリング検定 コルモゴロフ–スミルノフ検定 カイパー検定 マンテル検定 コクラン・マンテル・ヘンツェルの統計量 その他 帰無仮説 対立仮説 有意 棄却 区間推定 信頼区間 予測区間 モデル選択基準 AIC BIC WAIC MDL その他 偏り 偏りと分散 過剰適合 推定量 点推定 最尤推定 尤度関数 尤度方程式 最小距離推定 メタアナリシス ブートストラップ法
ベイズ統計学	確率 主観確率 ベイズ確率 事前確率 事後確率 最大事後確率 その他 ベイズ推定 ベイズ因子
相関	交絡 ピアソンの積率相関係数 順位相関（スピアマンの順位相関係数 ・ケンドールの順位相関係数 ）
モデル	一般線形モデル 一般化線形モデル 混合モデル 一般化線形混合モデル
回帰	線形 リッジ回帰 ラッソ回帰 エラスティックネット 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン 射影追跡回帰 時系列 自己回帰モデル 自己回帰移動平均モデル ARCHモデル 対移動平均比率法 トレンド定常 傾向推定 共和分 構造変化
分類	線形 線形判別分析 ロジスティック回帰 <! -- 名前に回帰とついていますが確率を回帰する分類手法です --> 単純ベイズ分類器 単純パーセプトロン 線形サポートベクターマシン 二次 二次判別分析 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン ベイジアンネットワーク 隠れマルコフモデル その他 二項分類 多クラス分類 第一種過誤と第二種過誤
教師なし学習	クラスタリング k平均法 （k-means++法 ） DBSCAN 密度推定（英語版） カーネル密度推定 （ カーネル ） その他 主成分分析 独立成分分析 自己組織化写像
統計図表	棒グラフ バイプロット（英語版） 箱ひげ図 管理図 フォレストプロット ヒストグラム 円グラフ Q-Qプロット ランチャート 散布図 幹葉表示 バイオリン図 ドットプロット ヒートマップ 階級区分図
生存分析	生存関数 カプラン＝マイヤー推定量 ログランク検定 故障率 比例ハザードモデル
歴史	統計学の創始者 確率論と統計学の歩み
応用	社会統計学 疫学 生物統計学 系統学 統計力学 計量経済学 機械学習 実験計画法
出版物	統計学に関する学術誌一覧 重要な出版物
全般	統計 頻度主義統計学 統計学および機械学習の評価指標
その他	方向統計学 S言語 R言語 統計検定 社会調査士 JDLA Deep Learning For GENERAL JDLA Deep Learning for ENGINEER 実用数学技能検定 品質管理検定
カテゴリ