「相互情報量」の版間の差分
削除された内容 追加された内容
m ロボットによる 追加: zh:互信息 |
m 特徴抽出→特徴選択、仮リンク3件 |
||
41行目:
離散の場合、''H''(''X''|''X'') = 0 であるから、''H''(''X'') = ''I''(''X'';''X'') となる。従って ''I''(''X'';''X'') ≥ ''I''(''X'';''Y'') であり、ある確率変数は他のどんな確率変数よりも自分自身についての情報を多くもたらすという基本原理が定式化されている。
相互情報量は、2つの確率変数 ''X'' と ''Y'' の
:<math> I(X;Y) = D_{\mathrm{KL}}(p(x,y)\|p(x)p(y)). </math>
62行目:
* 入力確率分布が最大化されたときの相互情報量は[[通信路容量]]と等価である。
* [[多重配列アラインメント]]による[[リボ核酸|RNA]]の二次構造予測
* [[機械学習]]における[[特徴
* 相互情報量は[[コーパス言語学]]における[[連語]]の計算における重み付け関数として使われることが多い。
* 相互情報量は[[医用画像処理]]における画像の位置合わせに使われる。ある画像と別の画像の[[座標]]を合わせるために、両者の相互情報量が最大となるように位置合わせを行う。
* [[時系列]]解析における
* [[情報量最大化]][[独立成分分析]]アルゴリズムでも利用されている。
*
== 参考文献 ==
| |||