|
|
|
== 生成的モデルと識別的モデル ==
線形分類器 <math>\vec w</math> のパラメータを決定する手方法は大まかには、生成的モデルと識別的モデルという2つにの大分類されがある<ref>T. Mitchell, Generative and Discriminative Classifiers: Naive Bayes and Logistic Regression. Draft Version, 2005 [http://www.cs.cmu.edu/~tom/mlbook/NBayesLogReg.pdf download(PDF)]</ref><ref>A. Y. Ng and M. I. Jordan. On Discriminative vs. Generative Classifiers: A comparison of logistic regression and Naive Bayes. in NIPS 14, 2002. [http://www.cs.berkeley.edu/~jordan/papers/ng-jordan-nips01.ps download(PS)]</ref>。1つ番目の[[生成的モデル]]は、[[条件付き確率]] <math>P(\vec x|{\rm class})</math> をモデル化したものである。そのようなアルゴリズムの例として以下次のようなものがある。
* 線形[[判別分析]] (LDA) - [[正規分布]]モデルかつ[[等分散性]]を仮定する。
* [[単純ベイズ分類器]] - [[確率論的独立性|独立]][[二項分布]]モデルを仮定する。
2つめは[[番目の{{Ill2|識別的モデル]]と呼ばれるもので|en|Discriminative model|label=識別モデル}}は、[[{{Ill2|訓練事例]]集合|en|Training set|label=訓練例}}の出力の品質を最大化しようとするものである。訓練コスト関数に項を追加することで、最終モデルの正則化がを容易に実現行うことができる。線形分類器の識別的な訓練の例として、以下次のようなものがある。
* [[ロジスティック回帰]] - 観測された訓練例が分類器の出力に依存した二項分布モデルで生成されたものと見なし、<math>\vec w</math> を最尤推定する。
* [[パーセプトロン]] - 訓練例の学習時に発生した全ての誤りを正そうとするアルゴリズム
|
