確率分布 関数
f
D
{\displaystyle f_{D}}
θ
{\displaystyle \theta }
D
{\displaystyle D}
n
{\displaystyle n}
標本
X
1
,
X
2
,
.
.
.
X
n
{\displaystyle X_{1},X_{2},...X_{n}}
P
(
x
1
,
x
2
,
…
,
x
n
)
=
f
D
(
x
1
,
…
,
x
n
∣
θ
)
{\displaystyle \mathbb {P} (x_{1},x_{2},\dots ,x_{n})=f_{D}(x_{1},\dots ,x_{n}\mid \theta )}
しかし、データが分布
D
{\displaystyle D}
θ
{\displaystyle \theta }
θ
{\displaystyle \theta }
n
{\displaystyle n}
X
1
,
X
2
,
.
.
.
X
n
{\displaystyle X_{1},X_{2},...X_{n}}
θ
{\displaystyle \theta }
θ
{\displaystyle \theta }
θ
{\displaystyle \theta }
尤度 を最大にするものを探す）方法である。これは他の推定量を求める方法と対照的である。たとえば
θ
{\displaystyle \theta }
不偏推定量 は、
θ
{\displaystyle \theta }
尤度関数 を次のように定義する：
L
(
θ
)
=
f
D
(
x
1
,
…
,
x
n
∣
θ
)
{\displaystyle L(\theta )=f_{D}(x_{1},\dots ,x_{n}\mid \theta )}
この関数を母数
θ
{\displaystyle \theta }
θ
^
{\displaystyle {\hat {\theta }}}
θ
{\displaystyle \theta }
最尤推定量 （さいゆうすいていりょう、maximum likelihood estimator、これもMLEと略す）という。最尤推定量は（適当な仮定の下では）しばしば尤度方程式
∂
∂
θ
log
L
(
θ
)
=
0
{\displaystyle {\frac {\partial }{\partial \theta }}\log L(\theta )=0}
の解として求められる。
尤度は
θ
{\displaystyle \theta }
x
1
,
x
2
,
…
,
x
n
{\displaystyle x_{1},x_{2},\ldots ,x_{n}}
最尤推定量は唯一ではないこともあるし、存在しないことさえある。
f
D
{\displaystyle f_{D}}
確率密度関数 として考えれば、上の定義は連続確率分布にも当てはまる。最尤法をベイジアンで解釈することも可能である．事前分布に一様分布を仮定し，事後分布のモードを計算することと同値である．詳しくは計量経済学 のベイジアン計量経済学 の項を参照されたい．
離散分布で、母数が離散的かつ有限の場合 編集 以下、コインを投げて表・裏（あるいは成功・失敗：その確率は0.5とは限らない）のいずれが出るかを見る場合（ベルヌーイ試行
箱の中に3つのコインがあるとしよう。見た目では全く区別がつかないが、表の出る確率
p
{\displaystyle p}
p
=
1
/
3
{\displaystyle p=1/3}
p
=
1
/
2
{\displaystyle p=1/2}
p
=
2
/
3
{\displaystyle p=2/3}
p
{\displaystyle p}
θ
{\displaystyle \theta }
x
1
=
H
{\displaystyle x_{1}={\mbox{H}}}
x
2
=
T
{\displaystyle x_{2}={\mbox{T}}}
…
{\displaystyle \ldots }
x
80
=
T
{\displaystyle x_{80}={\mbox{T}}}
p
{\displaystyle p}
P
(
49H/80
∣
p
=
1
/
3
)
=
(
80
49
)
(
1
/
3
)
49
(
1
−
1
/
3
)
31
=
0.000
P
(
49H/80
∣
p
=
1
/
2
)
=
(
80
49
)
(
1
/
2
)
49
(
1
−
1
/
2
)
31
=
0.012
P
(
49H/80
∣
p
=
2
/
3
)
=
(
80
49
)
(
2
/
3
)
49
(
1
−
2
/
3
)
31
=
0.054
{\displaystyle {\begin{matrix}\mathbb {P} ({\mbox{49H/80}}\mid p=1/3)&=&{\binom {80}{49}}(1/3)^{49}(1-1/3)^{31}=0.000\\&&\\\mathbb {P} ({\mbox{49H/80}}\mid p=1/2)&=&{\binom {80}{49}}(1/2)^{49}(1-1/2)^{31}=0.012\\&&\\\mathbb {P} ({\mbox{49H/80}}\mid p=2/3)&=&{\binom {80}{49}}(2/3)^{49}(1-2/3)^{31}=0.054\\\end{matrix}}}
こうして母数
p
^
=
2
/
3
{\displaystyle {\hat {p}}=2/3}
p
{\displaystyle p}
離散分布で、母数が連続的な場合 編集 こんどは上の例での箱に入っているコインの数は無限であると仮定する。それぞれがすべての可能な
0
≤
p
≤
1
{\displaystyle 0\leq p\leq 1}
0
≤
p
≤
1
{\displaystyle 0\leq p\leq 1}
L
(
p
)
=
f
D
(
observe 49 HEADS out of 80
∣
p
)
=
(
80
49
)
p
49
(
1
−
p
)
31
{\displaystyle {\begin{matrix}L(p)&=&f_{D}({\mbox{observe 49 HEADS out of 80}}\mid p)={\binom {80}{49}}p^{49}(1-p)^{31}\\\end{matrix}}}
この関数を最大化するには
p
{\displaystyle p}
微分 しその値を0にすればよい：
0
=
d
d
p
(
(
80
49
)
p
49
(
1
−
p
)
31
)
∝
49
p
48
(
1
−
p
)
31
−
31
p
49
(
1
−
p
)
30
=
p
48
(
1
−
p
)
30
[
49
(
1
−
p
)
−
31
p
]
{\displaystyle {\begin{matrix}0&=&{\frac {d}{dp}}\left({\binom {80}{49}}p^{49}(1-p)^{31}\right)\\&&\\&\propto &49p^{48}(1-p)^{31}-31p^{49}(1-p)^{30}\\&&\\&=&p^{48}(1-p)^{30}\left[49(1-p)-31p\right]\\\end{matrix}}}
これを解けば
p
=
0
{\displaystyle p=0}
p
=
1
{\displaystyle p=1}
p
=
49
/
80
{\displaystyle p=49/80}
p
=
49
/
80
{\displaystyle p=49/80}
p
=
0
{\displaystyle p=0}
p
=
1
{\displaystyle p=1}
p
{\displaystyle p}
p
^
=
49
/
80
{\displaystyle {\hat {p}}=49/80}
t
{\displaystyle t}
n
{\displaystyle n}
n
{\displaystyle n}
t
{\displaystyle t}
p
{\displaystyle p}
p
^
=
t
n
{\displaystyle {\hat {p}}={\frac {t}{n}}}
となる。
分布、母数とも連続的な場合 編集 よく出てくる連続確率分布に、次の正規分布 がある：
f
(
x
∣
μ
,
σ
2
)
=
1
2
π
σ
2
e
−
(
x
−
μ
)
2
2
σ
2
{\displaystyle f(x\mid \mu ,\sigma ^{2})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}}
この分布に従う
n
{\displaystyle n}
f
(
x
1
,
…
,
x
n
∣
μ
,
σ
2
)
=
(
1
2
π
σ
2
)
n
2
e
−
∑
i
=
1
n
(
x
i
−
μ
)
2
2
σ
2
{\displaystyle f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{\frac {n}{2}}e^{-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}}}
また計算しやすいように書き換えると：
f
(
x
1
,
…
,
x
n
∣
μ
,
σ
2
)
=
(
1
2
π
σ
2
)
n
2
e
−
∑
i
=
1
n
(
x
i
−
x
¯
)
2
+
n
(
x
¯
−
μ
)
2
2
σ
2
{\displaystyle f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{\frac {n}{2}}e^{-{\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}}{2\sigma ^{2}}}}}
この分布には平均
μ
{\displaystyle \mu }
分散
σ
2
{\displaystyle \sigma ^{2}}
L
(
μ
,
σ
)
=
f
(
x
1
,
,
…
,
x
n
∣
μ
,
σ
2
)
{\displaystyle L(\mu ,\sigma )=f(x_{1},,\ldots ,x_{n}\mid \mu ,\sigma ^{2})}
θ
=
(
μ
,
σ
2
)
{\displaystyle \theta =(\mu ,\sigma ^{2})}
ベクトル として扱う）。
尤度を最大にするのは、尤度の自然対数 を最大にするのと同じである（自然対数は単調増加関数であるから）。このような計算法はいろいろな分野でよく利用され、対数尤度は情報 のエントロピー やフィッシャー情報 と密接な関係がある。
0
=
∂
∂
μ
log
(
(
1
2
π
σ
2
)
n
2
e
−
∑
i
=
1
n
(
x
i
−
x
¯
)
2
+
n
(
x
¯
−
μ
)
2
2
σ
2
)
=
∂
∂
μ
(
log
(
1
2
π
σ
2
)
n
2
−
∑
i
=
1
n
(
x
i
−
x
¯
)
2
+
n
(
x
¯
−
μ
)
2
2
σ
2
)
=
0
−
−
2
n
(
x
¯
−
μ
)
2
σ
2
{\displaystyle {\begin{matrix}0&=&{\frac {\partial }{\partial \mu }}\log \left(\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{\frac {n}{2}}e^{-{\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}}{2\sigma ^{2}}}}\right)\\&=&{\frac {\partial }{\partial \mu }}\left(\log \left({\frac {1}{2\pi \sigma ^{2}}}\right)^{\frac {n}{2}}-{\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}}{2\sigma ^{2}}}\right)\\&=&0-{\frac {-2n({\bar {x}}-\mu )}{2\sigma ^{2}}}\\\end{matrix}}}
これを解くと
μ
^
=
x
¯
=
∑
i
=
1
n
x
i
/
n
{\displaystyle {\hat {\mu }}={\bar {x}}=\sum _{i=1}^{n}x_{i}/n}
μ
{\displaystyle \mu }
σ
{\displaystyle \sigma }
σ
^
2
=
∑
i
=
1
n
(
x
i
−
μ
^
)
2
/
n
{\displaystyle {\hat {\sigma }}^{2}=\sum _{i=1}^{n}(x_{i}-{\hat {\mu }})^{2}/n}
θ
=
(
μ
,
σ
2
)
{\displaystyle \theta =(\mu ,\sigma ^{2})}
θ
^
=
(
μ
^
,
σ
^
2
)
=
(
x
¯
,
∑
i
=
1
n
(
x
i
−
x
¯
)
2
/
n
)
{\displaystyle {\hat {\theta }}=({\hat {\mu }},{\hat {\sigma }}^{2})=({\bar {x}},\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}/n)}
となる。
![{\begin{matrix}0&=&{\frac {d}{dp}}\left({\binom {80}{49}}p^{{49}}(1-p)^{{31}}\right)\\&&\\&\propto &49p^{{48}}(1-p)^{{31}}-31p^{{49}}(1-p)^{{30}}\\&&\\&=&p^{{48}}(1-p)^{{30}}\left[49(1-p)-31p\right]\\\end{matrix}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8bae5fa2e788d3c340ead319350621716871058b)
