指数型分布族(しすうがたぶんぷぞく)は、以下のように定義される、特定の形式の確率分布。有用な代数的特性を持つ。

指数型分布族の概念は、1935 – 1936年に[1]、EJG Pitman[2]、G. Darmois[3] 、BO Koopman[4]らによって与えられた。

定義

編集

指数型分布族に属する確率分布の例

編集

指数型分布族には、最も一般的な分布の多くが含まれる。その一部を例示する。

多くの一般的な分布が指数型分布族に属するが、それは特定のパラメーターが既知定数である場合に限られる。例えば:

二項分布
試行回数は固定
多項分布
試行回数は固定
負の二項分布
失敗回数は固定

いずれの場合も、固定する必要のあるパラメーターが観測値のサイズを制限している。

一般的な分布のうち、指数型分布族ではないものとして、 スチューデントの t 分布、ほとんどの混合分布、範囲が固定されていない場合の均一分布が挙げられる。

スカラーパラメータ

編集

単一の実数パラメータに基づく指数型分布族では、 確率密度関数 (離散分布の場合は確率質量関数)が次の形式で表現できる。

 

ここで、      はいずれも既知の関数である。

しばしば次のように同等の形式で記述される。

 

次のように記述しても同等である。

 

  は指数型分布族のパラメータと呼ばれる。

  の場合、指数型分布族は正準型(canonical form)であるという。 変換後のパラメータ   をパラメータとして用いることにより、指数型分布族を正準型に変換することができる。

指数型分布族が正準型であるときのパラメータを自然パラメータ(natural parameter)と呼ぶ。

関連する変数の因数分解

編集

すべての指数型分布族は、単一パラメーターによる指数型分布族の積に分解できる。

ベクトルパラメータ

編集

単一の実数パラメータに基づく指数型分布族を、複数の実数パラメータ(下記ベクトル)に基づく指数型分布族に拡張できる。

 

確率密度関数(または離散分布の場合は確率質量関数)が次のように記述できる場合、ベクトル指数型分布族に属している。

 

またはもっとコンパクトな形で

 

下記のように記載されることも多い。

 

スカラー値の場合と同様に、ベクトル指数型分布族は次の場合に正準型と呼ばれる。

 

ベクトルパラメータ、ベクトル変数

編集

単一の確率変数に対する指数型分布族は、複数の確率変数に対する指数型分布族に拡張できる。

複数の確率変数を次のように記述すると、

 

指数型分布族の確率分布は次のように記述される。

 

またはもっとコンパクトな形で

 

次のように記述されることも多い。

 

性質

編集

指数型分布族には、統計分析に非常に役立つ多数の性質がある。 多くの場合、これらの特性を持つのは指数型分布族のみである。 例:

  • 共役事前分布を持つ

正規分布指数分布対数正規分布ガンマ分布カイ二乗分布ベータ分布ディリクレ分布ベルヌーイ分布カテゴリカル分布ポアソン分布幾何分布逆ガウス分布フォン・ミーゼス分布フォンミーゼス-フィッシャー分布はすべて指数型分布族に属する。

正規分布:未知の平均、既知の分散

編集

未知の平均値   と既知の分散   による正規分布を考える。 確率密度関数は

 

これは、次のように設定することで、単一パラメーターの指数型分布族であることが分かる。

 

 、すなわち   の場合、これは正準型となる。

正規分布:未知の平均と分散

編集

未知の平均   と未知の分散   を持つ正規分布の場合を考える。 確率密度関数は

 

これは、次のように設定することで、指数型分布族であることが分かる。

 

二項分布:既知の試行回数

編集

離散変数を対象とする指数型分布族の例として、試行回数   が既知の二項分布を考える。

この分布の確率質量関数

 

これは同等に次のように書くことができる。

 

二項分布は指数型分布族であり、その自然パラメーター  

 

となる。 この   の関数はロジットと呼ばれる。

分布表

編集

次の表は、多くの一般的な分布を、正準型の指数型分布族として書き換える方法を示している[5]

スカラー変数とスカラーパラメータの場合:

 

スカラー変数とベクトルパラメータの場合:

 
 

ベクトル変数とベクトルパラメータの場合:

 
確率分布 パラメータ   自然パラメータ   パラメータの逆写像 Base measure   十分統計量   Log-partition   Log-partition  
ベルヌーイ分布[注釈 1]              
二項分布
既知の試行回数  
             
ポアソン分布              
負の二項分布
with known number of failures  
             
指数分布              
パレート分布
with known minimum value  
             
ワイブル分布
with known shape  
             
ラプラス分布
既知の平均  
             
カイ二乗分布              
正規分布
既知の分散  
             
正規分布  ,              
対数正規分布  ,              
逆ガウス分布  ,              
ガンマ分布  ,              
 ,        
逆ガンマ分布  ,              
一般化逆ガウス分布  ,  ,              
スケールされた逆カイ二乗分布  ,              
ベータ分布 (variant 1)  ,              
ベータ分布 (variant 2)  ,              
多変量正規分布  ,              
カテゴリカル分布 (variant 1)[注釈 2]  

where  
   

where  
       
カテゴリカル分布 (variant 2)[注釈 2]  

where  
   

  where  

       
カテゴリカル分布 (variant 3)[注釈 2]  

where  
 

 
 

 

       
多項分布 (variant 1)
既知の試行回数  
 

where  
   

where  
       
多項分布 (variant 2)
既知の試行回数  
 

where  
   

 

where  

       
多項分布 (variant 3)
既知の試行回数  
 

where  
 

 
 

 

       
ディリクレ分布 (variant 1)              
ディリクレ分布 (variant 2)              
ウィッシャート分布[注釈 3]  ,            
       
 
 
       
  • Three variants with different parameterizations are given, to facilitate computing moments of the sufficient statistics.
 
逆ウィッシャート分布  ,              
ガウス・ガンマ分布  ,  ,  ,            

       

 

統計における役割

編集

指数型分布族は、 一般化線形モデルで使用される分布関数の基礎を形成する。 一般化線形モデルは、統計で一般的に使用される回帰モデルの多くを含む。

脚注

編集

注釈

編集
  1. ^ 自然パラメータはロジット関数、パラメータの逆写像はロジスティック関数に相当する。
  2. ^ a b c  アイバーソンの記法による(  ならば 1 そうでなければ 0)
  3. ^   を用いた。行列パラメータは指数形式に代入する際にベクトル化されているとものとする。また、VX は対称行列であり、  などとなる。

出典

編集
  1. ^ Andersen, Erling (September 1970). “Sufficiency and Exponential Families for Discrete Sample Spaces”. Journal of the American Statistical Association (Journal of the American Statistical Association) 65 (331): 1248–1255. doi:10.2307/2284291. JSTOR 2284291. MR268992. 
  2. ^ Pitman, E.; Wishart, J. (1936). “Sufficient statistics and intrinsic accuracy”. Mathematical Proceedings of the Cambridge Philosophical Society 32 (4): 567–579. Bibcode1936PCPS...32..567P. doi:10.1017/S0305004100019307. 
  3. ^ Darmois, G. (1935). “Sur les lois de probabilites a estimation exhaustive” (フランス語). C. R. Acad. Sci. Paris 200: 1265–1266. 
  4. ^ Koopman, B. (1936). “On distribution admitting a sufficient statistic”. Transactions of the American Mathematical Society (American Mathematical Society) 39 (3): 399–409. doi:10.2307/1989758. JSTOR 1989758. MR1501854. 
  5. ^ Nielsen, Frank; Garcia, Vincent. "Statistical exponential families: A digest with flash cards". arXiv:0911.4863

参考文献

編集
  • Fahrmeir, Ludwig; Tutz, G. (1994). Multivariate Statistical Modelling based on Generalized Linear Models. Springer. pp. 18–22, 345–349. ISBN 0-387-94233-5 
  • Keener, Robert W. (2006). Theoretical Statistics: Topics for a Core Course. Springer. pp. 27–28, 32–33. ISBN 978-0-387-93838-7 
  • Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). p. sec. 1.5. ISBN 0-387-98502-6 

外部リンク

編集