情報量(じょうほうりょう)やエントロピー: entropy)は、情報理論の概念で、あるできごと(事象)が起きた際、それがどれほど起こりにくいかを表す尺度である。ありふれたできごと(たとえば「風の音」)が起こったことを知ってもそれはたいした「情報」にはならないが、逆に珍しいできごと(たとえば「曲の演奏」)が起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとが本質的にどの程度の情報を持つかの尺度であるとみなすこともできる。

なおここでいう「情報」とは、あくまでそのできごとの起こりにくさ(確率)だけによって決まる数学的な量でしかなく、個人・社会における有用性とは無関係である。たとえば「自分が宝くじに当たった」と「見知らぬAさんが宝くじに当たった」は、前者の方が有用な情報に見えるが、両者の情報量は全く同じである(宝くじが当たる確率は所与条件一定のもとでは誰でも同じであるため)。

自己情報量(自己エントロピー)と平均情報量(エントロピー) 編集

それぞれのできごとの情報量だけでなく、それらのできごとの情報量の平均値も情報量と呼ぶ。両者を区別する場合には、前者を自己情報量自己エントロピーとも)、後者を平均情報量エントロピーとも)と呼ぶ。

自己情報量 編集

事象   が起こる確率  とするとき、事象   が起こったことを知らされたとき受け取る自己情報量   は、以下で定義される:

 

確率の値域   より自己情報量の値域は   を満たす。また対数の単調増加性により、起こりにくい事象(=生起確率が低い事象)の情報量ほど値が大きい。

対数として何を選んでも情報量の値が定数倍変わるだけなので本質的な差はない。慣習的に底に2を選ぶことが多い。底が2の場合、  の確率で起こる事象の情報量は   である。

直観的意味 編集

整数 に対し、 の対数  進法での の桁数にほぼ等しい値を表す。したがって、確率 で起こる事象の情報量は、ほぼ の桁数になる。

情報量の加法性 編集

情報量は加法性を持つ。すなわち独立な事象AとBに対し、事象「AもBも起こる」の情報量は、Aの情報量とBの情報量の和である。これは以下で証明される。

 

例えば、52枚のトランプから無作為に1枚を取り出すという試行を考える。「取り出したカードはハートの4である」という事象の情報量は、前述の定義から log 52 であると分かる。ここで、「取り出したカードのスートはハートである」という事象と「取り出したカードの数字は4である」という事象の二つを考えると、前者の情報量は log 4、後者は log 13 である。この両者の和は log 4 + log 13 = log (4×13) = log 52 となり、「取り出したカードはハートの4である」という事象の情報量と等しい。これは「独立した情報の和が、全体の情報量と一致する」という直感的要請に合致する。

導出 編集

情報量に対する直感的要請には「発生確率が低いほど大きく(単調減少性)」「確率に関して連続的に変化し(連続性)」「独立同時事象の情報量が周辺事象の情報量和に等しい(加法性)」の三条件が挙げられる。この3条件を満たす関数はコーシーの函数方程式を利用することで と一意に求まる。よって情報量の定義は上記の3条件から一意に導出できる。典型的には対数の底を2としてp=1/2で1となるようにCを設定(C=-1)する。

平均情報量(エントロピー) 編集

 を、台が有限集合である確率空間とする。  上の確率分布   が与えられたとき、各事象   の自己情報量   の期待値

 

 エントロピーと呼ぶ(平均情報量シャノン情報量情報論のエントロピーとも)。

ただし、ここでP(A)=0のときは、 とみなす。これは であることによる。

また有限集合U上の値を取る確率変数   が確率分布   に従う場合には、 エントロピーH(X)=H(P)によって定める。すなわち、

 

  よりエントロピーは常に非負の値(または無限大)を取る。

xyがそれぞれ確率変数XYに従う場合には、組 も確率変数とみなせる。この確率変数を  、この組の発生確率すなわち同時確率  とすると、  のエントロピー  

 

になる。これを結合エントロピーと呼ぶ。

  が互いに独立な確率変数である場合には、   に一致する。すなわち、全体の情報量   は、それぞれの確率変数の情報量の和である。

しかし、XYが互いに独立ではない場合は、   は一致せず、前者より後者の方が大きい値になる。両者の情報量の差を相互情報量と呼び、

 

で表す。相互情報量は常に非負の値になる。

事象Bが生じているという条件下における事象Aの条件付き情報量 によって定める。確率変数Xが与えられたとき、事象「 」の条件付き情報量 xに関する平均値を条件付きエントロピーといい、

 

で表す。

さらに確率変数Yが与えられたとき、事象「 」が生じているという条件下における事象「 」の条件付きエントロピー yに関する平均値

 

も、やはり条件付きエントロピーと呼ぶ。

エントロピーの基本的性質 編集

  • 情報量は確率だけによって決まる。
  • 情報量は非負の値または無限大を取る。
  • nビットのビット列の空間(情報源)から(一様ランダムとは限らない方法で)ランダムにビット列を選んだときのエントロピーは、n以下になる。エントロピーがnになる必要十分条件は、ビット列が一様ランダムに選ばれることである。
  • 確率変数XとYが独立である必要十分条件は、 が成立することである。

コイン投げの例 編集

あるコインを投げたときに表が出る確率を  、裏が出る確率を   とする。このコインを投げたときに得られる平均情報量(エントロピー)は、

 

である。

この関数 エントロピー関数と呼ぶ。

 

図を見ると分かるように、   では   はゼロである。つまり、コインを投げる前から裏または表が出ることが確実に分かっているときに得られる平均情報量は、ゼロである。  が最大になるのは   のときであり、一般にすべての事象(できごと)が等確率になるときにエントロピーが最大になる。

連続系のエントロピー 編集

実数値を取る確率変数Xの確率密度関数をp(x)とするとき、Xのエントロピーを

 

によって定義する。

Xが有限集合に値を取る確率変数である場合には、Xのシャノン情報量 も定義できる。Xn通りの値を取るとき、  は、

 

を満たす。

ただし、ここで n元集合上の一様分布とする(すなわち )。

Renyiエントロピー 編集

 を、台が有限集合である確率空間とする。P 上の確率分布とし、 を非負の実数とする。

 のとき、Pのdegee  Renyiエントロピー

 

によって定義する。 また、 の場合には、Renyiエントロピーを

 

によって定義する。

単にRenyiエントロピーと言った場合は を意味することも多い。

さらに、確率変数Xが確率分布Pに従うとき、  によって定義する。

Renyiエントロピーは以下の性質を満たす:

  •   が成立する。
  •   はシャノン情報量   と一致する。
  •   が2以上の整数の場合には、   が成立する。ここで、   は確率分布   に従う独立同一分布であって、    をそれぞれ  に従って選んだときに  が成立する確率とする。
  •   が成立する。この  minエントロピーともいう。

歴史 編集

「エントロピー」の概念は1865年ルドルフ・クラウジウスがギリシャ語の「変換」を意味する言葉を語源として、熱力学における気体のある状態量として導入した。これは統計力学では微視的な状態数の対数に比例する量として表される。1929年にはレオ・シラードが、気体についての情報を観測者が獲得することと統計力学におけるエントロピーとの間に直接の関係があることを示し、現在 1 ビット(1 シャノン)と呼ぶ量が統計力学で k ln 2 に対応するという関係を導いていた[1]

現在の情報理論におけるエントロピーの直接の導入は1948年クロード・シャノンによるもので、その論文『通信の数学的理論』でエントロピーの概念を情報理論に応用した[2]。シャノン自身は熱統計力学でこの概念と関連する概念がすでに使われていることを知らずにこの定義に到達したが、その名称を考えていたとき同僚フォン・ノイマンが、熱統計力学のエントロピーに似ていることから示唆したもので、フォン・ノイマンは「統計エントロピーが何なのかを理解してる人は少ないから、議論になったら有利であろう」と語ったとされる[3][4]。しかしシャノンはフォン・ノイマンとの会話は認めつつその影響を否定している[5]

なお、シャノン以前にもラルフ・ハートレー1928年に、集合Aに対して という量を考察している(“ ”はA元数)。 A上の一様分布のエントロピーに一致する。現在では、 Aハートレー・エントロピーと呼ぶ[6]

単位 編集

情報量は本来無次元の量である。しかし、対数の底として何を用いたかによって値が異なるので,単位を付けて区別している。前述のように、情報量は確率の逆数の桁数の期待値なので、単位も桁数のそれを流用する。この為、対数の底として2、e、10を選んだときの情報量の単位は、それぞれビット(bit)、ナット(nat)、ディット(dit)である。

また、今のところ主流ではないものの、1997年に日本工業規格 JIS X 0016:1997(これは国際規格 ISO/IEC 2382-16:1996と一致している)は、これらの量を表す単位を別に定めている。

対数の底と単位
通常の単位 JISおよびISOが定めた単位 備考
2 ビット (bit) シャノン (shannon) lb, 二進対数
e=2.718… ナット (nat) ナット (nat) ln, 自然対数
10 ディット (dit) ハートレー (hartley) lg, 常用対数

単位「シャノン」、「ハートレー」の名称は、それぞれ情報量の概念を提案したクロード・シャノンラルフ・ハートレーにちなむ。

脚注 編集

  1. ^ Szilard, L. (1929) "Über die Entropieverminderung in einem Thermodynamischen System bei Eingriffen Intelligenter Wesen", Zeitschrift für Physik 53:840–856
  2. ^ Cover & Thomas 2006, Historical Notes.
  3. ^ 『ファインマン計算機科学』 p. 96 ファインマンによる脚注*8で、「言い伝えによれば」と断りのうえでこの説を紹介している。
  4. ^ 韓太舜、小林欣吾『情報と符号の数理』
  5. ^ CLAUDE E. SHANNON: An Interview Conducted by Robert Price, 28 July 1982
  6. ^ なお、JIS X 0016:1997 で定義される選択情報量(decision content)も同じ定義である。「互いに排反な事象から成る有限集合中の事象の数の対数。」

参考文献 編集

  • Shannon entropy calculator (English)
  • A Mathematical Theory of Communication Shannon 1948 (English)
  • Cover, Thomas M.; Thomas, Joy A. (2006). Elements of information theory (Second ed.). John Wiley & Sons. ISBN 978-0-471-24195-9. MR2239987. https://books.google.com/books?id=VWq5GG6ycxMC 

関連項目 編集

外部リンク 編集