シャノン (単位)

シャノン（shannon、記号 Sh）は、IEC 80000-13で定められた情報量およびエントロピーの単位である。その名前はクロード・シャノンに因む。

1シャノンは、起こる確率が1⁄2の出来事が持っている情報量と定義される^[1]。また、それは同確率の2つの状態による系のエントロピーでもある。

歴史的な経緯により、データ量の単位ビットがシャノンとしばしば同じ意味で使用される。情報量とデータ量は、深く関係しているものの別の概念である。

1シャノンの情報量は、1ビットのメモリによって記憶することが出来る。nビットのビット列が一様ランダムである場合にそのビット列が持つ情報量はnシャノンであり、ビット列が一様ランダムでない場合はnシャノン未満になる^[2]。

別の言い方をすると、確率の逆数について、2を底とする対数（二進対数）を取ったものがシャノンである。ネイピア数(e)を底とする自然対数を使用したものをナット(nat)、10を底とする常用対数を使用したものをハートレー(hartley)という。シャノン・ナット・ハートレーの換算は以下のようになる。

1 shannon ≈ 0.693 nat ≈ 0.301 hartley

出典編集