エントロピー
エントロピーとは、本来熱力学の気体の属性の一つだったが、研究が進むにつれ気体から得られる情報に関係があることが指摘され、情報理論に応用されるようになった。一般に「乱雑さ」を表すと解釈されている。
熱力学におけるエントロピー
マクロな系への熱の移動を表す示量性状態量。ある系に熱量が与えられて、その絶対温度がTになったとき、この系のエントロピーの増加量dSは
で表される。
これは熱力学第2法則の数学的表現であり、等号は可逆変化において成立する。
また、外部からの仕事を伴わない気体の混合、あるいは拡散のみによっても エントロピーが増大することから、エントロピーは系の乱雑さを表す状態量と呼ばれることも多い。
似た用語のエンタルピーとは別な物なので注意。
統計力学におけるエントロピー
系の取りうる状態数をΩとして、ボルツマン定数をkBとした時、エントロピーSは
で表される。
情報理論におけるエントロピー
ある確率分布 をもつ確率変数 が与えられたとき、
この量 H を 確率変数 X のエントロピー という。
エントロピーは平均情報量とも呼ばれ、情報源を観測した時に得られる情報量の平均を意味する。この場合、一般的に対数の底は2を取り、その単位はビットである。
情報理論におけるエントロピーはシャノンによって考案された。
コイン投げの例
あるコインを投げた時に表が出る確率を 、 裏が出る確率を とする。 このコインを投げた時に得られる平均情報量(エントロピー)は、
である。
図を見ると分かるように、 もしくは では はゼロである。つまり、コインを投げる前から表もしくは裏が出ることが確実に分かっているため、得られる平均情報量がゼロとなる。 が最大になるのは のときであり、一般に全てが同確率になるとき(もっともランダムな状態)にエントロピーが最大になる。
ブラックホールにおけるエントロピー
ブラックホールのエントロピーは表面積に比例する。 Ｓ＝１/４Ａ
用語の歴史
エントロピーの用語は1865年、ルドルフ・クラウジウスがギリシャ語の「変換」を意味する言葉を語源に用いたのにはじまる。その後ボルツマンやギブスによって統計力学的な取り扱いがはじまった。1948年クロード・シャノンの『通信の数学的理論』によって、情報の分野へ、エントロピーの概念の転用が始まった。（参考、H・J・モロウィッツ『ピザの熱力学』)
関連項目
• 情報理論におけるエントロピー • コルモゴロフ複雑性 • シャノンの定理
