情報源
情報理論において、情報源とは、有限個のシンボル（アルファベット）S=s1,...,sqから、ある一定の確率法則に従って出てくるシンボルの系列のことである。無記憶情報源とは、各シンボルが統計的に独立に発生する情報源である。この種の情報源は、各シンボルの生起確率P(s1),...,P(sn)が与えられることにより一意に定まる。この情報源のシンボルあたりの平均情報量のことをエントロピーという。エントロピーの最大値は、logqであり、それは各シンボルの生起確率が等しいときである。
m重マルコフ情報源とは、各シンボルの生起確率が、そのシンボルの直前に生じたm個のシンボルに依存するような情報源のことである。特に、m=1のとき、単純マルコフ情報源という。
エルゴード情報源とは、エルゴード性を満たす情報源のことである。
