数学-確率　　2014/-2011/11　　Yuji.W

◎

■ Claude Elwood Shannon アメリカの電気工学者、数学者。1916-2001

デジタル回路　情報理論　情報エントロピー

■ lg2(x)：底が2である対数関数  lg2(1)=0  lg2(2)=1

ln(x)：ネイピア数eを底とする対数関数

lg2(x)=[1/ln(2)]*ln(x)=(1.4426950…)*ln(x)

■ ある出来事が起きる確率P=n/m の場合、その出来事が起きた事を知る時に得られる情報量を、次のように定義する。

情報量：I=-lg2(p)=-lg2(n/m)=lg2(m)-lg2(n)

■ m通りの出来事があり、それぞれの起こる確率が等しい場合、I=-lg2(1/m)=-lg2(1)+lg2(m)=lg2(m)

■ 2通り　I=lg2(2)=1 bit
4通り　I=lg2(4)=2 bit
8通り　I=lg2(8)=3 bit
16通り　I=lg2(16)=4 bit
65536通り　I=lg2(65536)=16 bit

｛例｝確率1　I=-lg2(1)=0 bit　必ず起きる=情報量0

確率1/2　I=-lg2(1/2)=1 bit　確率半々=情報量1ビット

確率1/4　I=-lg2(1/4)=2 bit

確率1/8　I=-lg2(1/8)=3 bit

確率1/16　I=-lg2(1/16)=4 bit

起こりにくい -> 情報量が大きい(不確かさが大きい)

｛例｝サイコロを1回振って、ある特定の目が出る確率は、

その情報量：I=lg2(6)=1.44*ln(6)=2.58 bit

サイコロを振って、ある特定の目が出たとすると、2.58bitの情報量を得たことになる。

■ 12個の中に1個だけ重さが違う物がある。重いか軽いかはわからない。てんびんを3回だけ使って、その1個をあてる。その方法

■ 情報量を考えてみる。

12個のうち1個だけである情報量=lg2(12)=(1.4426950…)*ln(12)=3.58 bit

その1個が重いか軽いかがわかる情報量=lg2(2)=1

したがって、

12個のうち1個をあて、重いか軽いかがわかる情報量=3.58+1=4.58

1回てんびんを使うと、つりあう、左が重い、右が重いの3通りだから、

その情報量=lg2(3)=1.58496…

4.58の情報量があって、1回てんびんを使うと、情報量1.58ずつ減るから、

4.58/1.58=2.89  3回あれば、情報量は0になる。確定する。

3回てんびんを使えば、あてることができる。

■ 別々の出来事a1,a2,…で、それぞれの起こる確率をP(a1),P(a2),…とすると、

a1+a2+…=1

平均情報量(情報エントロピー)：H=-P(a1)*lg2[P(a1)]-P(a2)*lg2[P(a2)]-…

■ m通りの1出来事があり、それぞれの起こる確率が等しい場合、
平均情報量：H=-(1/m)*lg2(1/m)*m=lg2(m)

｛例｝確率　晴れ1/2 曇1/4 雨1/8 雪1/8　の時、
それぞれの情報量　晴れ1bit 曇2bit 雨3bit 雪3bit
起こりにくい出来事ほど情報量は大きい
平均情報量=1*(1/2)+2*(1/4)+3*(1/8)+3*(1/8)=14/8=7/4=1.75

｛例｝確率　晴れ1/4 曇1/4 雨1/4 雪1/4　の時、
平均情報量=2*(1/4)*4=2

■ m通りの出来事がある場合、それぞれの起こる確率が等しい場合に、
その平均情報量(情報エントロピー)は最大になる。(最も、不確か、あいまい)

｛例｝サイコロを1回振る

平均情報量H=-(1/6)*lg2(1/6)*6=lg2(6)=2.58 bit

｛例｝サイコロを1回振る。1か6が出る

平均情報量H=-(1/3)*lg2(1/3)*3=lg2(3)=1.58 bit

｛例｝天気予報　晴れ50% 曇32% 雨18%

平均情報量H=1.42*[-(1/2)ln(1/2)-0.32*ln(0.32)-0.18*ln(0.18)]

=1.42*[0.35+0.36+0.31]=1.44*1.02=1.47 bit

■ 上記の例だと、サイコロを1回振る方が、あやふや、不確かであることになる。ただし、天気予報は、サイコロが1か６が出る場合と同じ程度であることがわかる。

■ A：ブラックホールの事象の地平面の面積
h：プランク定数　G：重力定数　c：光速

エントロピーS=[k(c^3)/2hG]*A