Aritalab:Lecture/Basic/Entropy
From Metabolomics.JP
< Aritalab:Lecture | Basic(Difference between revisions)
(New page: ==情報学におけるエントロピー== エントロピーという概念は物理学で提案されました。Claude Shannon が平均情報量を、情報のエントロピーと...) |
m |
||
| Line 4: | Line 4: | ||
===シャノン情報量=== | ===シャノン情報量=== | ||
| − | ある物事が起きる確率を ''p'' とするとき、その事象が起きたことによって得られる情報量を | + | ある物事が起きる確率を ''p'' とするとき、その事象が起きたことによって得られる情報量を − log ''p'' と定義します。 |
確率は 0 から 1 までの値をとるので情報量は正の値になり、起こりにくい (pが小さい) 事象ほど情報量が多くなります。 | 確率は 0 から 1 までの値をとるので情報量は正の値になり、起こりにくい (pが小さい) 事象ほど情報量が多くなります。 | ||
| − | + | 対数をとる理由は確率の桁数を（大雑把に）情報量としよう、というだけです。対数の底は何でもよいのですが通常は 2 で考えます。 | |
| − | + | ||
| − | + | ここでは物事が起きる確率を考えているので、他の事象も起きる可能性があります。そこで確率分布 P に対する情報量を以下のように定義します。 | |
| − | : H(P) = | + | : H(P) = − Σ<sub>i</sub> P(i) log P(i) |
ただし P(''i'') は事象 i が起きる確率です。これを平均情報量、または P のエントロピーと呼びます。 | ただし P(''i'') は事象 i が起きる確率です。これを平均情報量、または P のエントロピーと呼びます。 | ||
Latest revision as of 14:34, 8 November 2010
[edit] 情報学におけるエントロピー
エントロピーという概念は物理学で提案されました。Claude Shannon が平均情報量を、情報のエントロピーとして紹介したために情報学でもよく使われる言葉になりました。（この名前をShannonに提案したのはvon Neumannらしいです。）
[edit] シャノン情報量
ある物事が起きる確率を p とするとき、その事象が起きたことによって得られる情報量を − log p と定義します。 確率は 0 から 1 までの値をとるので情報量は正の値になり、起こりにくい (pが小さい) 事象ほど情報量が多くなります。 対数をとる理由は確率の桁数を（大雑把に）情報量としよう、というだけです。対数の底は何でもよいのですが通常は 2 で考えます。
ここでは物事が起きる確率を考えているので、他の事象も起きる可能性があります。そこで確率分布 P に対する情報量を以下のように定義します。
- H(P) = − Σi P(i) log P(i)
ただし P(i) は事象 i が起きる確率です。これを平均情報量、または P のエントロピーと呼びます。
