Entropia ako stredná hodnota náhodnej premennej

Ak máme pravdepodobnostný priestor (X,e,j)(X, e, j)(X,e,j) a informáciu:

• j(A)=−log⁡P(A)j(A) = – \log P(A)j(A)=−logP(A)

môžeme uvažovať o entropii pokusu

• P={A1,…,An}P = \{A_1, …, A_n\}P={A1​,…,An​}

s pravdepodobnosťami P(A1),…,P(An)P(A_1), …, P(A_n)P(A1​),…,P(An​).

Shannonova formula

H(P)=∑j(Ai)⋅P(Ai)=−∑P(Ai)log⁡P(Ai)H(P) = \sum j(A_i) \cdot P(A_i) = – \sum P(A_i)\log P(A_i)H(P)=∑j(Ai​)⋅P(Ai​)=−∑P(Ai​)logP(Ai​)