Ak máme pravdepodobnostný priestor (X,e,j)(X, e, j)(X,e,j) a informáciu:
- j(A)=−logP(A)j(A) = – \log P(A)j(A)=−logP(A)
môžeme uvažovať o entropii pokusu
- P={A1,…,An}P = \{A_1, …, A_n\}P={A1,…,An}
s pravdepodobnosťami P(A1),…,P(An)P(A_1), …, P(A_n)P(A1),…,P(An).
Shannonova formula
H(P)=∑j(Ai)⋅P(Ai)=−∑P(Ai)logP(Ai)H(P) = \sum j(A_i) \cdot P(A_i) = – \sum P(A_i)\log P(A_i)H(P)=∑j(Ai)⋅P(Ai)=−∑P(Ai)logP(Ai)