Shannonova entropia

Ukazuje sa, že funkcia HHH je jediná funkcia Shannonovho typu:

H(P)=−∑P(Ai)log⁡P(Ai)H(P) = – \sum P(A_i)\log P(A_i)H(P)=−∑P(Ai​)logP(Ai​)

V texte sa uvádzajú lemy vedúce k tomuto záveru, napríklad:

• H(1,0)=0H(1,0)=0H(1,0)=0,
• H(p1,…,pn,0)=H(p1,…,pn)H(p_1,…,p_n,0)=H(p_1,…,p_n)H(p1​,…,pn​,0)=H(p1​,…,pn​),
• pri danom nnn nadobúda funkcia HHH maximum pri rovnakých pravdepodobnostiach.

Maximum entropie

Pri danom nnn nadobúda entropia maximum:

max⁡H(P)=log⁡n\max H(P) = \log nmaxH(P)=logn

ak:

• p1=p2=…=pn=1np_1 = p_2 = … = p_n = \frac{1}{n}p1​=p2​=…=pn​=n1​

Príklady

a)

Ak:

• p(X0)=23p(X_0) = \frac{2}{3}p(X0​)=32​
• p(X1)=13p(X_1) = \frac{1}{3}p(X1​)=31​

potom:

• H(P)=−(23log⁡23+13log⁡13)H(P) = -\left(\frac{2}{3}\log \frac{2}{3} + \frac{1}{3}\log \frac{1}{3}\right)H(P)=−(32​log32​+31​log31​)

b)

Ak:

• p(X0)=12p(X_0) = \frac{1}{2}p(X0​)=21​
• p(X1)=12p(X_1) = \frac{1}{2}p(X1​)=21​

potom:

• H(P)=log⁡22=1H(P) = \log_2 2 = 1H(P)=log2​2=1 bit