Entropia je stredná hodnota množstva informácie zo štatistického hľadiska.
Je to:
- miera informačnej výdatnosti pokusu,
- miera neurčitosti pokusu.
Hodnota j(A)j(A)j(A) predstavuje množstvo informácie, ktoré získame, ak vieme, že nastane jav AAA. Týmto uvažovaním prijímateľovi informácie prisudzujeme pasívnu úlohu. Príjemca však môže byť aj aktívny, ak vykoná pokus, pomocou ktorého zisťuje, ktorá z konečnej množiny možností nastane.
Pokus v teórii informácie
V teórii informácie definujeme pokus PPP ako konečný merateľný rozklad istého javu XXX:
- P={A1,…,An}P = \{A_1, …, A_n\}P={A1,…,An}
- Ai∈eA_i \in eAi∈e
- Ai∩Aj=∅A_i \cap A_j = \varnothingAi∩Aj=∅, ak i≠ji \neq ji=j
Pokus je tým informačne výdatnejší, čím väčšiu priemernú informáciu poskytuje.
Musíme preto pokusu PPP priradiť nezáporné číslo H(P)H(P)H(P), ktoré vyjadruje priemer hodnôt j(A1),…,j(An)j(A_1), …, j(A_n)j(A1),…,j(An). Túto hodnotu H(P)H(P)H(P) nazývame entropia.