V teórii pravdepodobnosti a informačnej teórii zohráva entropia významnú úlohu ako meradlo neurčitosti alebo informačného obsahu náhodného javu. Ak máme pravdepodobnostný priestor (X, 𝓔, P), kde X je množina možných výsledkov, 𝓔 je σ-algebra príslušných udalostí a P je pravdepodobnostná miera, môžeme definovať informáciu priradenú udalosti A ∈ 𝓔 nasledovne:
- j(A) = −log P(A)
Táto hodnota j(A) vyjadruje informačný obsah udalosti A, pričom pri bežnej praxi sa logaritmus počíta v základe 2, čím je výsledná jednotka bit.
Definícia entropie náhodného pokusu
Nech P = {A₁, A₂, …, Aₙ} je rozpis vzájomne disjunktných a vyčerpávajúcich udalostí v pravdepodobnostnom priestore s pravdepodobnosťami P(A₁), P(A₂), …, P(Aₙ). Entropia tohto pokusu vyjadruje očakávaný (stredný) informačný obsah výsledku náhodného javu a je definovaná ako stredná hodnota náhodnej premennej j(A):
- H(P) = E(j) = ∑i=1n j(Ai) ⋅ P(Ai)
Shannonova entropia
Na základe vyššie uvedenej definície a substitúcie za j(Ai) = – log P(Ai) dostávame klasickú formulu Shannonovej entropie:
H(P) = −∑i=1n P(Ai) log P(Ai)
Táto veličina vyjadruje priemerné množstvo informácie obsiahnuté v správe generovanej náhodným javom, pričom platí, že entropia nadobúda maximálnu hodnotu, keď sú všetky pravdepodobnosti rovnaké (t.j. distribúcia je rovnomerná), a jej hodnota je nulová, ak je výsledok istý (pravdepodobnosť jednej udalosti je 1 a ostatných 0).
Význam entropie vo vede a technike
Entropia sa využíva nielen v informačnej teórii, ale aj v štatistike, kryptografii, spracovaní signálov a ďalších oblastiach, kde je potrebné kvantifikovať neistotu alebo množstvo obsiahnutých informácií. Tento koncept pomáha optimalizovať kódovanie dát, hodnotiť kvalitu modelov a analyzovať komplexnosť systémov.
Rozšírené aplikácie entropie
Znalosť entropie umožňuje napríklad navrhnúť efektívne komunikačné kanály či algoritmy strojového učenia. V bioinformatike sa entropia používa na meranie variability genetických sekvencií, v ekonómii na hodnotenie neistoty na trhoch a v fyzike na opis termodynamickej neusporiadanosti systémov.
