Informácie a jej prenos

Informácia a jej prenos

Definícia a význam miery informácie

Nosič informácie predstavujú výroky, signály alebo iné entity, ktoré nesú určitú informáciu v telekomunikačných prenosoch. Výroky niesúce informáciu môžeme skúmať z rôznych hľadísk, ako sú významové (schématické), kvantitatívne (objemové), pravdivostné a ďalšie.

Z kvantitatívneho hľadiska je dôležité uvažovať o množstve informácie, predovšetkým z pohľadu kapacity prenosových sietí. Každý výrok sa vzťahuje k určitému javu, čím vzniká korešpondencia medzi výrokmi a javmi. Pre analýzu stačí kvalifikovať javy podľa množstva informácie, teda podľa výrokov alebo javov.

Merať informáciu, výrok a jav

Vznikajú otázky týkajúce sa merania informácie:

• Ako presne merať informáciu, výrok alebo jav?
• Je možné merať všetky javy rovnakým spôsobom?
• Čo vlastne znamená pojem miera?

Z teoretického pohľadu všetky systémy objektov merateľných určitým spôsobom tvoria štruktúru – množinu prvkov s definovanými vlastnosťami. Tieto matematiké štruktúry sú základom na definovanie miery informácie.

Matematické štruktúry a algebra informácie

Množina javov pri hode kockou je X = {{1}, {2}, …, {6}}, ktorá tvorí konečný počet elementárnych javov. Podľa matematickej teórie je systém podmnožín množiny X algebra, ktorá spĺňa určité axiomatické vlastnosti. Je možné definovať okruh a algebru množín, na ktorých sa zakladá mierová teória informácie.

Definícia a vlastnosti mierových funkcií

• Funkcia definovaná na systéme podmnožín množiny X, nadobúdajúca reálne hodnoty, sa nazýva množinová funkcia.
• Konečná množinová funkcia je taká, ktorú je možné spočítať na konečnom množstve podmnožín.
• Aditívna množinová funkcia j spĺňa podmienky: j(∅) = 0 a pre disjunktné A, B platí j(A ∪ B) = j(A) + j(B).
• S-algebra je systém podmnožín množiny X, na ktorom je definovaná s-aditívna a nezáporná funkcia nazývaná miera.

Problémy aditivity a pseudoaditivity miery informácie

Miera informácie j nie je striktne aditívna, čo demonštrujú príklady z pravdepodobností disjunktných javov:

• E – pri hode kockou padla párna hodnota
• F – padla hodnota 3

Súčet miery informácie j(E ∪ F) je menší ako sumár hodnôt j(E) + j(F), čo vedie k definícii pseudoaditivity s rovnicou j(E ∪ F) = j(E) + j(F) za špecifických podmienok.

Vlastnosti miery informácie

• Klesajúca funkcia voči pravdepodobnosti
• Operácie sú komutatívne, asociatívne a distributívne
• Hodnota miery celej udalosti j(W) = 0
• j(A) + j(B) = 0 pre doplnkové javy A a B
• Spojitá funkcia
• j(E ∩ F) = j(E) + j(F) pre nezávislé javy

Definícia miery informácie pomocou operácie °

Pre konštantu k > 0 a bázu a definujeme mieru informácie podľa vzorca:

j(E) = -k · log_a P(E)

Najčastejšie používané jednotky sú:

• bit pre a = 2 (Shannonova mierka)
• nat pre a = e ≈ 2,718

Príkladom je hodnota informácie menšia pre väčšie javy, pretože zjavné udalosti prinášajú menej prekvapení.

Entropia ako mierka neurčitosti a výdatnosti informácie

Entropia predstavuje strednú hodnotu množstva informácie získanej z náhodného pokusu. Ide o centrálny pojem teórie informácií, ktorý reflektuje neurčitosť zdroja informácie alebo výťažnosť pokusu.

Formálna definícia entropie

Pri pravdepodobnostnom priestore (X, ℰ, P) a množine rozkladu pokusu P = {A₁, …, Aₙ} s pravdepodobnosťami P(Aᵢ) možno entropiu definovať:

H(P) = − Σ P(Aᵢ) · log P(Aᵢ)

Táto hodnota vyjadruje očakávané množstvo informácie získanej o priebehu náhodného procesu.

Axiomatická definícia entropie podľa Fadejeva

• A₀: Funkcia H je definovaná pre pravdepodobnostné vektory s ne-negatívnymi prvkami súčtu 1 a nadobúda reálne hodnoty.
• A₁: Kontinuita funkcie H v každej premennnej.
• A₂: Symetria funkcie H voči permutáciám pravdepodobnostných rozkladov.
• A₃: Princíp vetvenia – rozklad so zloženým výsledkom zvyšuje entropiu podľa váhy podmnožín.

Shannonova entropia a jej vlastnosti

Shannonova entropia je jediná funkcia vyhovujúca axiomatike Fadejeva, vyjadrená vzorcom:

H(P) = – Σ P(Aᵢ) log P(Aᵢ)

• H(1, 0) = 0, čo znamená, že entropia určitej udalosti je nulová.
• Pridanie udalosti s nulovou pravdepodobnosťou nemení hodnotu entropie.

Praktický príklad využitia entropie

Máme 27 guličiek, z ktorých 26 je rovnakých a 1 ťažšia. Pomocou váh vyhľadávame ťažšiu guličku. Minimálny počet vážení potrebný na identifikáciu je:

H = log₂ 27 ≈ 4,75

Čiže postačia približne 5 vážení.

Typy pripojenia pre prenos informácie

• Simplexný prenos: jednosmerný prenos informácie
• Duplexný prenos: obojsmerný, súčasný prenos v oboch smeroch
• Poloduplexný prenos: obojsmerný, prenos je možný len jedným smerom v určitom čase

Matematický popis signálov prenášajúcich informáciu

Prenos informácie je realizovaný signálmi definovanými v aplikovanej oblasti. Signál je fyzikálna veličina nesúca informáciu. Matematicky môžeme signály definovať ako funkcie, napríklad komplexné funkcie závislé od času.

Metódy definovania vzdialenosti medzi signálmi

1. Vzdialenosť amplitúd v danom okamihu: d(x, y) = |x – y|, kde x, y sú amplitúdy signálov.
2. Hammingova vzdialenosť: Pre kódové slová x a y z množiny symbolov {0,1} sa vzdialenosť vypočíta ako počet bitov na rozdielnych pozíciách.
3. Funkcionálna vzdialenosť v priestore komplexných funkcií: Miera odlišnosti signálov na určitej časovej perióde.

Kódovanie informácie prenášanej v signáloch

Kódovanie predstavuje proces priraďovania postupnosti signálov množine správ. Efektívne kódovanie je zásadné pre spoľahlivý prenos informácie cez šumové kanály.

Typy kódovaných sústav

• Spojité sústavy: prenášajú informáciu z nekonečnej množiny do nekonečnej množiny signálov (napr. AM, FM modulácie)
• Dskrétny digitálny prenos: z konečnej množiny informácií do konečnej množiny kódových slov (napr. binárne kódy)

Numerická modulácia a jej využitie

Numerická modulácia zahŕňa prevod spojitých analógových signálov na diskretizované sekvencie prostredníctvom vzorkovania, kvantovania a binárneho kódovania.

Aplikácie numerických modulácií

• Telefónne prenosy – pásmo 300–3400 Hz vzorkované frekvenciou 8 kHz
• Audio prenos – frekvencia vzorkovania 32 kHz s rôznym počtom bitov kvantovania
• Video prenos – vysoké vzorkovacie frekvencie a kvantovanie na 8–9 bitov

Kódovanie a teória kódov

Kódovanie optimalizuje prenosové vlastnosti správ prispôsobením na špecifiká komunikačných kanálov. Definujeme kód ako pravidlo priraďujúce každej správe jedinečné kódové slovo.

Typy kódov a ich vlastnosti

• Binárny kód: optimálny z hľadiska zložiek a implementácie, s veľkosťou základne 2
• Plný kód: obsahu všetky možné kódové slová
• Optmálny nerovnomerný kód: jednotky rôznej dĺžky slov s nulovou redundantnosťou a jednoznačnou dekódovateľnosťou

Príklad Huffmanovho kódovania

Pomocou Huffmanovej metódy sa zostaví kódovací strom na základe pravdepodobností výskytu znakov, čím vznikajú kódové slová s dĺžkou úmernou ich frekvencii. Táto metóda zabezpečuje kompresiu dát pri zachovaní jednoznačnosti dekódovania.

Modulácie signálov

Modulácie signálov predstavujú základný nástroj pre efektívny prenos informácií v rôznych typoch komunikačných systémov. Výber vhodnej modulácie závisí od charakteristík prenosového kanála, požadovanej kvality signálu a dostupných technológií.

Znalosť teórie informácií, entropie a kódovania umožňuje navrhovať systémy, ktoré minimalizujú chybovosť a maximalizujú efektivitu prenosu, čím sa zabezpečuje spoľahlivá komunikácia aj v náročných podmienkach.