Vlastnosti miery informácie

Miera informácie nie je aditívna.

Príklad:

• EEE – pri hode kockou padla párna hodnota,
• FFF – pri hode kockou padla hodnota 3.

Potom:

• j(E∪F)<j(E)j(E \cup F) < j(E)j(E∪F)<j(E)
• j(E∪F)<j(F)j(E \cup F) < j(F)j(E∪F)<j(F)

Z analógie vieme, že môžeme nahradiť vlastnosť aditivity vlastnosťou pseudoaditivity.

Pseudoaditivita

Definuje sa za rovnakých podmienok ako aditivita:

• j(E∪F)=j(E)+j(F)j(E \cup F) = j(E) + j(F)j(E∪F)=j(E)+j(F)

Miera informácie jjj nie je aditívna množinová funkcia.

Základné vlastnosti miery informácie

• je to klesajúca funkcia,
• príslušná operácia je komutatívna,
• je asociatívna,
• je distributívna,
• j(W)=0j(W) = 0j(W)=0 pre celý priestor,
• spojitá funkcia,
• j(E∩F)=j(E)+j(F)j(E \cap F) = j(E) + j(F)j(E∩F)=j(E)+j(F) pre nezávislé javy.

Operácia a jednotky

Pre operáciu platí:

• k>0k > 0k>0,
• k=1k = 1k=1,
• parameter aaa rozhoduje, v akých jednotkách budeme pracovať.

Ak:

• a=2a = 2a=2 → jednotka bit (Shannon),
• a=e=2,7a = e = 2{,}7a=e=2,7 → jednotka nat.

Čím väčší jav, tým menšie množstvo informácie. Napríklad:

• {2}<{2,4,6}\{2\} < \{2,4,6\}{2}<{2,4,6}
• j({2})>j({2,4,6})j(\{2\}) > j(\{2,4,6\})j({2})>j({2,4,6})

Vzorec pre mieru informácie

Z definície operácie vyplýva:

j(E)=−klog⁡aP(E)j(E) = -k \log_a P(E)j(E)=−kloga​P(E)

Pre k=1k = 1k=1:

j(E)=−log⁡aP(E)j(E) = – \log_a P(E)j(E)=−loga​P(E)

Ak porovnáme mieru informácie s klasickou mierou pravdepodobnosti:

• P(E∪F)=P(E)+P(F)P(E \cup F) = P(E) + P(F)P(E∪F)=P(E)+P(F)