Ak I(xi)I(x_i)I(xi) je množstvo informácie, ktoré potrebujeme získať, aby sme určili výskyt konkrétneho xix_ixi zo súboru XXX, a prijmeme yiy_iyi, potom podmienenú pravdepodobnosť P(xi∣yi)P(x_i|y_i)P(xi∣yi) nazývame podmienenou informáciou.
- I(xi∣yi)=−logP(xi∣yi)I(x_i|y_i) = – \log P(x_i|y_i)I(xi∣yi)=−logP(xi∣yi)
Udáva množstvo informácie, ktoré budeme potrebovať, aby sme určili xix_ixi zo súboru XXX, ak sme prijali yiy_iyi.
Množstvo informácie získané prijatím yiy_iyi je:
- I(xi)−I(xi∣yi)I(x_i) – I(x_i|y_i)I(xi)−I(xi∣yi)
Toto nazývame vzájomná informácia.