Teorie informace měří entropii zprávy průměrným počtem bitů nezbytných k jejímu zakódování při optimálním kódování (minimum bitů)
Entropie zprávy ze zdroje je - = pravděpodobnosti všech zpráv zdroje
- = počet bitů nutných k optimálnímu zakódování zprávy
- (logaritmus z pravděpodobnosti, která je <1, je záporný, proto je na začátku mínus, aby to bylo kladné)
Suma nám tedy vrací, kolik potřebujeme přibližně bitů
Entropie je počet bitů, které potřebujeme pro zakódování všech zpráv, které zdroj vyzařuje
(tedy např. pro 16 zpráv (se stejnou pravděpodobností !) potřebujeme 4 bity)
Maximální entropie
Maximální entropie nabývá zdroj, který produkuje všechny zprávy se stejnou pravděpodobností
Má-li zdroj zpráv s pravděpodobností , pak dosahuje maximální entropie
Minimální entropie
Zdroj, který produkuje vždy pouze jednu zprávu
Entropie je nulová, protože nám zdroj nikdy neposkytne žádnou novou informaci
Příklady
Příklad 1:
Mějme 2 možné zprávy - "panna" a "orel"
Mají stejnou pravděpodobnost
(tedy jeden bit)
Příklad 2:
Mějme 2 možné zprávy
"bílý" s pravděpodobností
"černý" s pravděpodobností
Tedy zprávy z tohoto zdroje obsahují v průměru necelý jeden bit informace