definita come la riduzione di incertezza
In una comunicazione, che avviene attraverso un dato alfabeto di simboli, l’informazione viene associata a ciascun simbolo trasmesso e viene definita come la riduzione di incertezza che si poteva avere a priori sul simbolo trasmesso.
In particolare, l’informazione collegata ad un simbolo è definita come -log(2)Pi dove Pi è la probabilità di trasmissione di quel simbolo. La quantità di informazione associata ad un simbolo è misurata in bit. La quantità di informazione così definita è una variabile aleatoria discreta, il cui valor medio, tipicamente riferito alla sorgente di simboli, è detto entropia della sorgente, misurata in bit/simbolo. La velocità di informazione di una sorgente, che non coincide con la frequenza di emissione dei simboli, dato che non è detto che ogni simbolo trasporti un bit di informazione "utile", è il prodotto dell’entropia dei simboli emessi dalla sorgente per la frequenza di emissione di tali simboli (velocità di segnalazione). Quanto sopra può essere generalizzato considerando che non è assolutamente obbligatorio che ogni simbolo sia codificato in maniera binaria (anche se questo è ciò che accade più spesso). Quindi l’informazione collegata ad un simbolo codificato in base a è per definizione pari a - log(a)Pi con Pi probabilità di trasmissione associata a quel simbolo. L’entropia della sorgente è per definizione pari alla sommatoria, estesa a tutti i simboli della sorgente, dei prodotti tra la probabilità di ciascun simbolo e il suo contenuto informativo. Nei casi particolari in cui a sia 10 l’entropia della sorgente è misurata in hartley, se invece a è pari al Numero di Eulero e si misura in nat.
