Vladimir Kush
La lunghezza media di un codice è data da quanti simboli in media sono necessari per mandare un messaggio con tali simboli ossia:
dove con 
è il numero di simboli.
oppure se si conosce la lunghezza del codice:
Per efficienza si intende:
Per ridondanza si intende quindi
ossia quanto più una sorgente ha una grande entropia (ossia fornisce molte informazioni) con un alfabeto molto basso, minore è la ridondanza ossia la necessità di trasmettere segnali simili nel canale trasmissivo.