Предположим, что мы сделали декодер, который принимает 500 кбит в секунду и восстанавливает ошибки.Это значит он использует информационный поток об ошибке, который передаётся при кодировании. Скорость этого информационного потока можно посчитать исходя из распределения вероятностей события есть ошибка/нет ошибки{ 0.158655, 1-0.158655}. Энтропия этого распределения равна 0.631083, значит 500*0.631083=315.54 кбит в секунду надо тратить на избыточное кодирование, то есть на передачу информации об ошибке.