Лабораторная работа №4 1 Теоретические сведения

4 ЭФФЕКТИВНОЕ КОДИРОВАНИЕ ПО МЕТОДУ ШЕННОНА-ФЭНО И 
ХАФФМЕНА 
Лабораторная работа №4 
4.1 Теоретические сведения 
Учитывая статистические свойства источника сообщения, можно 
минимизировать среднее число двоичных символов, требующихся для 
выражения одной буквы сообщения, что при отсутствии шума позволяет 
уменьшить время передачи или объем запоминающего устройства.
Такое эффективное кодирование базируется на основной теореме 
Шеннона для каналов без шума. Шеннон доказал, что сообщения,
составленные из букв некоторого алфавита, можно закодировать так, что 
среднее число двоичных символов на букву будет сколь угодно близко к 
энтропии источника этих сообщений, но не меньше этой величины. 
Теорема не указывает конкретного способа кодирования, но из нее сле-
дует, что при выборе каждого символа кодовой комбинации необходимо ста-
раться, чтобы он нес максимальную информацию. Следовательно, каждый 
символ должен принимать значения 0 или 1 по возможности с равными 
вероятностями, и каждый выбор должен быть независим от значений 
предыдущих символов. 
Эффективное 
или экономичное кодирование используется для 
уменьшения объемов информации на носителе-сигнале таким образом, чтобы 
устранить избыточность.
Для кодирования символов исходного алфавита используются двоичные 
коды переменной длины: чем больше частота символа, тем короче его код. 
Эффективность кода определяется средним числом двоичных разрядов для 
кодирования одного символа.
При эффективном кодировании существует предел сжатия, ниже 
которого не «спускается» ни один метод эффективного кодирования – иначе 
будет потеряна информация. Этот параметр определяется предельным 
значением двоичных разрядов возможного эффективного кода
где 
n- 
мощность кодируемого алфавита,
f
i
частота 
i-
го символа кодируемого алфавита.
Для случая отсутствия статистической взаимосвязи между буквами 
конструктивные методы построения эффективных кодов были даны впервые 
Шенноном и Фэно. Их методики существенно не отличаются, и поэтому 
соответствующий код получил название кода Шеннона - Фэно.