" Предмет и основные понятия информатики"
Сравнение подходов Р. Хартли и К. Шеннона
жүктеу/скачать 64,8 Kb.
|
barvenov 5 (1)
- Бұл бет үшін навигация:
- Кодирование информации
Сравнение подходов Р. Хартли и К. ШеннонаЧрезвычайно важным и принципиальным является то обстоятельство, что для построения меры Хартли используется лишь понятие многообразие, которое накладывает на элементы исходного множества лишь одно условие (ограничение): должна существовать возможность отличать эти элементы один от другого. В теории Шеннона существенным образом используется статистика, причем предполагается, что случайные события (состояния системы) распределены по нормальному закону. Таким образом, различие между подходами Хартли и Шеннона к построению теории информации соответствует различию между непараметрическими и параметрическими методами в статистике. Если говорить более конкретно, то, очевидно, что мера Шеннона асимптотически переходит в меру Хартли при условии, что вероятности всех событий (состояний) равны. В статистике доказано фундаментальное свойство энтропии случайного процесса, состоящее в том, что при условии нормальности распределения и достаточно больших выборках все множество событий можно разделить на две основные группы: высоковероятные события (считающиеся заслуживающими изучения); маловероятные события (считаются не заслуживающими особого внимания). Причем высоковероятные события с высокой точностью равновероятны. При увеличении размерности выборки доля "заслуживающих внимания" событий неограниченно уменьшается, и мера Шеннона асимптотически переходит в меру Хартли. Поэтому можно считать, что при больших нормально распределенных выборках мера Хартли является оправданным упрощением меры Шеннона. Кодирование информацииОчевидно, что для кодирования информации достаточно использовать любые два различных значения, например, цифры 0 и 1 (да и нет, истина и ложь и т. п.). В этом случае применительно к кодировке чисел мы имеем дело с так называемой двоичной системой счисления. В общем случае, необходимо говорить о кодировке любых символов (не чисел!), не смешивая эти две разные задачи. Для измерения количества информации используют 1 бит – один символ двухбуквенного алфавита, состоящего из нулей и единиц {0, 1}. Кроме этого используются также следующие единицы: 1 байт=8 бит, 1024 байт=1 Кбайт, 1024 Кбайт=1 Мбайт, 1024 Мбайт=1 Гбайт. жүктеу/скачать 64,8 Kb. Достарыңызбен бөлісу:
|