" Предмет и основные понятия информатики"
жүктеу/скачать 64,8 Kb.
|
barvenov 5 (1)
Подход К. ШеннонаКлод Шеннон основывается на теоретико–вероятностном подходе. Это связано с тем, что исторически шенноновская теория информации выросла из потребностей теории связи, имеющей дело со статистическими характеристиками передаваемых сообщений и каналов связи. Пусть существует некоторое конечное множество событий (состояний системы): X={x1, x2, …, xN}, которые могут наступать с вероятностями: p(xi), соответственно, причем множество вероятностей удовлетворяет естественному условию нормировки: Исходное множество событий характеризуется некоторой неопределенностью, т.е. энтропией Хартли, зависящей, как мы видели выше, только от мощности множества. Но Шеннон обобщает это понятие, учитывая, что различные события в общем случае не равновероятны. Например, неопределенность системы событий: {монета упала "орлом", монета упала "решкой"}, значительно выше, чем неопределенность событий: {монета упала "орлом", монета упала "ребром"}, так как в первом случае варианты равновероятны, а во втором случае вероятности вариантов сильно отличаются: (4 . 1) Если измерять количество информации изменением степени неопределенности, то шенноновское количество информации численно совпадает с энтропией исходного множества: (4 . 2) 4.2.3. СВЯЗЬ ФОРМУЛ К. ШЕННОНА И Р. ХАРТЛИ Следуя [391], приведем вывод выражения Шеннона (4.2) непосредственно из выражения Хартли для количества информации: I=Log2(N). Пусть события исходного множества мощности N равновероятны: тогда учитывая, что непосредственно из формулы Хартли получаем Остается предположить, что это выражение верно и для случая, когда события неравновероятны [391]. В этом предположении и состоит обобщение Клода Шеннона, составившее целую эпоху в развитии современной теории информации. В 1948 году Шенон предложил следующий способ измерения количества информации. Пусть X - случайная величина, принимающая значения x1, x2, x3,…, xn c вероятностью p1, p2, p3,…, pn, и Y- случайная величина, принимающая значения y1, y2, y3,…, yn c вероятностью q1, q2, q3,…, qn. Тогда информация I(X,Y) относительно Y, содержащаяся в X, определяется формулой I ( X , Y ) ij pij log 2 pij pi q j где pij — вероятность совмещения событий Х = xi и Y= yj. Свойства информации: 5. I(X, Y)≥0, 6. I(X, Y) = 0 при pij = pi qj т.е. X, Y – независимые события, 7. I(X, Y) = I(Y, X), 8. I(X, Y) = H(X) + H(Y) – H(X, Y), где H – информационная энтропия, H(X) = ∑ pi log2 (1/pi), H(Y) = ∑ qj log2 (1/qj), H(X, Y) = ∑ pij log2 (1/pij). Величина энтропии показывает среднее число знаков, необходимых для различия (записи) возможных значений случайной величины. Это позволяет понять роль количества информации при хранении информации в запоминающих устройствах. Если величины X,Y – независимые, то для записи Х требуется в среднем H(X) двоичных знаков, для записи Y – H(Y), а для пары (X,Y) надо H(X)+H(Y) двоичных знаков. Если величины X,Y зависимы, то среднее число двоичных знаков оказывается меньше: H(X,Y)=H(X)+H(Y)-I(X,Y). жүктеу/скачать 64,8 Kb. Достарыңызбен бөлісу:
|