" Предмет и основные понятия информатики"



бет8/24
Дата19.09.2022
өлшемі64,8 Kb.
#149870
түріЗакон
1   ...   4   5   6   7   8   9   10   11   ...   24
Байланысты:
barvenov 5 (1)

Подход К. Шеннона


Клод Шеннон основывается на теоретико–вероятностном подходе. Это связано с тем, что исторически шенноновская теория информации выросла из потребностей теории связи, имеющей дело со статистическими характеристиками передаваемых сообщений и каналов связи.
Пусть существует некоторое конечное множество событий (состояний системы): X={x1, x2, …, xN}, которые могут наступать с вероятностями: p(xi), соответственно, причем множество вероятностей удовлетворяет естественному условию нормировки:
Исходное множество событий характеризуется некоторой неопределенностью, т.е. энтропией Хартли, зависящей, как мы видели выше, только от мощности множества. Но Шеннон обобщает это понятие, учитывая, что различные события в общем случае не равновероятны. Например, неопределенность системы событий: {монета упала "орлом", монета упала "решкой"}, значительно выше, чем неопределенность событий: {монета упала "орлом", монета упала "ребром"}, так как в первом случае варианты равновероятны, а во втором случае вероятности вариантов сильно отличаются:


(4
. 1)

Если измерять количество информации изменением степени неопределенности, то шенноновское количество информации численно совпадает с энтропией исходного множества:




(4
. 2)

4.2.3. СВЯЗЬ ФОРМУЛ К. ШЕННОНА И Р. ХАРТЛИ


Следуя [391], приведем вывод выражения Шеннона (4.2) непосредственно из выражения Хартли для количества информации: I=Log2(N).
Пусть события исходного множества мощности N равновероятны:

тогда учитывая, что


непосредственно из формулы Хартли получаем




Остается предположить, что это выражение верно и для случая, когда события неравновероятны [391]. В этом предположении и состоит обобщение Клода Шеннона, составившее целую эпоху в развитии современной теории информации.


В 1948 году Шенон предложил следующий способ измерения количества информации. Пусть X - случайная величина, принимающая значения x1, x2, x3,…, xn c вероятностью p1, p2, p3,…, pn, и Y- случайная величина, принимающая значения y1, y2, y3,…, yn c вероятностью q1, q2, q3,…, qn. Тогда информация I(X,Y) относительно Y, содержащаяся в X, определяется формулой

I ( X , Y ) 
ij
pij
log 2
pij pi q j

где pij — вероятность совмещения событий Х = xi и Y= yj.
Свойства информации: 5. I(X, Y)≥0,
6. I(X, Y) = 0 при pij = pi qj т.е. X, Y – независимые события, 7. I(X, Y) = I(Y, X),
8. I(X, Y) = H(X) + H(Y) – H(X, Y), где H – информационная энтропия, H(X) = ∑ pi log2 (1/pi), H(Y) = ∑ qj log2 (1/qj), H(X, Y) = ∑ pij log2 (1/pij).
Величина энтропии показывает среднее число знаков, необходимых для различия (записи) возможных значений случайной величины. Это позволяет понять роль количества информации при хранении информации в запоминающих устройствах.
Если величины X,Y – независимые, то для записи Х требуется в среднем H(X) двоичных знаков, для записи Y – H(Y), а для пары (X,Y) надо H(X)+H(Y) двоичных знаков.

Если величины X,Y зависимы, то среднее число двоичных знаков оказывается меньше: H(X,Y)=H(X)+H(Y)-I(X,Y).


Достарыңызбен бөлісу:
1   ...   4   5   6   7   8   9   10   11   ...   24




©engime.org 2024
әкімшілігінің қараңыз

    Басты бет