№1. При передаче текстовых сообщений статистические наблюдения показали, что для слов со средней длиной в 6 букв на каждые 100 сообщений буква А встречается 80 раз, буква В встречается 50 раз, буквы А и В вместе встречаются 10 раз. Определить условную энтропию появления А, если в словаре присутствует В, и условную энтропию В, если в слове присутствует А.
Берілгені: 6 букв 100 сообщений Буква А 80 раз Буква В 50 раз Буквы А и В 10 раз Шешуі: Общее количество переданных букв n= 100·6 = 600. Вероятность появления буквы А р(А) = 80/600 = 0,13. Вероятность появления буквы В р(В) = 50/600 = 0,083. Вероятность появления буквы А и В р(АВ) = 10/600 = 0,016. Так как р(АВ) = р(В) р(А/В) = р(А) р(В/А), то условная вероятность появления символа А относительно символа В р(А/В) = р(АВ)/р(В) = 0,02/0,08 = 0,19. Условная вероятность появления символа В относительно символа А р(В/А) = р(АВ)/р(А) = 0,02/0,13 = 0,123. Условная энтропия символа А относительно В Н(А/В) = -∑i р(bj /ai) log2 p(bj /ai) = -{p(А/В) log2 p(А/В) + [1- p(А/В)] log2 [1- p(А/В]} = -(0,025log2 0,025 + + 0,97 log2 0,97) = 0,701 бит/буква Условная энтропия символа В относительно А Н(В/А) = -(0,1log2 0,1 + 0,9 log2 0,9) = 0,53 бит/буква
№2. Сообщения передаются двоичным кодом. В первом случае вероятности появления 0 и 1 равны соответственно p0=0,8 и p1=0,2. Помехи в канале связи отсутствуют, т.е. условные вероятности переходов 0 в 1 и 1 в 0 равны нулю. Во втором случае символы передаются с равными вероятностями p0=p1=0,5, однако в результате действия помех условные вероятности переходов равны p(1/1)=0,8; p(1/0)=0,2; p(0/0)=0,8; p(0/1)=0,2. Чему равна энтропия сообщений в первом и во втором случаях?
