Количественная оценка информации
жүктеу/скачать 410,5 Kb.
|
ÑнÑÑÐ¾Ð¿Ð¸Ñ 2
Шығын,Өнім бағасы, икемділік, Qкр-10есеп (1), Алкандар 1, Основы реферат, СРС1, 2. Тема 2, 1. Тема 1, Тмоги, 2 лекÑиÑ, 2 лекÑиÑ, Методические указания к семинарским занятиям и срсп для студенто, Неделя 5. СРО, 1. М дениет т сінігіні алыптасу тарихы м дениетті м нін ж не, 01 Naurzbayeva final, Саяси партиялар, Болат Дана 21-РТК-1, Кесте - ғалымдар
| Пример 3.7. Выстрел из орудия не поражает цель с вероятностью р. Через какое число выстрелов следует поинтересоваться у разведчика-корректировщика, уничтожена ли цель, чтобы в результате ответа получить максимальное количество информации?
Ансамбль интересующих нас событий включает: — цель поражена; — цель не поражена. Вероятность того, что цель не поражена после k выстрелов, равна . Вероятность противоположного события (1— ). Поскольку после ответа корректировщика неопределенность устраняется полностью, количество информации равно энтропии, а она максимальна при равновероятности событий. Следовательно, откуда Пример 3.8. Определить среднее количество информации, получаемое при передаче элемента сообщения по каналу, описанному матрицей совместных вероятностей передачи и приема элементов сообщения Безусловные вероятности посылаемых z и принимаемых w элементов сообщения определены при рассмотрении примера 3 4. Там же получены значения для априорной H(Z) и апостериорной энтропий. В соответствии с (3.51) § 3.7. ЭПСИЛОН-ЭНТРОПИЯ СЛУЧАЙНОЙ ВЕЛИЧИНЫ Ранее было показано, что неопределенность реализации непрерывным источником информации состояния в конкретный момент времени (отсчета) равна бесконечности. Тем более равна бесконечности неопределенность реализации непрерывным источником конкретного сигнала длительности Т. Однако такой результат получен в предположении возможности фиксировать любые сколь угодно малые различия между реализациями. На практике такая возможность отсутствует. Это объясняется тем, что воспринимающие информацию датчики, включая человека, обладают ограниченной чувствительностью и конечной разрешающей способностью, а также тем, что процесс восприятия сопровождается помехами. Если учесть, что нас интересует приближенное восприятие реализации, то количество информации, приходящееся на отсчет или на единицу времени, можно вычислить. Ограничимся рассмотрением простейшего случая, когда отдельные состояния источника информации представляют собой независимые реализации случайной величины U. (Эпсилон - энтропия случайного процесса рассмотрена в § 4.4.) Ансамбль реализаций случайной величины U описывается плотностью распределения вероятностей р(u). О значениях случайной величины U можно судить по значениям другой случайной величины Ζ, если мера их различия не превышает заданной верности воспроизведения. В этом случае говорят, что Ζ воспроизводит U. Для количественной оценки степени сходства сигналов целесообразно ввести какую-либо функцию ρ(z, u), имеющую природу «расстояния». Тогда удобным критерием верности V(Z, U) является среднее значение функции p(z, u), взятое по всему множеству значений z и u: где ρ(z, u) — плотность совместного распределения вероятностей величин Ζ и U. Наиболее широко используется среднеквадратический критерий, при котором ρ(z, u) представляет собой квадрат обычного евклидова расстояния между точками в соответствующем пространстве (см. § 2.12). Требование к верности в данном случае задается с использованием критерия V(ZU): где — условная плотность распределения — функция правдоподобия того, что конкретный сигнал u будет воспроизведен как сигнал z; ε — заданное значение верности. Так как плотность р(u) определена, то для выполнения условия (3.60) варьировать можно только условной плотностью распределения . Если случайная величина Ζ воспроизводит случайную величину U с некоторой верностью ε, то количество информации, содержащееся в воспроизводящей величине Ζ относительно U, конечно и в соответствии с (3.54) может быть записано в форме где - плотность воспроизводящей величины Ζ. Желательно обеспечить заданную верность воспроизведения при минимальном количестве получаемой информации. Поэтому среди множества функций , удовлетворяющих условию (3.60), целесообразно выбрать такую, которая обеспечивает наименьшее I(ZU) [10, 35]. Минимальное количество информации в одной случайной величине Ζ относительно другой U, при котором удовлетворяется заданное требование к верности воспроизведения величины U, называется ε-энтропией величины U и обозначается : при Используя безусловную и условную дифференциальные энтропии величины U, выражение (3.63) можно представить в виде где — условная плотность вероятности того, что в тех случаях, когда был принят сигнал z, передавался сигнал u. жүктеу/скачать 410,5 Kb. Достарыңызбен бөлісу:
|