Передача информации от непрерывного источника.Количество информации, получаемой от непрерывного источника по каналу с помехами, определяется так же, как в случае, рассмотренном выше, но с использованием понятия дифференциальной энтропии.
Для источника, имеющего непрерывное множество состояний, среднее количество информации, содержащееся в каждом принятом значении случайной величины относительно переданного значения случайной величины Ζ, можно получить как разность априорной и апостериорной дифференциальных энтропий:
Относительность дифференциальных энтропий в этом случае не принимается во внимание, поскольку количество информации не зависит от выбранного стандарта сравнения.
Основные свойства количества информации. 1. Несмотря на то, что частное количество информации может быть величиной отрицательной, количество информации неотрицательно.
Действительно, согласно выражению
Тогда
2. При отсутствии статистической связи между случайными величинами Ζ и W
следовательно, в этом случае
(принятые элементы сообщения не несут никакой информации относительно переданных).
3. Количество информации в W относительно Ζ равно количеству информации в Ζ относительно W.
Для доказательства этого утверждения воспользуемся выражением
Аналогично можно записать
Так как
то
откуда
4. При взаимно однозначном соответствии между множествами передаваемых и принимаемых элементов сообщений, что имеет место в отсутствии помехи, апостериорная энтропия равна нулю и количество информации численно совпадает с энтропией источника:
Это максимальное количество информации о состоянии дискретного источника. Для непрерывного источника оно равно бесконечности.
