Количественная оценка информации
жүктеу/скачать 410,5 Kb.
|
ÑнÑÑÐ¾Ð¿Ð¸Ñ 2
Шығын,Өнім бағасы, икемділік, Qкр-10есеп (1), Алкандар 1, Основы реферат, СРС1, 2. Тема 2, 1. Тема 1, Тмоги, 2 лекÑиÑ, 2 лекÑиÑ, Методические указания к семинарским занятиям и срсп для студенто, Неделя 5. СРО, 1. М дениет т сінігіні алыптасу тарихы м дениетті м нін ж не, 01 Naurzbayeva final, Саяси партиялар, Болат Дана 21-РТК-1, Кесте - ғалымдар
ГЛАВА 3. КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОРМАЦИИ§ 3.1. ЭНТРОПИЯ КАК МЕРА НЕОПРЕДЕЛЕННОСТИ ВЫБОРА Ранее отмечалось, что факт получения информации всегда связан с уменьшением разнообразия или неопределенности. В данной главе ставятся задачи установления количественных мер неопределенности и информации и выяснения их основных свойств. Начнем рассмотрение с источника информации, который может в каждый момент времени случайным образом принять одно из конечного множества возможных состояний. Такой источник называют дискретным источником информации. При этом принято говорить, что различные состояния реализуются вследствие выбора их источником. Каждому состоянию источника и ставится в соответствие условное обозначение в виде знака (в частности, буквы) из алфавита данного источника: u1, u2, ..., uN. Для получения результата выбора источником и конкретного состояния можно высказать ряд предположений, базирующихся на априорных сведениях об источнике информации. Поскольку одни состояния выбираются источником чаще, а другие реже, то в общем случае он характеризуется ансамблем U, т. е. полной совокупностью состояний с вероятностями их появления, составляющими в сумме единицу: причем Обе формы записи используются в дальнейшем на равных основаниях. Опираясь на эти сведения, введем сначала меру неопределенности выбора состояния источника. Ее можно рассматривать и как меру количества информации, получаемой при полном устранении неопределенности относительно состояния источника. Мера должна удовлетворять ряду естественных условий. Одним из них является необходимость монотонного возрастания с увеличением возможностей выбора, т. е. числа возможных состояний источника N, причем недопустимые состояния (состояния с вероятностями, равными нулю) не должны учитываться, так как они не меняют неопределенности. Ограничиваясь только этим условием, за меру неопределенности можно было бы взять число состояний, предположив, что они равновероятны. Однако такая мера противоречит некоторым интуитивным представлениям. Например, при N=1, когда неопределенность отсутствует, она давала бы значение, равное единице. Кроме того, такая мера не отвечает требованию аддитивности, состоящему в следующем. Если два независимых источника с числом равновероятных состояний N и Μ рассматривать как один источник, одновременно реализующий пары состояний nimj, то естественно предположить, что неопределенность объединенного источника должна равняться сумме неопределенностей исходных источников. Поскольку общее число состояний объединенного источника равно ΝΜ, то искомая функция должна удовлетворять условию Соотношение (3.2) выполняется, если в качестве меры неопределенности источника с равновероятными состояниями и характеризующего его ансамбля U принять логарифм числа состояний: Тогда при Ν= 1 H(U) = 0 и требование аддитивности выполняется. Указанная мера была предложена американским ученым Р. Хартли [31] в 1928г. Основание логарифма не имеет принципиального значения и определяет только масштаб или единицу неопределенности. Так как современная информационная техника базируется на элементах, имеющих два устойчивых состояния, то обычно выбирают основание логарифма равным двум. При этом единица неопределенности называется двоичной единицей или битом и представляет собой неопределенность выбора из двух равновероятных событий (bit — сокращение от англ. binary digit — двоичная единица). Если основание логарифма выбрать равным десяти, то неопределенность получим в десятичных единицах на одно состояние (битах). жүктеу/скачать 410,5 Kb. Достарыңызбен бөлісу:
|