Энтропия хабарламаның анықталамаған мөлшері ретінде

Хабарламаны алу нәтижесінде ақпаратты алудың міндетті шарты қандай хабарлама берілетіндігі анықталмаған болып табылады.

Бұл жағдайда хабарламаны беру нәтижесіндегі, ақпарат саны неғұрлым көп болса соғұрлым анықталмағандық та көп болады.

Ақпаратты алу механизімін қарастырайық:

БЕРГЕНГЕ ДЕЙІНГІ АНЫҚТАЛМАҒАНДЫҚ

БЕРГЕННЕН КЕЙІНГІ АҚПАРАТ

Сонымен, Шеннон бойынша анықталмағандық–ол энтропия. Н міндеті.

H(x_i) = log 1/p(x_i). (4)

Энтропия және ақпарат теңдеуі ұқсайды, бірақ мәні әр-түрлі. Энтропия-априорлық сипаттама (бергенге дейін), ақпарат-апостериорлық сипаттама (бергеннен кейін).

Ақпарат теориясының негізінде Шеннон ұсынған, бір кездейсоқ шамада соған қатысты келесі кездейсоқ шама жататын ақпарат көлемін өлшеу тәсілі жатыр. Бұл тәсіл ақпарат көлемін санмен сипаттауға мүмкіндік береді. P(X=Xi)= pi, P(Y=Yj)= qj үлестірім заңымен және P(X=Xi, Y=Yj)= pij біріккен үлестірілімен берілген Х және Y кездейсоқ шамасы үшін, Y-ке қатысты Х-те жататын ақпарат көлемі мынаған тең:

(6)

px(t1), py(t2) және pxy(t1,t2) ықтималдылығымен үлестірілген Х және Y үздіксіз кездесоқ шамасы үшін формула мына түрде болады:

• 
  I(X, Y)≥0, I(X, Y)=0 <=> Х және Y тәуелсіз;
  
• 
  I(X, Y)= I(Y, X);
  
• 
  HX=0 <=> X- константа;
  
• 
  I(X, Y)=HX+HY-H(X,Y) , где ;
  
• 
  I(X, Y)≤ I(X, X).