ПОӘК042-18-12 53/03-2013 18. 09. 2013 ж. №1 басылым
жүктеу/скачать 2,35 Mb.
|
 (2.5)
pi символ ықтималдылығының әртүрлі мәнінің жағдайын қарастырайық. Бұл жағдайда әрбір символ беретін ақпараттың саны мен анықсыздығы алфавиттің әртүрлі символдары үшін әр қилы.  (2.6)
2.6 формуласынан ақпарат саны екіні көрініп тұр. Бір құбылыстың (немесе хабар символының) орташа ақпараттылығын бағалау маңызды. Ықтималдыққа сәйкестігі есебінен Hi мәнін орташалай отырып, келесі формуланы аламыз  (2.7)
Бұл өлшемді энтропия деп атайды. Энтропия келесі құрамдардан тұрады: Ол теріс емес; (  ) бастапқы мәндердің біркелкі ықтималдылығы кезінде максимумға жетеді. Бұл жағдайда 
Ол минималды және  и  кезде нөлге тең.
сонымен, Pi ықтималдығын ерекшелеу есебінен хабартағы бір құбылыс немесе бір символдың бастапқы мәнінің орташа ақпараттылығы 2.8. формула бойынша анықталуы мүмкін I = (2.8)
Осы кезде апостериорды (тәжірибеден кейін) анықсыздық жоқ деп есептеледі, ал статистикалық байланыстар есептелмейді. Бұл Шеннонмен ұсынып, дамытылды. Энтропияны ақпараттың статистикалық өлшемі деп те атайды. (2.8) формуласы бойынша символдардың ақпараттылығын бағалау шартсыз ықтималдылыққа негізделген. Сәйкесінше, Н(1) энтропияны шартсыз деп атайды. Хабартардағы көрші символдар көбінесе бір-біріне тәуелді болатыны анық. Мысалы, орыс тіліндегі мәтінде дауысты әріптің пайда болуы ықтималдығы ұлғаяды, егер алдыңғысы дауыссыз болса және егер оның алдында екі дауыссыз әріптер қатарынан тұрса, ықтималдық одан да жоғары болады. Бұл жағдайда энтропия өлшемі келесі формула бойынша есептеледі: I =  (2.9)
жүктеу/скачать 2,35 Mb. Достарыңызбен бөлісу:
|