ПОӘК042-18-12 53/03-2013 18. 09. 2013 ж. №1 басылым
жүктеу/скачать 2,35 Mb.
|
 (2.5)
pi символ ықтималдылығының әртүрлі мәнінің жағдайын қарастырайық. Бұл жағдайда әрбір символ беретін ақпараттың саны мен анықсыздығы алфавиттің әртүрлі символдары үшін әр қилы.  (2.6)
2.6 формуласынан ақпарат саны екіні көрініп тұр. Бір құбылыстың (немесе хабар символының) орташа ақпараттылығын бағалау маңызды. Ықтималдыққа сәйкестігі есебінен Hi мәнін орташалай отырып, келесі формуланы аламыз  (2.7)
Бұл өлшемді энтропия деп атайды. Энтропия келесі құрамдардан тұрады: Ол теріс емес; (  ) бастапқы мәндердің біркелкі ықтималдылығы кезінде максимумға жетеді. Бұл жағдайда 
Ол минималды және  и  кезде нөлге тең.
сонымен, Pi ықтималдығын ерекшелеу есебінен хабартағы бір құбылыс немесе бір символдың бастапқы мәнінің орташа ақпараттылығы 2.8. формула бойынша анықталуы мүмкін I = (2.8)
Осы кезде апостериорды (тәжірибеден кейін) анықсыздық жоқ деп есептеледі, ал статистикалық байланыстар есептелмейді. Бұл Шеннонмен ұсынып, дамытылды. Энтропияны ақпараттың статистикалық өлшемі деп те атайды. (2.8) формуласы бойынша символдардың ақпараттылығын бағалау шартсыз ықтималдылыққа негізделген. Сәйкесінше, Н(1) энтропияны шартсыз деп атайды. Хабартардағы көрші символдар көбінесе бір-біріне тәуелді болатыны анық. Мысалы, орыс тіліндегі мәтінде дауысты әріптің пайда болуы ықтималдығы ұлғаяды, егер алдыңғысы дауыссыз болса және егер оның алдында екі дауыссыз әріптер қатарынан тұрса, ықтималдық одан да жоғары болады. Бұл жағдайда энтропия өлшемі келесі формула бойынша есептеледі: I =  (2.9)
Каталог: ebook -> umkd umkd -> Мамандығына арналған Сұлтанмахмұттану ПӘнінің ОҚУ-Әдістемелік кешені umkd -> Қазақстан Республикасының umkd -> Қазақстан Республикасының umkd -> Студенттерге арналған оқу әдістемелік кешені umkd -> ПӘннің ОҚУ Әдістемелік кешені 5В011700 «Қазақ тілі мен әдебиеті» мамандығына арналған «Ұлы отан соғысы және соғыстан кейінгі жылдардағы қазақ әдебиетінің тарихы (1941-1960)» пәнінен ОҚытушыға арналған пән бағдарламасы umkd -> «Балалар әдебиеті» пәніне арналған оқу-әдістемелік материалдар 2013 жылғы №3 басылым 5 в 050117 «Қазақ тілі мен әдебиеті» umkd -> ПӘннің ОҚУ-Әдістемелік кешенінің umkd -> 5 в 011700- Қазақ тілі мен әдебиеті umkd -> 5 в 011700- Қазақ тілі мен әдебиеті umkd -> «Филология: қазақ тілі» мамандығына арналған жүктеу/скачать 2,35 Mb. Достарыңызбен бөлісу:
|