Пәнінен оқу-әдістемелік кешен
Үзіліссіз және дискретті байланыс арналарының модельдері
жүктеу/скачать 1,17 Mb.
|
b1e92176-86b5-11e3-9ea3-f6d299da70eeОИС №3
| Үзіліссіз және дискретті байланыс арналарының модельдері
Ақпарат санының статистикалық өлшемі – энтропия Хартлимен ұсынылған ақпараттың санын анықтауға арналған (2.4) формуласы n бастапқы мәнімен құбылысқа сәйкес келетін жағдайды сипаттайды (мысалы, n көлемді алфавиттен хабар символының келіп түсуі). Бірақ барлық бастапқы мән тең (тең ықтималды) болып есептеледі. Бұл жағдайда олардың әрбіреуінің ықтималдығы және (2.4) мына түрде жазуға болады (2.5) pi символ ықтималдылығының әртүрлі мәнінің жағдайын қарастырайық. Бұл жағдайда әрбір символ беретін ақпараттың саны мен анықсыздығы алфавиттің әртүрлі символдары үшін әр қилы. (2.6) 2.6 формуласынан ақпарат саны екіні көрініп тұр. Бір құбылыстың (немесе хабар символының) орташа ақпараттылығын бағалау маңызды. Ықтималдыққа сәйкестігі есебінен Hi мәнін орташалай отырып, келесі формуланы аламыз (2.7) Бұл өлшемді энтропия деп атайды. Энтропия келесі құрамдардан тұрады: Ол теріс емес; () бастапқы мәндердің біркелкі ықтималдылығы кезінде максимумға жетеді. Бұл жағдайда Ол минималды және и кезде нөлге тең. сонымен, Pi ықтималдығын ерекшелеу есебінен хабартағы бір құбылыс немесе бір символдың бастапқы мәнінің орташа ақпараттылығы 2.8. формула бойынша анықталуы мүмкін I = (2.8) Осы кезде апостериорды (тәжірибеден кейін) анықсыздық жоқ деп есептеледі, ал статистикалық байланыстар есептелмейді. Бұл Шеннонмен ұсынып, дамытылды. Энтропияны ақпараттың статистикалық өлшемі деп те атайды. (2.8) формуласы бойынша символдардың ақпараттылығын бағалау шартсыз ықтималдылыққа негізделген. Сәйкесінше, Н(1) энтропияны шартсыз деп атайды. Хабартардағы көрші символдар көбінесе бір-біріне тәуелді болатыны анық. Мысалы, орыс тіліндегі мәтінде дауысты әріптің пайда болуы ықтималдығы ұлғаяды, егер алдыңғысы дауыссыз болса және егер оның алдында екі дауыссыз әріптер қатарынан тұрса, ықтималдық одан да жоғары болады. Бұл жағдайда энтропия өлшемі келесі формула бойынша есептеледі: I = (2.9) жүктеу/скачать 1,17 Mb. Достарыңызбен бөлісу:
|