Ақпараттар және кодтау теориясы
жүктеу/скачать 1,27 Mb.
|
лек1 (2)
| Біріктіру энтропиясы статистикалық тәуелді хабарламалардың бірлескен пайда болу энтропиясын есептеу үшін қолданылады. Н(X,Y) – Y хабарламаларының қабылданғаны, X хабарламалардың жіберілгендігі туралы белгісіздік. Жіберілген хабарламаласы X ансамбльдері үшін және Y қабылданған хабарламалар ансамблдері үшін бірлестіктің энтропиясы:
Біріктіру энтропиясы және шартты энтропия келесі қатынастармен байланысты: бит/два символа. (34) Біріктіру энтропиясы және шартты энтропия келесі қатынастармен байланысты: Н (X, Y) = Н (X) + Н (Y / X) = Н (Y) + Н( X / Y), Н (Y / X) = Н (X, Y) + Н (X), Н (X / Y) = Н (X, Y) + Н (Y). (35) Біріктіру энтропиясын келесі түрдегі матрицаның көмегімен есептеуге болады . (36) Бұл матрицаның керемет қасиеті бар: , , бұнда . Бұл қасиет, өз кезегінде, байланыс көзі мен қабылдағыштың энтропиясын тікелей арна матрицасы арқылы есептеуге мүмкіндік береді , (37) . (38) Біз i және j бойынша жинақтаймыз (Суммирование производим по i и j,), өйткені шартсыз ықтималдылықты табу үшін оларды бір координат бойынша жинақтау қажет (ықтималдылықтың матрицалық көрінісін ескере отырып), Ал Н табу үшін жинақтау (уммирование) басқа координат бойынша жасалады. және түрдегі шартты ықтималдығы келесі формулалармен есептеледі , . (39) Байланыс арнасы арқылы жіберілген хабарлама символына ақпараттың мөлшері, онда кедергілердің әсері біріктіру энтропиясы арқылы сипатталады, келесідей есептеледі: I (X, Y) = H (X) + H (Y) – H (Y, X). (40) жүктеу/скачать 1,27 Mb. Достарыңызбен бөлісу:
|