Дәріс №4 Шартты энтропия және біріктіру энтропиясы
жүктеу/скачать 138,13 Kb.
|
лек4доп
- Бұл бет үшін навигация:
- Біріктіру энтропиясы
| Анықтама. хабар қабылдағыштың арна матрицасы (12) матрица деп аталады, оның i-ші жолының және j-бағанының элементтері қабылдағыш сигнал алған жағдайда сигнал көзі арқылы жіберу ықтималдығын білдіреді .
Бұл жағдайдағы арна матрица түрі . (26) Бұл жағдайда бірлік арна матрицасының бағандарындағы шартты ықтималдықтардың қосындысына тең болуы керек . (27) Жеке шартты энтропия , (28) жалпы шартты энтропия . (29) немесе . (30) Егер түрдегі (бұл жағдайда жеке шартты энтропия (22) сәйкес келеді) арна матрицасы және р(xi)түріндегі шартсыз ықтималдығы берілген болса, онда қабылдағыштың шартсыз ықтималдығы , яғни көздің шартсыз ықтималдығы мен арна матрицасы берілген болса, онда қабылдағыштың энтропиясы есептеуге болады , (31) керісінше , егер р(yj) түріндегі ықтималдығы және хабарлама қабылдағыштың байланыс арнасын сипаттайтын арна матрицасы (жеке шартты энтропия (28) өрнегіне сәйкес келсе) көрсетілсе, онда , хабарлама көзінің энтропиясын анықтауға болады . (32) Егер өзара тәуелділік xi, xj, xk 3 элементін байланыстырса, онда шартты энтропия келесі формула бойынша есептеледі , (33) эта формула справедлива и для 4, 5, ..., n элементов. Біріктіру энтропиясы статистикалық тәуелді хабарламалардың бірлескен пайда болу энтропиясын есептеу үшін қолданылады. Н(X,Y) – Y хабарламаларының қабылданғаны, X хабарламалардың жіберілгендігі туралы белгісіздік. Жіберілген хабарламаласы X ансамбльдері үшін және Y қабылданған хабарламалар ансамблдері үшін бірлестіктің энтропиясы: Біріктіру энтропиясы және шартты энтропия келесі қатынастармен байланысты: бит/два символа. (34) Біріктіру энтропиясы және шартты энтропия келесі қатынастармен байланысты: Н (X, Y) = Н (X) + Н (Y / X) = Н (Y) + Н( X / Y), Н (Y / X) = Н (X, Y) + Н (X), Н (X / Y) = Н (X, Y) + Н (Y). (35) Біріктіру энтропиясын келесі түрдегі матрицаның көмегімен есептеуге болады . (36) Бұл матрицаның керемет қасиеті бар: , , бұнда . Бұл қасиет, өз кезегінде, байланыс көзі мен қабылдағыштың энтропиясын тікелей арна матрицасы арқылы есептеуге мүмкіндік береді , (37) . (38) Біз i және j бойынша жинақтаймыз (Суммирование производим по i и j,), өйткені шартсыз ықтималдылықты табу үшін оларды бір координат бойынша жинақтау қажет (ықтималдылықтың матрицалық көрінісін ескере отырып), Ал Н табу үшін жинақтау (уммирование) басқа координат бойынша жасалады. және түрдегі шартты ықтималдығы келесі формулалармен есептеледі , . (39) Байланыс арнасы арқылы жіберілген хабарлама символына ақпараттың мөлшері, онда кедергілердің әсері біріктіру энтропиясы арқылы сипатталады, келесідей есептеледі: I (X, Y) = H (X) + H (Y) – H (Y, X). (40) жүктеу/скачать 138,13 Kb. Достарыңызбен бөлісу:
|