Ақпараттар және кодтау теориясы



бет7/37
Дата23.12.2021
өлшемі1,27 Mb.
#127784
1   2   3   4   5   6   7   8   9   10   ...   37
Байланысты:
лек1 (2)

Біріктіру энтропиясы статистикалық тәуелді хабарламалардың бірлескен пайда болу энтропиясын есептеу үшін қолданылады. Н(X,Y) ­– Y хабарламаларының қабылданғаны, X хабарламалардың жіберілгендігі туралы белгісіздік. Жіберілген хабарламаласы X ансамбльдері үшін және Y қабылданған хабарламалар ансамблдері үшін бірлестіктің энтропиясы:

Біріктіру энтропиясы және шартты энтропия келесі қатынастармен байланысты:



бит/два символа. (34)
Біріктіру энтропиясы және шартты энтропия келесі қатынастармен байланысты:

Н (X, Y) = Н (X) + Н (Y / X) = Н (Y) + Н( X / Y),

Н (Y / X) = Н (X, Y) + Н (X), Н (X / Y) = Н (X, Y) + Н (Y). (35)

Біріктіру энтропиясын келесі түрдегі матрицаның көмегімен есептеуге болады



. (36)

Бұл матрицаның керемет қасиеті бар: , , бұнда . Бұл қасиет, өз кезегінде, байланыс көзі мен қабылдағыштың энтропиясын тікелей арна матрицасы арқылы есептеуге мүмкіндік береді



, (37)

. (38)

Біз i және j бойынша жинақтаймыз (Суммирование производим по i и j,), өйткені шартсыз ықтималдылықты табу үшін оларды бір координат бойынша жинақтау қажет (ықтималдылықтың матрицалық көрінісін ескере отырып), Ал Н табу үшін жинақтау (уммирование) басқа координат бойынша жасалады.



және түрдегі шартты ықтималдығы келесі формулалармен есептеледі

, . (39)

Байланыс арнасы арқылы жіберілген хабарлама символына ақпараттың мөлшері, онда кедергілердің әсері біріктіру энтропиясы арқылы сипатталады, келесідей есептеледі:



I (X, Y) = H (X) + H (Y) – H (Y, X). (40)


Достарыңызбен бөлісу:
1   2   3   4   5   6   7   8   9   10   ...   37




©engime.org 2024
әкімшілігінің қараңыз

    Басты бет