Дәріс №4 Шартты энтропия және біріктіру энтропиясы

Олардың оқиғаларын оқиғалар жұбына біріктіріңіз (хi, yi). Біз байланысқан көздердің қарапайым моделін аламыз.

Оқиғалар жұбының ақпараты (xi, yi) белгісіздікті төмендететін кейбір теріс емес шаманы шегере отырып, осы оқиғалардың ақпарат сомасымен анықталады, яғни өзі өз кезегінде ақпарат болып табылады. Сондықтан оны екі оқиғаның өзара ақпараты деп атайық.

Шартты ықтималдылықты енгіземіз р(х/у) - у оқиға болған жағдайда х оқиғасының ықтималдығы. екі x_i және y_i оқиғаларының априорлық және шартты ықтималдығы арқылы p(x_i, y_i) бірлескен ықтималдығын білдіреміз
(1)
Логарифмдік функцияны қолдана отырып, біз бірден (xi, yi), (xi) және (уi) оқиғалар туралы ақпарат аламыз
, (2)
бит. (3)
(3) Бірінші бөлікгінде I (xi) және сәйкесінше екінші бөлікте I(yi) қосу және бір уақытта азайту арқылы біз аламыз

бит (4)
Осылайша, оқиғалар жұбының (xi, yi) ақпараты белгісіздікті төмендететін кейбір теріс емес шаманы алып тастай отырып, осы оқиғалар туралы ақпараттың қосындысымен анықталады, яғни.өз кезегінде ақпарат болып табылады. Сондықтан оны оқиғалар жұбының өзара ақпараты деп атайық.
Оқиғалар жұбының өзара ақпараты

(5)

I(xi, yi) өзара ақпарат әрқашан оң екеніне назар аударайық. Маңызды қасиет сонымен қатар дереккөздерге қатысты өзара ақпараттың симметриясы болып табылады, өйткені.

Өзара ақпараттың мағынасын жақсы түсіну үшін екі шекаралық жағдайды қарастырған жөн:

1. Көздер тәуелсіз. Содан кейін бізде тәуелсіз оқиғалар жұбы бар

p(x_i, y_i) = p(x_i)p(y_i) (7)

яғни, ақпарат көздері ақпарат алмаспайды

I(xi, yi) = I(xi) = I(yi) (10)

яғни, оқиғалар туралы ақпаратты егер yi оқиғасы бұрыннан белгілі болса, yi оқиғасының ақпаратының және xi оқиғасының ақпаратының сомасы ретінде, немесе, керісінше, егер xi оқиға белгілі болғанда, xi оқиғасының ақпаратының және yi оқиғасының ақпаратының сомасы ретінде анықтауға болады.

Ақпарат теориясындағы шартты энтропия ұғымы кодталған алфавиттің символдары арасындағы өзара тәуелділікті анықтауда, байланыс арналары арқылы ақпаратты беру кезіндегі шығындарды анықтауда, бірлестіктің энтропиясын есептеу кезінде қолданылады. Барлық жағдайларда шартты энтропияны белгілі бір шартты ықтималдықтар қолданылады.

Егер n хабарламасын жіберген кезде Х таңбасы m рет пайда болса, Y таңбасы l рет пайда болса, ал Х символы Y символымен – k рет бірге пайда болса, онда Х символының пайда болу ықтималдығы , Х символының пайда болу ықтималдығы , Х және Y символының пайда болу ықтималдығы

Бұл формуладан шығатыны

Шартты энтропия формуласы классикалық өрнектен ерекшелегі – ондағы ықтималдықтар шартты:

Х хабарламасына қатысты y хабарламасының жалпы шартты энтропиясы алфавиттің кез-келген символындағы ақпарат мөлшерін сипаттайды. Ол барлық символдар бойынша орташаланумен анықталады, яғни әрбір жағдайдың пайда болу ықтималдығын ескере отырып, барлық жағдайлар бойынша бойынша және адресат сигнал қабылдағаннан кейін қалатын белгісіздікке алфавит символдарының пайда болу ықтималдығының қосындысына тең

Бұл форманы келесідей де көрсетуге болады

Жалпы және жеке шартты энтропия ұғымы шулы байланыс арналарында ақпараттық шығындарды есептеу кезінде кеңінен қолданылады.

Жалпы жағдайда, егер біз m X сигналдарын жіберіп, m Y сигналдарын аламыз деп күтсек, байланыс арнасындағы кедергілердің әсері арна матрицасымен толық сипатталады (2-сурет).

● x₁ ● y₁

● x₂ ● y₂

● x_i ● y_j

● x_m ● y_m

Сур. 2 хабар көзі тарапынан байланыс арнасының ықтималдық бойынша сипаттамасы

Анықтама. Хабарлама көзінің арна матрицасы (7) матрица деп аталады, оның i-ші жолының және j-бағанының элементтері сигнал көзі жіберілген жағдайда қабылдағыштың сигнал алу ықтималдығын білдіреді

Негізгі диагональ бойынша орналасқан ықтималдықтар ақпараттың дұрыс қабылдануын анықтайды, қалғандары жалған. Матрицалық арналардың бағандарын толтыратын сандардың мәндері, әдетте, негізгі диагональдан алыстаған сайын азаяды және кедергі болмаған кезде, негізгі диагональда орналасқан сандардан басқа барлығы нөлге тең болады.

Егер байланыс арнасын хабарлама көзі жағынан сипаттайтын болсақ, онда осы байланыс арнасындағы сигналдың осы түрінің өтуі p(y_j/x_i), түрдегі шартты ықтималдықтарын үлестіру арқылы сипатталады, x_i сигналы үшін келесі түрде үлестіру арқылы болды:

. (21)

(21) үлестіру ықтималдылықтарының қосындысы әрқашан 1-ге тең болуы керек, яғни . Мысалы, x₁ сигналына жататын ақпараттың жоғалуы келесі түрдегі жеке шартты энтропиясының көмегімен сипатталады

Жинақтау (суммирование) j бойынша жүргізіледі, өйткені i - ші күй (бұл жағдайда бірінші) тұрақты болып қалады.

Хабар таратқыш тарапынан.

Осы байланыс арнасы бойынша барлық сигналдарды беру кезіндегі шығындарды ескеру үшін барлық жеке шартты энтропияларды қарастыру керек, яғни i және j бойынша қос қосындыны жүргізу керек. Бұл ретте хабарлама көзінің шығуында сигналдардың пайда болу ықтималдығы тең болған жағдайда.

(энтропия бір таңбаға белгісіздік болғандықтан, біз m-ге бөлеміз).

Хабарлама көзі символдарының пайда болу ықтималдылықтары әртүрлі болған жағдайда әрбір таңбаның пайда болу ықтималдығын оған тиісті жеке шартты энтропияны, яғни көбейте отырып ескеру қажет. Бұл жағдайда жалпы шартты энтропия келесі формула бойынша есептеледі

. (24)

немесе

Хабар қабылдағыш тарапынан. y_j сигналын алғаннан кейін x₁, x₂,.., x_i…. x_m сигналдарының біреуі жіберілді деп болжаймыз.

● x₂ ● y₂

● x_i ● y_j

● x_m ● y_m