Дәріс №3 Энтропия түсінігі. Энтропия белгісіздік өлшемі ретінде. Энтропияның қасиеттері

Тәжірибе n ықтимал нәтижелерге тең болатын қарапайым жағдайдан бастайық. Әлбетте, олардың әрқайсысының белгісіздігі n-ге байланысты, яғни белгісіздік f (n) - ге тең.

Бұл функцияның кейбір қасиеттерін көрсетуге болады:
1. f (1) = 0, өйткені n = 1-де тәжірибенің нәтижесі кездейсоқ емес, сондықтан белгісіздік жоқ;

2. f (n) n өсуімен артады, өйткені Мүмкін болатын нәтижелердің көптігіне байланысты тәжірибе нәтижесін болжау өте қиын болады.

Енді f(n) функциясының айқын көрінісі (1) және (2) қасиеттерін және (1) қатынасын қанағаттандыру үшін қандай болуы мүмкін екендігі туралы ойлана аласыз. Мұндай қасиеттер жиынтығы log(n) функциясымен қанағаттандырылатындығын көруге болады, сонымен қатар бұл функциялардың барлық мүмкін кластарының бірі екенін көрсетуге болады. Осылайша: N тең нәтижелермен тәжірибенің белгісіздігін өлшеу үшін log(n) санын қабылдауға болады.

Бұл жағдайда Логарифмнің негізін таңдау маңызды емес, өйткені Логарифмнің бір негізінен екіншісіне ауысудың белгілі формуласына байланысты
или log_b n = log_b alog_a n , (3.2)

басқа негізге көшу (2) өрнектің екі бөлігі үшін бірдей тұрақты факторды енгізуден тұрады , бұл белгісіздік өлшемінің масштабының өзгеруіне (яғни бірлік мөлшеріне) тең. Бұл болғандықтан, біз үшін ыңғайлы Логарифм негізін таңдауға мүмкіндігіміз бар (кейбір қосымша себептермен). Мұндай ыңғайлы негіз 2 болып табылады, өйткені бұл жағдайда тәжірибедегі белгісіздік өлшем бірлігі ретінде қабылданады, мысалы, ақиқат (шын) және жалған (жалған) деп атауға болатын және осындай оқиғаларды талдау үшін Математикалық логика аппаратын қолдануға болатын екі мүмкін нәтиже бар.

Тәжірибенің екі мүмкін нәтижесіндегі белгісіздікті өлшеу бірлігі бит деп аталады. (Бит атауы ағылшын тіліндегі binary digit сөзінен шыққан, ол сөзбе-сөз "екілік бит" немесе "екілік бірлік"дегенді білдіреді.)

Осылайша, біз n тең нәтиже беретін тәжірибенің белгісіздігін сипаттайтын функцияның нақты түрін орнаттық:

мұндағы – жеке нәтижелердің кез-келгенінің ықтималдығы.

Осылайша, тең мүмкін нәтижелердің әрқайсысы енгізген белгісіздік (оны Н арқылы белгілеңіз) тең:

. (3.5)
Енді (5) формуланы эксперименттердің нәтижелері бірдей болмайтын жағдайға жалпылауға тырысайық, мысалы, p(x₁) және p(x₂). Сонда:
и
.
Бұл өрнекті n тең емес нәтижелермен қорытындылай келе, біз аламыз:
. (3.6)
Осылайша енгізілген мән х тәжірибесінің энтропиясы деп аталды, кездейсоқ дискретті шамалардың орташа мәні үшін формуланы еске түсірді ,
.

Энтропия-бұл кездейсоқ оқиғалар пайда болатын және оның барлық мүмкін нәтижелерінің орташа белгісіздігіне тең тәжірибенің белгісіздігінің өлшемі.

Дискретті кездейсоқ шаманың энтропиясы – бұл берілген дискретті кездейсоқ шама мәнін байланыс каналы арқылы жіберетін биттің орташа көлемінің минимумы.

,
Көздің энтропиясы неғұрлым көп болса, ол жүзеге асыратын хабарламалардың белгісіздік дәрежесі соғұрлым жоғары болады.
Энтропияның қасиеттері

1. 
   H = 0 тек болғанда ғана. Алайда, сонымен бірге - ден барлық басқа яғни нәтижелердің бірі сенімді болған кезде жағдай жүзеге асырылады (содан кейін оқиға кездейсоқ болмайды). Барлық басқа жағдайларда Н > 0 екені анық.
   
2. 
   Белгісіздік аддитивтілігінен энтропия белгісіздік өлшемі ретінде аддитивтілікке ие болуы керек, яғни X және Y тәуелсіз екі тәжірибе үшін
   

яғни бірнеше тәуелсіз тәжірибелерден тұратын күрделі тәжірибенің энтропиясы жеке тәжірибелердің энтропияларының қосындысына тең.

1. N көздерінің {xi}жиынтығы, олардың априорлық ықтималдығы p(xi).

2. М көздерінің {y_j} жиынтығы Априорлы ықтималдығы p(y_j) және шартты ықтималдығы p (xi | yj).

Атрибутты бақылаудың априорлық ықтималдығы – бұл бастапқы жиынтықтан ақпарат көздерін (объектілерді) ұсынған кезде оны бақылаудың орташа ықтималдығы, ал шартты ықтималдық-олардың белгілі бір түрін ұсынған кезде оны байқау ықтималдығы.

Ақпарат алғанға дейін жағдай оның қай көзден бағытталатыны, яғни априорлық энтропияның белгісіздігімен сипатталады:

. (3.8)
Көптеген көздер мен олар туралы хабарламалар ешқандай байланысты емес (олар тәуелсіз оқиғалар), яғни олар кездейсоқ түрде байланысты. Бұл екі жиынның оқиғалары бір-бірінен тәуелсіз екенін білдіреді. Мысалы, оқиғаның пайда болу мүмкіндігі бар (xi, yj), яғни егер хабарламада y_j белгісі болса, онда бұл x_i көзінен алынған хабарлама:

. (3.9)
Содан кейін Шеннонның негізгі анықтамасына сәйкес көздер мен хабарламалардың жиынтығы болып табылатын XY жиынының энтропиясы келесідей болады:
(3.10)
(3.10) формуласына ықтималдылыққа арналған (3.8) өрнегін қойсақ:
(3.11)

Мұнда энтропияның классикалық анықтамасы (6) қолданылады және ықтималдылықты қалыпқа келтіру шарты ескеріледі:

Белгілердің саны екінің дәрежесін білдірсін, , барлық таңбалар бірдей ықтималдылықта, , яғни барлық екілік сөздер ұзындығы N және . N таңбалары және еркін мәндері бар хабарламалар көзі үшін р (xi)

Теңдікке тең ықтималдылықтағы таңбалар болған жағдайда қол жеткізіледі. Бірақ бұл жағдайда да –бұл бүтін сан емес. Бұл қажетті балама таңдаулардың саны (барлық белгілер үшін бірдей) болмауы мүмкін дегенді білдіреді. Дегенмен, n таңбаларын таңдау әрқашан N балама сайлауды қолдана отырып жүзеге асырылуы мүмкін, мұнда

жоғарыда айтылғанға қарамастан, таңбадағы ақпараттың саны туралы негізгі анықтамасын қолдаундық мәні бар, ықтималдықтар екеуінің бүтін (теріс) дәрежелері болмаған кезде немесе бірдей мүмкін болатын ішкі жиындарға дәл бөлу мүмкін болмаған кезде.

Ақпарат көзін кодтау кезінде i-ші таңба ұзындықта болса, онда сөздердің орташа ұзындығы:
. (3.14)

Тең жағдайда, ең үлкен энтропия тең мүмкін нәтижелермен тәжірибеге ие.

Басқаша айтқанда, барлық нәтижелер бірдей болатын тәжірибелерде энтропия максималды болады. Мұнда ұқсастық бар физикада қолданылатын энтропия ұғымымен. Энтропия ұғымын алғаш рет 1865 жылы неміс физигі Рудольф Клаусиус жүйеде стихиялық процестердің бағытын анықтайтын термодинамикалық жүйенің күйінің функциясы ретінде енгізді. Клаузиус термодинамиканың II-ші басталуын тұжырымдады. Атап айтқанда, ол тепе-теңдік күйіне сәйкес келетін жүйеде толық тәртіпсіздікпен энтропияның максимумына жететінін көрсетті. Басқаша айтқанда, физикада энтропия жүйеде бұзылыстың өлшемі болып табылады. Кейінірек (1872 жылы) Людвиг Больцман статистикалық теорияны дамыта отырып, жүйенің энтропиясын оның жағдайының ықтималдығымен байланыстырды, термодинамиканың II-ші басына статистикалық (ықтималдық) түсінік берді және, атап айтқанда, ықтималдық толығымен бұзылған (тепе-теңдік) жүйеде максималды болатындығын көрсетті, сонымен қатар энтропия мен термодинамикалық ықтималдық логарифмдік тәуелділікпен байланысты болды. Ақпарат теориясы мен статистикалық термодинамикадағы ұғымдар мен олардың арасындағы қатынастардың ұқсастығы, кейінірек белгілі болғандай, терең мағынаға ие.

Энтропия ұғымы практикалық есептерді шешуге не береді? Олардың біреуін қарастырайық.

Шешімі. (3.6) сәйкес біз екі тәжірибенің энтропиясын табамыз: