Түсіндіру, мазмұндау ұғымы күнделікті өмірден бастап
Ақпарат энтропиясын өлшеуӨңдеу
жүктеу/скачать 40,67 Kb.
|
ИНФ 1
Ақпарат энтропиясын өлшеуӨңдеуАқпаратқа хабар ретінде қарау 1948 жылғы Клод Шеннонның әйгілі "Байланыстың Математикалық Теориясы" атты мақаласынан кейін қалыптасты. Мақала Байланыс теориясының негізін қалады және ақпарат ұғымына техникалық мағына беріп қана қоймай оған мөлшерін анықтады. Егер құрылғы бірдей ықтималдықпен N хабардың бірін жіберсе, онда “жиыннан хабар таңдалған кездегі ақпарат мөлшері” екі негіздегі логарифм N-ге тең (Бұл мөлшер өздік-ақпарат деп аталады). Сол мақалада Шеннон былай жалғастырады: Логарифм негізін таңдау ақпаратты өлшеу өлшем бірлігіне сәйкес келеді. Егер негізі 2 болса нәтижесінде ақпарат бірлiктері бинарлық сандар, немесе қысқаша Тюки (J. W. Tukey) енгізген биттер болар еді. Екі бірқалыпты дәрежесі бар құрылым, мысалы – реле, бір бит ақпарат сақтай алады. Осындай N құрылым N бит сақтай алады…[1] Алгоритмдік байланыс теориясы ақпаратты өлшеудің қосымша жолын береді. Қысқаша қайырғанда, бұл тәсіл ақпарат мазмұнын белгілер тізімінің болжамдығына негіздеп өлшейді, немесе басқаша айтқанда бағдарлама арқылы тізімді есептеу қаншалықты оңай: тізімнің ақпарат мазмұны ең қысқа осы тізімді есептейтін бағдарламаның биттер саны болып табылады. Төмендегі тізімнің алгоритмдік өлшемі өте аз болар еді, өйткені ол - оңай болжауға болатын құрылым, және құрылым ретінде жалғасқанымен өлшемі өзгермейді. Шеннон ақпараты тізімнің әр белгісі үшін, олар статистикалық кездейсоқ болғандықтан, дәл осындай ақпарат өлшемін берер еді, ал әр жаңа белгі өлшемін үлкейтер еді. 123456789101112131415161718192021 Адамдық көзқараспен қарағанда дәстүрлі ақпарат теориясы мен алгоритмдік ақпарат теорияларының шектеулері бар. Мысалға, хабар мазмұны дегенде Шеннон “Жиі хабарлардың мәні бар… бұл байланыстың семантикалық жағы инженерлік мәселелерге маңызды емес. Маңызды жағы – нақтылы хабардың ықтимал хабарлар жиынының таңдалып алынған бірі болғандығында” (екпін түпнұсқадан сақталған). Ақпарат теориясында сигналдар процесстердің бөлігі болып табылады, субстанция емес; олар бірнәрсе істейді, олардың арнайы мәні жоқ. Алгоритмдік ақпарат теориясы мен ақпарат теориясын бірге пайдалана отырып ең кездейсоқ сигнал қалай тәржімеленсе де ең ауқымды ақпаратты қамтиды, әрі сығыла да алмайды деген тұжырымға келуге болады. Майкл Редди (Micheal Reddy) "математикалық теория 'сигналдары' 'алмаса алатын құрылымдар' деп байқаған. Сигналда еш хабар жоқ, онда тек мүмкін болатын хабарлар жиынынан бір хабарды таңдау қабілеті бар." Ақпарат теориясында "жүйе әр ықтимал болатын таңдаумен жұмыс істей алатындай жобалану керек, тек таңдалғанмен емес, себебі жобалану кезеңінде ол хабар беймәлім болған жүктеу/скачать 40,67 Kb. Достарыңызбен бөлісу:
|