Ақпаратты өлшеу. Ақпараттың негізгі өлшемдері Дәріс №2-3

Ақпаратты өлшеу. Ақпараттың негізгі өлшемдері

Дәріс №2-3

Таскалиева Ж.А

"Ақпаратты өлшеу"

Ол үшін алдымен ақпаратты өлшеу бірлігін анықтау қажет болды. Ақпарат санын көлемдік (алфавиттік) және мағыналық, ықтималдық жолдарымен өлшеуді анықтап қалыптастырған информатика ғылымының негізін түрғызушылардың бірі Джон фон Нейман және Клод Шеннон болды. Джон фон Нейманның ең алғаш есептеуіш техниканы қүруға болатындығын көрсетуі, ақпараттың мөлшерін көлемдік жолмен өлшеуге болатындығын айқындаса, Клод Шеннон ақпарат мөлшерін әртүрлі ықтималдық жолмен өлшеуді анықтады

Американдық инженер Ральф Хартли1

• 1928 ж. ақпаратты алу үрдісін, алдын ала берілген шектелген N теңықтималды мәліметтер жиынынан бір мәліметті таңдау деп қарастырған, ал таңдалған мәліметтегі I ақпарат санын, N-нің екілік логарифмі деп анықтаған.
• Хартли формуласы: I = log2 N

Клод Шеннон

• 1948 ж. жиындағы мәліметтердің әртүрлі ықтималдық мүмкіндігі ескерілген, ақпарат санын анықтау формуласын ұсынды.
• Шеннон формуласы:

I = — ( p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN)

• мұндағы pi — N мәліметтер жиынынан дәл i-ші мәліметінің бөліну ықтималдығы.

Ақпараттың мағыналы өлшемі

• Мәліметтегі ақпараттың саны, сол хабарды алушы адамға берілетін білімнің көлемімен айқындалады. Шеннон 1948 ж. «A Mathematical Theory of Communication» деген мақаласында, логарифмдік бірлік үшін тұңғыш рет bit сөзін қолдандған. Егер қабылдаушы адамға хабар түсінікті және жаңалық болып, оның білімін толықтырса, онда ол мағыналы (семантикалық) ақпарат болғаны. Мағыналық тұрғыдан ақпараттың сапасы: пайдалы, селқосты, маңызды, зиянды,... деп бағалануы мүмкін. Бір ақпаратқа әртүрлі адамдар әртүрлі баға беруі мүмкін. Адамның білімінің белгісіздігін екі есе азайтатын хабар, 1 бит ақпарат әкеледі. Белгілі бір хабарда N тең ықтималды оқиғалардың біреуінің болғаны туралы мәлімет алынды дейік.
• Онда хабардағы ақпараттың саны х бит және N саны Хартли формуласымен байланыстырылады: 2x= N бұл көрсеткіштік теңдеудің математикалық шешімінің түрі: х = log2 N

1– мысал. Жеребеге тиынды лақтырғанда нәтижесі «герб» түскені туралы хабар 1 бит ақпарат әкеледі. Себебі, оқиғаның мүмкін болу саны 2-ге тең («герб» немесе «сан») және екеуі де теңықтималды. Демек, нәтиже саны 2 х = 2 теңдеуін шешкенде, х = 1 бит деп шығады.

• 1– мысал. Жеребеге тиынды лақтырғанда нәтижесі «герб» түскені туралы хабар 1 бит ақпарат әкеледі. Себебі, оқиғаның мүмкін болу саны 2-ге тең («герб» немесе «сан») және екеуі де теңықтималды. Демек, нәтиже саны 2 х = 2 теңдеуін шешкенде, х = 1 бит деп шығады.
• Қорытынды: Барлық жағдайда екі теңықтималды оқиғаның біреуінің болғаны туралы хабарда 1 бит ақпарат болады.

2– мысал. Лотерея барабанында 32 шар бар. Бірінші шыққан нөмір (мысалы, 15 нөмір) туралы хабарда қанша ақпарат бар? 32 шарлардың ішінен кез келген шарды шығару тең ықтималды болғандықтан, шыққан бір нөмір туралы ақпарат көлемі мына теңдеумен табылады:

• 2– мысал. Лотерея барабанында 32 шар бар. Бірінші шыққан нөмір (мысалы, 15 нөмір) туралы хабарда қанша ақпарат бар? 32 шарлардың ішінен кез келген шарды шығару тең ықтималды болғандықтан, шыққан бір нөмір туралы ақпарат көлемі мына теңдеумен табылады:
• 2х = 32 Бірақ 32 = 25 демек, x = 5 бит болады.

Жауабы нақты қандай нөмір шыққанына тәуелді емес екені айқын

Ақпараттың алфавиттік өлшемі

• Ақпараттың алфавиттік өлшемі
• Мәтіннің ішіндегі ақпарат санын анықтауда, ақпаратты алфавиттік тұрғыдан өлшеу мүмкіндігін береді. Ақпаратты алфавиттік тұрғыдан өлшеу объективті, себебі мәтінді қабылдайтын субъектіге (адамға) тәуелді емес.

Мәтінді жазуға пайдаланын көптеген символдар, алфавит деп аталады.

Алфавиттің қуаттылығы деп, алфавиттегі символдардың толық санын айтады.

Егерде алфавиттегі барлық символдар бірдей жиілікпен (тең ықтималды) кезігеді деп жорамалдалса, онда әр символды берер ақпаратының саны мына формуламен есептеледі: I = log2 N

Мұнда N — алфавиттің қуаттылығы. Сонымен, 2 символдық алфавитте әр символдың «салмағы» 1 бит (Iog2 2 = 1),

4 символдық алфавитте – 2 бит (Iog2 4 = 2),

8 символдық алфавитте – 3 бит (Iog2 8 = 3) т.с.с. болады.

Демек, қуаттылығы 256 (28 ) тең алфавиттің бір символы, мәтінде 8 бит ақпарат береді.

Ақпараттың осындай саны байт деп аталады. Компьютерге мәтінді ұсынуға 256 символдан тұратын алфавит пайдалынылады. 1 байт = 8 бит. Егер барлық мәтінде К символ болса, онда алфавиттік тұрғыдан өлшегенде ондағы ақпарат саны мына формуламен табылады:

I = К * і, мұндағы і — алфавитте қолданылатын әр символдың ақпараттық салмағы.

Ақпарат мынадай түрлерге топтастырылады:

1. Білім аумағы бойынша (биологиялық, техникалық,экономикалық, т. б.).

2. Қабылдаудың физикалық табиғаты бойынша (көрермендік,

есту, дәмдік).

3. Құрылымдық – метрикалық қасиеті бойынша.Ең соңғы жіктеу техникалық қосымшада көп қолданылады.Мұнда негізгі назар аудартатыны параметрлік ақпарат болып

саналады.

Параметрлік ақпарат – қандай да бір параметрлер мәндерінің сандық бағасының жинағы, сандық бағалардызерттегенде, талдағанда және бақылағандағы нәтижелері.

Топологиялық ақпарат – геометриялық образдары, жердің карталары, көлемді объектердің әртүрлі тегіс бейнелері.

Абстрактік ақпарат – жоғарғы деңгейде зерттегенде ақпаратты жинақтау, символдау кезеңде қолданылады.

Ақпараттың түрлері және айналу кезеңдері

Хабарламаларды уақыт бойынша – үздіксіз және дискретті деп бөледі

Уақыт бойынша үздіксіз хабарламалар уақыттың үздіксіз функциясымен бейнеленсе, ал дискретті –уақыттың дискретті функциясымен бейнеленеді (белгілі бір уақытта түседі).

Шынайы уақытта хабарламалар кездейсоқ, онда үздіксіз хабарламалар уақыттың кездейсоқ функциясымен, алдискретті хабарламалар – кездейсоқ оқиғалар тізбегімен сипатталады.

Хабарлама, жиынтығы бойынша – үздіксіз және дискретті болып бөлінеді. Жиынтығы бойынша үздіксіз хабарламаны бейнелейтін функция кейбір интервалда жинақталған мәндерімен сипатталады.

Дискреттелген хабарлама – шектеулі сандық жиынтығы немесе кейбір функциялардың дискреттікмәнімен сипатталады.

Жиынтығы және уақыт бойынша дискреттеу бір-біріменбайланысты емес. Сондықтан, хабарламалардың мынандай түрлері болуы ықтимал

Ақпарат саны

• Ақпараттың саны, мәні мен бағалылығының түсінігі мағыналы болады, егер қарастыруда осы ақпаратты пайдаланатын жүйе – субъектісі пайда болса. Мұндай жүйе, мысалы қандайда бір агрегатпен басқаратын тірі ағза, адамдар қоғамы немесе компьютер болуы мүмкін.
• Жүйе әрқашанда қандайда бір ортада жүреді. Өзінің есептерін шешу үшін оның өз ортасының моделі болуы керек және алынатын мәліметтер негізінде оларды түзетіп отыру керек.
• Қандай да бір жағдай күтілсін, бастапқы мәні белгісіз болсын. n мүмкін бастапқы санға қатысты Н қандайда бір анықсыздық бар делік. Жағдай туындаған кезде, анықсыздық алынады және біз оның нақты бастапқы мәнін І ақпаратты аламыз.
• Мысалы, ойын сүйегі (n = 6), немесе монета (n = 2) лақтырылады, n көлемді алфавиттен хабартар символы келіп түседі.
• Жалпы жағдайда қандайда анықсыздық жағдай туындағаннан кейін сақталып (мысалы, алыстан сүйекте 4 немесе 6 түскенін айыру қиын) қалуы мүмкін.

Ақпарат санының статистикалық өлшемі – энтропия

• Ақпарат санының статистикалық өлшемі – энтропия
• Хартлимен ұсынылған ақпараттың санын анықтауға
• арналған формуласы n бастапқы мәнімен құбылысқа сәйкес келетін жағдайды сипаттайды (мысалы, n көлемді алфавиттен хабар символының келіп түсуі). Бірақ барлық бастапқы мән тең (тең ықтималды) болып есептеледі. Бұл жағдайда олардың әрбіреуінің ықтималдығы

және (1) мына түрде жазуға болады

• (2)
• pi символ ықтималдылығының әртүрлі мәнінің жағдайын қарастырайық. Бұл жағдайда әрбір символ беретін ақпараттың саны мен анықсыздығы алфавиттің әртүрлі символдары үшін әр қилы.
• (3)
• (3) формуласынан ақпарат саны екіні көрініп тұр.

Блиц-тест

1. Қандай да бір обьектіні басқаруға қажетті ақпаратты жинау, сақтау, жаңарту, өңдеу, іздеу және шығарып беру жүйесі -

• A) Ақпарат жүйесі, B) Мәліметтер қоймасын басқару жүйесі
• C) Элементтер жүйесі, D) Байланыс жүйесі

2. Жүйелер теориясының негізін салушы кім екенін атаңдар?

• A) С. Шеннон, B) Л. Берталанфи
• C) Дж. Ульман, D) Н. Винер

3. Ақпарат тасымалдаушы ..... бола алады:

• A) кедергі, B) хабарлама,C) желі
• D) тербеліс, E) энтропия

4.Энтропия функциясын алғаш рет кім енгізді:

4.Энтропия функциясын алғаш рет кім енгізді:

• A) Л.Бриллюэн, B) Р.Хартли, C) К.Шеннон
• D) Р.Клаузиус, E) Л.Больцман

5. Энтропия – бұл .... бірқатар жағдайдағы шара

• A) анықталған, B) анықталмаған
• C) ықтималды, D) бірмәнді, E) белгісіз