Кодтаудың негізі болып қаланған Шеннонның теоремалары

Компьютер сандық формада көрсетілген ақпаратты ғана өңдей алады. Компьютерде өңделуге арналған басқа барлық ақпараттар (мысалы, дыбыстар, суреттер, құралдарды көрсету және т.с.с.)сандық формаға түрлендірілуі керек. Мысалы, музыкалық дыбысты сандық формаға келтіру үшін сандық формада әрбір өлшем нәтижесін қоя отырып, қандайда бір жиілікте дыбыстың интенсивтілігін қысқа уақыт аралығында өлшеуге болады. Компьютерлерге арналған программалар көмегімен алынған ақпаратты түрлендіруге болады.

Компьютерде осындай түрде мәтіндік ақпараттарды да өңдеуге болады. Компьютерге енгізу кезінде әрбір әріп қандайда бір санмен кодталады, ал адамға түсінікті болу үшін сыртқы құрылғыларға (экран немесе печать) шығару кезінде осы сандар бойынша әріптердің көрінісі құрылады. Әріптер мен сандар жиынтығының арасындағы сәйкестік символдарды кодтау деп аталады.

Компьютердегі барлық сандар нолдер мен бірліктер көмегімен көрсетіледі. Басқа сөзбен айтқанда, компьютерлер көбінесе екілік санау жүйесінде жұмыс істейді, сондықтан оларды өңдеуге арналған құрылғылар өте қарапайым болады. Компьютерге сандарды енгізу мен адамның оқуы үшін оларды шығару ондық формада жүзеге асады, ал барлық қажетті түрлендірулер компьютерде жұмыс істейтін программалар орындайды.

Бөгетсіз арналарға арналған кодтау туралы Шеннонның негізгі теоремасы.

Бөгетсіз дискретті арна бойынша хабарларды беру үшін оны тиімді кодтау Шеннон теоремасына негізделеді, оны былайшы түрлендіруге болады:

1. хабар көзінің кез келген өндірісі, арнаның аз өткізгіштік мүмкіндігі кезінде, яғни мына шарт кезінде

I(Z)=Cd-e,

мұнда е – аз оң өлшем, көздермен өңделетін барлық хабарларды арна бойынша беруге мүмкіндік беретін кодтау әдісі бар.

2. егер

хабардың шексіз жиналуынсыз, оны жіберуді қамтамасыз ететін кодтау әдісі жоқ.

Шеннон теоремасы, бөгет болған кезде тежеуге әкелетін байланыс арнасы бойынша сигналдарды беру туралы ақпарат теориясының негізгі теоремаларының бірі.

Қандайда бір ықтималдықпен пайда болатын символдар ретін беру керек болсын, сондай-ақ процесте берілетін символ тежелген деген қандайда бір ықтималдық бар болсын. бастапқы реттілікті қайта қалпына келтіруге мүмкіндік беретін қарапайым әдіс әрбір берілетін символ үлкен сандарды (N) рет қайталауынан тұрады. Бірақ бұл берілу жылдамдығын N рет азайтуға әкеледі, яғни оны нөлге жақындатады. Шеннон теоремасы v оң санының қарастырылатын ықтималдыққа ғана тәуелділігін e>0 болғанда v' (v' < v) жылдамдығымен берілу әдісі бар, е-ден аз қателіктің ықтималдылығымен бастапқы реттілікті қалпына келтіру мүмкіндігін беретіндігін қарастырды.