Энтропия, оның қасиеттері
1948 жылы Клод Шеннон байланыс теориясы туралы енбегіне ақпарат көлемін және энтропияны анықтайтын формула енгізді. ”Энтропия” терминін Шеннон компьютерлік заманның патриархы Фон Нейманның кеңесімен қолданды., өйткені байланыс теориясын есептеу үшін алғаш Шеннонның формуласы, статистикалық физиканың формулаларымен сәйкес келеді, сонымен бірге энтропияның не екенін ешкім нақты білмейді.
Ақпараттың сандық мөлшерін Клод Шеннон алғаш енгізген.
x1, x2,...., xn элементтерінен тұратын, X кейбір хабарламасы болсын делік. Элементтердің әр-қайсысына оның пайда болу ықтималдылығы p(x1), p(x2),...., p(xn) сәйкес келеді.
Шеннон сандық өлшемін құру кезінде, элементтердегі ақпарат саны сол элементтердің пайда болу ықтималдылығына кері пропорционалды пайдаланылған.
I(xi) = 1/p(xi) , (1)
Мұндағы I(xi) - количество информации в элементе xi элементіндегі ақпарат саны, а p(xi) - xi элементінің пайда болу ықтималдылығы.
Бріақ бұның бірнеше кемшіліктері бар:
p(xi) =1 кезінде , I(xi) = 1, I(xi) = 0 болуы тиіс.
Екі элемент кезінде xi және xj , I(xi, xj) = I(xi) I(xj), I(xi,xj) = I(xi) + I(xj) болуы қажет, яғни ақпарат мөлшерінің аддитивті заңдылығы бұзылады.
Көрсетілген екі кемшіліктен логарифмдік өлшем еркін. Сондықтан
I(xi) = log 1/p(xi). (2)
Мұндай жағдайда
p(xi) =1 , I(xi) = 0.
xi, xj , I(xi,xj)=log 1/p(xi) p(xj)=log 1/p(xi)+log1/p(xj)=I(xi)+I(xj).
Ақпараттың өлшем бірлігі (2) сәйкес логарифм негізіне тәуелді: lg - [дит], ln - [нит], lb - [бит].
(2) теңдеуі бір элементтегі ақпарат санын анықтайды. Ақпарат көзінің орташа сан мөлшерін анықтау үшін олардың пайда болу мөлшері бойынша орташасын анықтау қажет
. (3)
(3) теңдеу хабарламадағы ақпараттың орташа санын өрнектейді.
41. Ақпараттық теория негіздері, адамлар арасында жаңа ақпараттық жүйенің жайлы жасалған теорияларды анықтау үшін пайда болған концепциялар мен таңбаларды қамтиды.
Мәлімет көзінің өндіргіштігі, бір адамның басқа адамға өз мәліметтерін жеткізу жолымен, оның ерекшеліктері мен тәжірибесінде бастап өз мәліметтерін ұсынуына мүмкіндік беруге арналған. Бұл көздер арқылы адамдар арасында ақпарат алмау-берудің олардың байланыс жасауын нығайтудың жолдарын бірі болып табылады.
Мәлімет көзінің жетіспеушілігі, адамдардың бір-бірімен байланысуын жабык жасауда қолданылатын мәліметтердің табысына байланысты. Жетіспеу болмаған мәліметтердің көмегімен адамдар арасында ақпарат алмау-берудің жолдары де жабыктырады. Алайда, жетіспеулі мәліметтердің саны мен өндірілу жылдамдығы артып, адамдардың байланысуы да жетіспеулік болуы мүмкін. Жетіспеулі мәліметтердің жайлы табыс артқанда, өмір барысында адамдардың бір-бірімен байланысуы да дамуы мүмкіндігі артады.
Сондай-ақ, ақпараттық теория негіздері адамдар арасында ақпарат алмау-беру процессінің механизмін, адамдардың арасында ақпаратты жетіспеулік жасау үлгісін түсіндіреді. Бұл теория арқылы ақпарат алмау-беру процессінің еркін жетуін, адамдар арасындағы байланысың дамуын күтедігіміз үйретеді.
42. Дискретті канал бойынша ақпараттың берілу жылдамдығы ақпараттың қою күшінен болып табылады. Дискретті каналда ақпаратты беру үшін, мүмкіндіктер ретінде сақтау және төңдету жақсы көзделген.
Ақпаратты беру жылдамдығы маңызды ерекше көздермен белгіленеді. Каналдық жылдамдықты көзделгенде, каналдық жылдамдықтың керемет болуы шартты екені көрсетіледі. Дискретті каналдық жылдамдық британиялықтарды таразымен белгіленеді. Каналдық жылдамдықты таразымен бес жарықты методика арқылы белгілейді: бауырлық, децибел (дБ), байрлалық, жайлаудық ерекше. Каналдық жылдамдықты біздің көздеріміз де, болашақта көршілік келетінділер көрсетеді.
Дискретті канал бойынша ақпарат беру қабылдау жылдамдығыне функционалды асырмашылық немесе өздіктік де айырмашылық деп аталады. Функционалды асырмашылық каналдың барлық жаңа келетіндерін осының ішіне сақтай алмайды. Осылайша, ақпараттың өздіктік де айырмашылық қабылдау жылдамдығына салуы керек. Каналның өздігін мертебелер тасымалдау және ақпаратты көп мертебелікке айналдыру ерекше көзделген. Қабылдау жылдамдығының көрсеткіштеріна жасалу жолы керек етеді.
43. Шеннонның кодтау теоремасы, дискретті байланыс каналдары үшін ақпаратты кодтау үшін керек минималды жолды анықтау үшін қажетті биттіксі, өкінішіз биттер жиынтығының формулаға анықтамасын ұсынады.
Бул теорема бойынша, C биттіксі кодын құрса секілдірілген n құрылғылардың болуына болады, Дискретті байланыс каналында P(қате) қатесіні, P(w) белгішесінің шансын ұсынады.
Шеннон кодтау теоремасының өзеуін осында көрсетеміз:
C ≤ log₂ (1/P(қате))
Мысалы, P(қате) = 0.1 болса, теңдеудің онда берушілігін табамыз:
C ≤ log₂ (1/P(қате)) = log₂ (1/0.1) = log₂ 10 ≈ 3.32
Сондықтан беся биттіксі коддау достарына тиесілі.
Бұл теорема, дискретті байланыс каналдарында қате шансын кемқойтыруға көмек көрсетеді және ақпаратты қаржыландыру аспектінен де маңызды рөлі бар.
Бөгеулікке қарсы тұратын кодтау - бұл кодтаудың блоктар арқылы қателіктерді табу және жөңдеуге арналған жолдарын мазмұндайды. Осы кодтаудың мақсаты жұмысшының кодты бөгеуліктен тұрып, оны жаәдегелермен және тұрақты бағдарламалық техникамен өзара байланыстыратуы. Бөгеулікке қарсы тұратын кодтау сияқты қателіктерді табу және дұрыс жұмыс жасау арқылы кодты жөндеу.
Шуға төзімді кодтау - бұл кодты шағымдар арқылы талдау және оларды жөндеуге арналған бір кодтаудың ерекшеліктерін сипаттайды. Системалық сызықты кодтау кезінде кодтың декодталуына мүмкіндік беру маңызды. Декодталған сызықты кодтау сияқты кодты декодтау үшін пайдаланылатын барлық алгоритмдер мен тәжірибелерді мазмұндайды.
Шуға төзімді кодтау - бұл кодты циклдер арқылы жүргізу және оның қателіктерін табу және қалпына келтіру кезінде декодтау сияқты кодтаудың ерекшеліктерін сипаттайды. Циклдық кодтау сияқты қай жағдайда жүзеге асырылады.
Үзіліссіз сигналдарды таратудың цифрлық әдісі: импульсты кодтық модуляция және оның ерекшеліктері - бұл үзіліссіз сигналдарды цифрлық әдістер арқылы тарату технологиясын сипаттайды. Бұл іс-шараның негізгі мазмұны, импульсты кодтық модуляцияның құрылымы, іс-шара импульстары, және олардың кодтау және декодтау үшін келесі нысаналары жатады.
Бөгеулікке қарсы импульсті-кодтық модуляция (PCM) қоса, сигналдар қорытындысы бойынша импульстермен көптеген таратады, олары сандармен тарту арқылы жібереді және алдын ала сигнал тексеріледі. Осы метод аудио сапарлары мен деректердің цифрлық сапарлануды ұсынуға пайдаланылады. Бұл әдіс сünchen мәнін төменге байлап қалуға мүмкіндік береді.
Сигналдарды жиіліктік бөлу принципі байланыста көпканалды байланысты немесе бөлісуі тиісті сигналды бірнеше бөлікке бөліп алады. Бұл әдетте белгілі интервал бойынша болжамдарды сипаттайтын мөлшерлер бойынша сигналды жиіліктік дайындығына бөліп жатады. Бұл әдістер мен құрылымдар көпканалды системаларының алғанып алу атауларының көптегенінде пайдаланылады.
Сигналдарды уақыттық бөлу принципі көпканалды байланысты және оларды бірнеше уақыт бөліктеріне бөлу дегенді анықтайды. Бұл әдістер сигналдар мен құрылымдардың көпканалды системаларының құрылымдық схемаларының қалыптасуы бойынша қолдау ұсынатындықтарға иемделеді. Сипаттау бұл принциптерге секіру жүйелер, кесірлеулер, дисков және басқа құрулымдар арқылы орналасу арқылы орындалады.
Достарыңызбен бөлісу: |