А. Энтропиялық әдіс. Ақпарат теориясында ақпараттардың мӛлшері ақпарат алушыда таңдау-
дың анықталмағандығын ( энтропияны) немесе оқиғаларды кҥтуді азайту ҥшін
қолданылатын ӛлшем ретінде бағаланады. Оқиғаның ықтималдығы қанша аз
болса, ақпараттың мӛлшері соншама кӛп болады.
Энтропиялық әдіс байланыс каналдары бойынша берілетін ақпараттың
мӛлшерін анықтауға кең тҥрде пайдаланылады.
Ақпараттарды қабылдаудағы таңдау қабылданған хабардағы алфавит
символдарының арасындағы қатысқа байланысты анықталады. Айталық,
канал бойынша берілген хабар N символдан ( хабардағы символдарға қатысты
есептелгенде) тҧрсын. Сонда хабардағы ақпарат мӛлшері Шеннонның
i k i i p p N T
1
2
log
формуласы бойынша есептеледі, мҧндағы
р i – хабардағы
і символының пайда
болу ықтималдығы;
k – тіл алфавитіндегі символдар саны;
Шеннонның формуласын талдау, ақпараттың екілік тҥрде ( биттер
немесе байттар арқылы) бейнеленуіндегі мӛлшері екі шамаға тәуелді екенін
кӛрсетеді: яғни хабарламадағы символдар саны мен пайдаланылатын алфавит-
тегі хабарламалардағы белгілі бір символдың пайда болу жиілігіне тәуелді
болатынын кӛрсетеді. Бҧл әдіс алынған ақпараттың қаншалықты пайдалы
екенін бейнелемейді, бірақ хабарламаны жіберуге кететін шығынды анықтауға
мҥмкіндік береді