Зертханалық ЖҰмыс. " Энтропия және ақпарат" Жұмыстың мақсаты
жүктеу/скачать 54,2 Kb.
|
2 ЗЕРТХАНАЛЫҚ ЖҰМЫС
| Энтропия-бұл белгілі бір тәжірибенің белгісіздігінің өлшемі, оның нәтижесі көптеген бастапқы элементтерден бір элементті таңдауға байланысты. Бастапқы элементтер жиынтығы таңдамалы кеңістік деп аталады. Бастапқы жиынның элементтерін сол немесе басқа күйде табу ықтималдығы оң сандар, ал олардың қосындысы 1-ге тең (әйтпесе тәжірибе нәтижесі оқиғалардың толық тобына жатпайды).
Таңдамалы кеңістік және оның ықтималдық сипаттамалары хабарламалар ансамблі болып табылады. Дискретті ансамбль үшін оқиғаның ықтималдығы сол оқиғаның құрамындағы таңдамалы кеңістік элементтерінің ықтималдықтарының қосындысына тең. Дереккөздің шығуындағы хабарламалар ансамблі хабарлама көзі ансамблі деп аталады және А әрпімен белгіленеді, оның көмегімен біз хабарлама көзі элементтерінің бастапқы жиынын ұсынатын дерексіз алфавит {A1 , A2, деп белгіленеді ..., ал i,..., ат }. Хабарламалар көзінің шығысында әріптің пайда болу ықтималдығы (8) Бұл жағдайда хабарлама көзінің энтропиясы және хабарлама көзінің шығысында бастапқы алфавит әріптерінің пайда болуының белгісіздігін білдіреді. (9) Біз қабылдағыштың кіруіндегі хабарламалар ансамблін хабарлама қабылдағыштың ансамблі деп атаймыз және оны в әрпімен белгілейміз. берілген және қабылданған сигналдарды ажырату үшін хабарлама қабылдағыштың ансамблі ұсынылған алфавитке абстрактілі (b1 , BG,)..., bi , ..., bm,}, және сәйкес Ықтималдықтар p(b1); p(b2),... .... р (bi), ..., R (BT). Хабарлама қабылдағыштың энтропиясы. (10) бұл хабарлама көзінің шығысында пайда болғаннан кейін қабылдағыштың кірісінде әріптің пайда болуының белгісіздігін білдіреді. Егер байланыс арнасында ақпарат жоғалмаса, онда әрдайым % әрпі b1 a2 - b2 әрпіне сәйкес келеді және т.б. бұл ретте Н (А) = Н (В). Энтропия ұғымы хабарламаларды беру кезінде ғана қолданылмайды. Энтропия механикалық және термодинамикалық жүйелердің күйін сипаттауда, әртүрлі тілдердің алфавиттерінің қасиеттерін зерттеуде, экономикалық жүйелерді зерттеуде және т. б. кеңінен қолданылады. Энтропияның қасиеттерін зерттеу кезінде оның ықтимал белгілердің (қасиеттердің) m санына және I-ші белгісі бар элементтің хабарламада пайда болу ықтималдығына тәуелділігі үлкен қызығушылық тудырады. Энтропия толық топты құрайтын оқиғалар жиынтығының белгісіздік өлшемін сипаттайды жеке оқиғалардың пайда болу ықтималдығының қосындысы бірлікке тең болуы керек, яғни Егер m = i = 1 болса, яғни бір I-m белгісі бар хабарлама және оның пайда болу ықтималдығы pi=1 болса, онда (11) (12) Бұл анық, өйткені I-ші белгісі бар хабарлама жіберілетіні алдын-ала белгілі және оны алған кезде біз жаңа ештеңе білмейміз, яғни нөлдік ақпарат аламыз. Егер хабарлама алдын-ала белгілі болса, онда энтропия минималды және 0-ге тең. Егер хабарламалар ансамблінде i-ші белгінің пайда болу ықтималдығы нөлге тең болса, онда осы белгімен термин шексіздікке көбейтілген нөл түріндегі белгісіздік түрін алады. Сонымен, энтропия - бұл нақты мән және экстремум. Дұрыс фракциялардың логарифмдері теріс болғандықтан, нәтижелердің соңғы санымен тәжірибе энтропиясы әрқашан оң болады. Мысал. 2048 таңбадан тұратын хабарлама жазылған алфавиттің қуаты қандай, егер оның көлемі 1,25 Кб болса. Арифметикалық түрде біз хабарламаның ақпараттық көлемін биттерге аударамыз: I =1,25*1024*8= 10 240 бит. Бір таңбаға келетін биттердің санын анықтаңыз: 10 240 бит: 2 048 = 5 бит. (1) формула бойынша алфавиттегі таңбалар санын анықтаңыз: N = 2I = 25 = 32. жүктеу/скачать 54,2 Kb. Достарыңызбен бөлісу:
|