Зертханалық ЖҰмыс. " Энтропия және ақпарат" Жұмыстың мақсаты

жүктеу/скачать 54,2 Kb. бет 1/3 Дата 30.03.2023 өлшемі 54,2 Kb. #173369

Бұл бет үшін навигация:

• Тапсырмалар
• Тақырып бойынша қысқаша теория: Негізгі ережелер

ЗЕРТХАНАЛЫҚ ЖҰМЫС. " ЭНТРОПИЯ ЖӘНЕ АҚПАРАТ" Жұмыстың мақсаты: энтропияны теориялық түсіну, оның қасиеттерімен танысу және есептерді шешу. Тапсырмалар: 1. Энтропияның теориялық түсінігін зерттеу. 2. Энтропияның қасиеттерін зерттеу. 3. Тақырып бойынша практикалық тапсырмаларды орындау (есептерді шешу). 4. Зертханалық жұмыс туралы есеп беру және мұғалімге ұсыну. Тақырып бойынша қысқаша теория: Негізгі ережелер: 1) ақпараттың мөлшері оны беру тәсіліне байланысты емес; 2) бір факт туралы хабарламалардың ұзындығы екінші алфавиттің сапалық белгілерінің санымен айқындалады, бірақ ақпарат саны осы хабарламаның ұзындығына байланысты емес; 3) ақпарат саны, егер олардың әрқайсысы берілген факт туралы белгісіздікті жойса, хабарламалар санына байланысты болады. Хабарламадағы n элементтері бойынша алфавиттің m таңбаларын біріктіру арқылы алуға болатын N хабарламалар саны (1) Көріп отырғаныңыздай, хабарламалар саны N және онымен бірге берілетін ақпарат Саны хабарламадағы элементтер санына экспоненциалды түрде тәуелді. Сондықтан N ақпарат мөлшерінің өлшемі ретінде тікелей қолданыла алмайды. Хабарламада 3-тен екі таңбаны біріктіре отырып, сегіз хабарлама жіберуге болады, 4 – он алты, 5 – отыз екі және т. б. 1929 жылы американдық ғалым Р. Хартли ақпарат санының өлшемі ретінде ықтимал таңбалар тізбегі санының логарифмін қабылдауды ұсынды: (2) Логарифмнің негізі ақпарат санының таңдалған бірлігіне байланысты. Екілік, ондық және табиғи логарифмдерді қолдануға болатын өрнектерде Логарифмнің негізі қойылмайды. Екілік логарифмді қолданған кезде ақпарат биттермен өлшенеді. Хабарлама жасау үшін m сапалық белгілері бар k белгілері және Pi – әр сапалық белгінің немесе символдың пайда болу ықтималдығы болсын. Шеннон үшін қатынас алды хабарламадағы ақпараттың орташа мөлшерін анықтау символдық мәндердің пайда болуының ерікті ықтималдығымен: (3) Тең ықтималдық таңбаларында, яғни pi = 1/m кезінде Шеннон формуласы Хартли формуласына ауысады: (4) Априорлық белгісіздік неғұрлым көп болса, оны алып тастағанда соғұрлым көп ақпарат алынады. Бұл тұрғыда белгісіздік ақпарат мөлшерін бағалаудың ыңғайлы шарасы болып табылады. Ақпарат теориясында белгісіздік өлшемі энтропия болып табылады – хабарламаның бір элементіне келетін ақпараттың нақты мөлшері (бастапқы алфавиттің әрпі). K элементтерінен хабарлама үшін бұл мән (5) және хабарламаның орташа энтропиясы деп аталады. Хабарламаның кез келген m элементтерінің пайда болу ықтималдығы бірдей болған жағдайда (6) Осылайша, егер ақпаратты беру кезінде ақпараттық шығындар болмаса, онда хабарлама символына ақпарат Саны дәл Н-ге тең болады, ал символдарды беру кезінде ақпарат Саны болады . "Ақпарат мөлшері" және "ақпарат көлемі"ұғымдарын ажырату керек. Ақпарат саны бастапқы алфавитке, ал ақпарат көлемі екінші алфавитке қатысты есептеледі. Ақпарат көлемі екінші алфавиттегі хабарламаның ұзындығына байланысты n және тең (7) k-хабарламадағы бастапқы алфавит таңбаларының саны n-бастапқы алфавиттің 1 таңбасын кодтауға арналған екінші алфавит таңбаларының саны. жүктеу/скачать 54,2 Kb. Достарыңызбен бөлісу: