Есептеу техникасы және программалық қамсыздандыру мамандығы үшiн
жүктеу/скачать 2,55 Mb.
|
|
(3) теңдеу хабарламадағы ақпараттың орташа санын өрнектейді. Энтропия хабарламаның анықталамаған мөлшері ретінде Хабарламаны алу нәтижесінде ақпаратты алудың міндетті шарты қандай хабарлама берілетіндігі анықталмаған болып табылады. Бұл жағдайда хабарламаны беру нәтижесіндегі, ақпарат саны неғұрлым көп болса соғұрлым анықталмағандық та көп болады. Ақпаратты алу механизімін қарастырайық: БЕРГЕНГЕ ДЕЙІНГІ АНЫҚТАЛМАҒАНДЫҚ БЕРГЕННЕН КЕЙІНГІ АҚПАРАТ Сонымен, Шеннон бойынша анықталмағандық–ол энтропия. Н міндеті. H(xi) = log 1/p(xi). (4)  . (5)
Энтропия және ақпарат теңдеуі ұқсайды, бірақ мәні әр-түрлі. Энтропия-априорлық сипаттама (бергенге дейін), ақпарат-апостериорлық сипаттама (бергеннен кейін). Берілгендерді беруді жоғалтусыз қарастырсақ, онда мынаны аламыз ЭНТРОПИЯ АҚПАРАТ БЕРГЕНГЕ ДЕЙІН h(x) 0 БЕРГЕННЕН КЕЙІН 0 I(X)=H(X) Ақпаратты кодттау сапасы энтропиямен анықталады:
Ақпарат екі әдәспен кодтталады: h1(x) = 5 бит/символ; h2(x) = 2 бит/символ. Кодттаудың бірінші әдәсә жақсы. Оптималды кодттау әр элементтің ұлғаюына бағытталуы тиіс.
Қандай жағдайларда энтропия ең үлкен және ең кіші шаманы қабылдайтынын қарасиырайық. Екілік хабарламаны беру Х пайда болу ықтималдылығы p (x1) және p (x2) екі элементтен тұрады делік x1, x2. p (x1) =1, p (x2) =0 болған кездегі жағдайды қарастырацһйық. 
Мұнда =1/p(x2) белгіленуі енгізілген, ал анықталмағандық Лапиталия ережесімен ашылды. Энтропия минималды және 0 тең, егер, элементтердің біреуі 1 тең ықтималдылығы пайда болатын болса. p (x1) = p (x2) = 0,5 жағдайды қарастырайық. 
Энтропия максималды және 1 тең. 
Екілік символ үшін Hmax = 1бит/дв.символ. Алынған нәтиже n-элементтерінен шығатын x1, x2,..., xn-1, xn Х хабарламасында талдап қорытындыланылады. hmin(X) =0 кезінде p(xi) = 1, p(xj) = 0, i j. 
p(x1)= p(x2)= .... =p(xn-1)= p(xn) кезінде. Ізінше, оптималды кодттау үшін элементтердің пайда болу ықтималдылығын теңестіру қажет.
жүктеу/скачать 2,55 Mb. Достарыңызбен бөлісу:
|