Ақпараттар және кодтау теориясы

1. Ақпараттың сандық бағасы бар.

2. Ақпарат саны мен осы алфавиттен тұратын комбинациялар саны арасындағы байланыс логарифмдік болып табылады.

3. Ақпарат санының жалпы қабылданған бірлігі екілік.

Бұл екі мүмкін таңбаның біреуін таңдағанда және битке тең болады.

4. Ақпараттың мөлшері жағдайлардың санына байланысты емес (әрине, оған байланысты), бірақ берілген факт туралы белгісіздікті жою арқылы анықталады.

5. Ақпараттың мөлшері бастапқы алфавитке қатысты анықталады және оны беру әдісіне және екінші алфавиттегі хабарлама ұзындығына байланысты емес.

6. Ақпарат көлемі екінші алфавитке қатысты анықталады және екінші алфавиттегі хабарламаның орташа ұзындығының хабарлама санына көбейтіндісіне тең.

7. Ақпараттың мөлшері сол ақпараттың Өлшем бірліктеріндегі көлемінен аспауы керек.

8. Ақпарат - бұл бір хабарлама немесе олардың жиынтығы, олар келгенге дейін бар белгісіздікті жояды.

9. Бір әріптің пайда болуының энтропиясын анықтау мүмкін емес, өйткені энтропия тұтастай сипаттайды және математикалық күту - log pi.

Сондықтан хабарлама көзінің шығуындағы кодтық сөздердің пайда болуына қатысты "энтропия" ұғымымен жұмыс істеу хабарлама көзінің кодтық шығуының белгісіздігі көздің энтропиясына тең деген мағынада мүмкін.