" Предмет и основные понятия информатики"



бет7/24
Дата19.09.2022
өлшемі64,8 Kb.
#149870
түріЗакон
1   2   3   4   5   6   7   8   9   10   ...   24
Байланысты:
barvenov 5 (1)

Например:


Десятичное 13=1·23+1·22+0·21+1·20=1101 в двоичной системе. Десятичное 65=4·161+1·160=41 в шестнадцатеричной системе.
Шестнадцатеричное 15AF=1·163+5·162+A·161+F·160=4096+1280+160+15=5551 в десятичной системе.

Рассмотрим множество, состоящее из чисел в двоичной системе счисления длиной i двоичных разрядов. При этом каждый из разрядов может принимать значения только 0 и 1:



Кол-во
двоичных разрядов (i)

Кол-во состояний, которое можно пронумеровать i-разрядными двоичными числами
(N)

1

2 (0 1)

2

4 (00 01 10 11)

3

8 (000 001 010 011 100 101 110 111)

4

16 (0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111)

i

2i (000…00 000…01 …… 111…11)

Рассмотрим процесс выбора чисел из рассмотренного множества. До выбора вероятность выбрать любое число одинакова. Существует объективная неопределенность в вопросе о том, какое число будет выбрано. Эта неопределенность тем больше, чем больше N — количество чисел, а чисел тем больше — чем больше разрядность i этих чисел.
Примем, что выбор одного числа дает нам следующее количество информации:
i = Log2(N).
Таким образом, количество информации, содержащейся в двоичном числе, равно количеству двоичных разрядов в этом числе.
Это выражение и представляет собой формулу Хартли для количества информации.
При увеличении длины числа в два раза количество информации в нем также должно возрасти в два раза, несмотря на то, что количество чисел во множестве возрастает при этом по показательному закону (в квадрате, если числа двоичные), т.е. если
N2=(N1)2,
то
I2 = 2 * I1, F(N1*N1)= F(N1) + F(N1).
Это невозможно, если количество информации выражается линейной функцией от количества элементов во множестве. Но известна функция, обладающая именно таким свойством: это Log:
Log2(N2) = Log2(N1)2= 2 * Log2(N1).
Это второе требование называется требованием аддитивности.
Таким образом, логарифмическая мера информации, предложенная Хартли, одновременно удовлетворяет условиям монотонности и аддитивности. Сам Хартли пришел к такому представлению меры информации на основе эвристических соображений, подобных только что изложенным. Но в настоящее время строго доказано, что логарифмическая мера для количества информации однозначно следует из этих двух постулированных им условий.
Минимальное количество информации получается при выборе одного из двух равновероятных вариантов. Это количество информации принято за единицу измерения и называется бит (от англ. binary digit — двоичная цифра, то есть два возможных значения).


Достарыңызбен бөлісу:
1   2   3   4   5   6   7   8   9   10   ...   24




©engime.org 2024
әкімшілігінің қараңыз

    Басты бет