2 Энтропия, оның қасиеттері

Ақпараттың сандық мөлшерін Клод Шеннон алғаш енгізген.

x₁, x₂,...., x_n элементтерінен тұратын, X кейбір хабарламасы болсын делік. Элементтердің әр-қайсысына оның пайда болу ықтималдылығы p(x₁), p(x₂),...., p(x_n) сәйкес келеді.

Шеннон сандық өлшемін құру кезінде, элементтердегі ақпарат саны сол элементтердің пайда болу ықтималдылығына кері пропорционалды пайдаланылған.

I(x_i) = 1/p(x_i) , (1)

Мұндағы I(x_i) - количество информации в элементе x_i элементіндегі ақпарат саны, а p(x_i) - x_i элементінің пайда болу ықтималдылығы.

Бріақ бұның бірнеше кемшіліктері бар:

p(x_i) =1 кезінде , I(x_i) = 1, I(x_i) = 0 болуы тиіс.

Екі элемент кезінде x_i және x_j , I(x_i, x_j) = I(x_i) I(x_j), I(x_i,x_j) = I(x_i) + I(x_j) болуы қажет, яғни ақпарат мөлшерінің аддитивті заңдылығы бұзылады.

Көрсетілген екі кемшіліктен логарифмдік өлшем еркін. Сондықтан

I(x_i) = log 1/p(x_i). (2)

Мұндай жағдайда

p(x_i) =1 , I(x_i) = 0.

x_i, x_j , I(x_i,x_j)=log 1/p(x_i) p(x_j)=log 1/p(x_i)+log1/p(x_j)=I(x_i)+I(x_j).

Ақпараттың өлшем бірлігі (2) сәйкес логарифм негізіне тәуелді: lg - [дит], ln - [нит], lb - [бит].

(2) теңдеуі бір элементтегі ақпарат санын анықтайды. Ақпарат көзінің орташа сан мөлшерін анықтау үшін олардың пайда болу мөлшері бойынша орташасын анықтау қажет