Шеннон сандық өлшемін құру кезінде, элементтердегі ақпарат саны сол элементтердің пайда болу ықтималдылығына кері пропорционалды пайдаланылған.
I(xi) = 1/p(xi) , (1)
Мұндағы I(xi) - количество информации в элементе xi элементіндегі ақпарат саны, а p(xi) - xi элементінің пайда болу ықтималдылығы.
Бріақ бұның бірнеше кемшіліктері бар:
p(xi) =1 кезінде , I(xi) = 1, а должно быть I(xi) = 0 болуы тиіс.
Екі элемент кезінде xi және xj , I(xi, xj) = I(xi) I(xj), I(xi,xj) = I(xi) + I(xj) болуы қажет, яғни ақпарат мөлшерінің аддитивті заңдылығы бұзылады.
Көрсетілген екі кемшіліктен логарифмдік өлшем еркін. Сондықтан
I(xi) = log 1/p(xi). (2)
Мұндай жағдайда
p(xi) =1 , I(xi) = 0.
xi, xj , I(xi,xj)=log 1/p(xi) p(xj)=log 1/p(xi)+log1/p(xj)=I(xi)+I(xj).
Ақпараттың өлшем бірлігі (2) сәйкес логарифм негізіне тәуелді: lg - [дит], ln - [нит], lb - [бит].
(2) теңдеуі бір элементтегі ақпарат санын анықтайды. Ақпарат көзінің орташа сан мөлшерін анықтау үшін олардың пайда болу мөлшері бойынша орташасын анықтау қажет
. (3)
Достарыңызбен бөлісу: |