Бит ағылшынша bit — binary digit
жүктеу/скачать 54,37 Kb.
|
ukebay
- Бұл бет үшін навигация:
- Энтропия
- Қайтымды процестерде
|
Клод Шеннон информацияны өлшеу үшін бір бит (ағылшынша bit — binary digit — екілік сан) бірлігін ұсындыБит — өлшеудің ең кіші бірлігі, сондықтан практикада одан үлкенірек өлшем бірлігі — байт қолданылады. Байт — қатар тұрған сегіз биттен тұрады. Хартли формуласы: I = log2N Хартли формуласы бойынша осы мысал үшін қандай информация көлемі керек екенін табуға болады: I = log2100 > 6,644. Шеннон формуласы: I = — ( p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN), мұндағы pi — N хабарлар ішінен i нөмірлі хабарды таңдап алу ықтималдығы. Энтропиятермодинамикалық жүйенің сыртқы ортамен жылу алмасу және өздігінен өшетін процестердің өту бағытын сипаттайтын шама. Қайтымсыз процесте онашаланған жүйенің энтропиясы артады және процестер Энтропия артатын жаққа бағытталады Қайтымды процестердеонашаланған жүйенің энтропиясы өзгермейді S=const {X, p (x)} және {Y, p (y)} деректерін {XY, p (x, y) {көзі бірге көрсетсін. Біз кейбірін жөндейміз yj ∈ Y, p (yj) 6 = 0 элементар хабарлама және Х-да шартты үлестіруді қарастырайық (x | yj) Х үшін {X, p (x)} қайнар көзінің xi ∈ X хабарламасынан шартты түрде тиісті ақпарат анықталған I (xi.) | yj) = - log p (xi) | yj), xi хабарламасының тіркелген yj хабарламасы бар элементі. I (x | yj), x ∈ X функциясын {X, p (x | yj)} ықтималдық кеңістігінде кездейсоқ шамалар ретінде қарастыруға болады. Оның күтуі H (X | yj) = X М i = 1 p (xi.) | yj) I (xi| yj) = -X М i = 1 p (xi | yj) log p (xi | yj) yj ∈ Y хабарламасына қатысты {X, p (x)} көзінің шартты энтропиясы деп аталады. Өз кезегінде H (X | y), y ∈ Y шартты энтропиясын кездейсоқ деп санауға болады ықтималдық кеңістігіндегі шама {Y, p (y)}. Статистикалық физика ақпаратпен тығыз байланысты, ол берілген дереккөз хабарламаларының белгісіздік өлшемі ретінде қызмет етеді. Белгілі бір (дискретті) статистикалық ықтималдықтың таралуы үшін pk ақпараттық E. мәнді шақырыңыз Ni мәні нөлге тең, егер pk-дің кез-келгені 1-ге тең болса, қалғандары нөлге тең, яғни ақпаратта белгісіздік жоқ. E. pk бір-біріне тең болған кезде және ақпараттағы сенімсіздік максималды болған кезде ең үлкен мәнді алады. Ақпараттық э., Термодинамика сияқты, аддитивтік қасиетке ие (д. Бірнеше хабарламаның е-нің қосындысына тең. Жеке хабарламалардың). К.Э.Шеннон ақпарат көзінің E. белгілі бір байланыс арнасы арқылы ақпаратты «шу-иммунитетті» беру жылдамдығының критикалық мәнін анықтайтындығын көрсетті (Шеннон теоремасын қараңыз). Статистикалық физиканың негізгі үлестірімдерін ақпараттық экологияның ықтималдық түсіндірмесінен алуға болады: берілген орташа энергиядағы ақпараттық экологияның максималды мәніне сәйкес келетін канондық Гиббстің таралуы және жүйенің белгілі бір орташа энергиясы мен бөлшектерінің саны үшін үлкен канондық Гиббстің таралуы. Жоғарғы деңгейдегі жүйелер, өз кезегінде территория бойынша таралып, функционалдық принциптері және техникалық жүзеге асырылуы бойынша иерархиялық болып орналасқан. Территория бойынша таралып, алыс орналасу ұзындығы өте үлкен, жылдам әрі сенімді байланыс арналарын, ал өңделетін информация көлемінің үлкен болуы - өнімділігі жоғары ЭЕМ-дерді қажет етеді. Мұндай жағдай құны қымбат болатын автоматтандыру құралдарын (ЭЕМ және байланыс арналары) және өңделетін информацияны (деректер базасын) ұжымдық пайдалануды қажет етеді. ЭЕМ-дердің және байланыс құралдарының техникалық дамуы бұл мәселені үлестірілген информациялық-есептеу желілерін ұжымдық пайдалану арқылы шешеді. жүктеу/скачать 54,37 Kb. Достарыңызбен бөлісу:
|