Маалыматтык энтропия түшүнүгү чоңдук үчүн ыктымалдык масса функциясынын терс логарифмин билдирет. Ошентип, маалымат булагы төмөнкү ыктымалдыктагы мааниге ээ болгондо (б.а., аз ыктымалдык менен болгон окуя болгондо), булак маалыматынын ыктымалдуулугу жогору болгон мааниге караганда окуя көбүрөөк "маалымат" ("сюрприз") алып келет..
Ушундай жол менен аныкталган ар бир окуя аркылуу берилүүчү маалыматтын көлөмү күтүлгөн мааниси маалыматтын энтропиясы болгон кокус өзгөрмө болуп калат. Жалпысынан алганда, энтропия баш аламандык же белгисиздикти билдирет жана анын маалымат теориясында колдонулган аныктамасы статистикалык термодинамикада колдонулганга түздөн-түз окшош. IE түшүнүгү Клод Шеннон тарабынан 1948-жылы "Байланыштын математикалык теориясы" аттуу макаласында киргизилген. "Шеннондун маалыматтык энтропиясы" деген термин дал ушул жерден келип чыккан.
Аныктама жана система
Маалыматтарды берүү системасынын негизги модели үч элементтен турат: маалымат булагы, байланыш каналы жана кабыл алгыч,жана, Шеннон айткандай, "негизги байланыш көйгөйү" бул канал аркылуу кабыл алган сигналдын негизинде булак тарабынан кандай маалыматтар түзүлгөнүн аныктай алуусу үчүн. Энтропия кысылган булак маалыматтарынын мүмкүн болгон эң кыска орточо жоготуусуз коддоо узундугуна абсолюттук чектөөнү камсыз кылат. Эгерде булактын энтропиясы байланыш каналынын өткөрүү жөндөмдүүлүгүнөн азыраак болсо, анда ал түзгөн маалыматтар кабыл алуучуга ишенимдүү түрдө берилиши мүмкүн (жок дегенде теориялык жактан, балким, маалыматтарды берүү үчүн талап кылынган системанын татаалдыгы сыяктуу кээ бир практикалык ойлорду этибарга албаганда). жана берилиштерди өткөрүүгө канча убакыт керектелет).
Маалымат энтропиясы адатта бит менен (альтернатива катары "шаннондор" деп аталат) же кээде "табигый бирдиктер" (нат) же ондук сан менен ("дитс", "тыйым салуу" же "хартли" деп аталат) өлчөнөт. Өлчөө бирдиги энтропияны аныктоо үчүн колдонулган логарифмдин негизине жараша болот.
Касиеттер жана логарифм
Журналдын ыктымалдуулук бөлүштүрүлүшү энтропиянын өлчөмү катары пайдалуу, анткени ал көз карандысыз булактар үчүн кошумча болуп саналат. Мисалы, монетанын адилеттүү коюмунун энтропиясы 1 бит, ал эми m-томдуктун энтропиясы м бит. Жөнөкөй чагылдырууда log2(n) биттери n маанилердин бирин кабыл ала турган өзгөрмөнү көрсөтүү үчүн керек, эгерде n 2 даражасы болсо. Бул маанилер бирдей ыктымалдуу болсо, энтропия (биттерде) ошол санга барабар. Эгерде баалуулуктардын бири башкаларга караганда көбүрөөк ыктымал болсо, анда анын бар экендиги байкалатмааниси пайда болот, кандайдыр бир азыраак жалпы натыйжа пайда болгонуна караганда азыраак маалыматтуу. Тескерисинче, сейрек болгон окуялар кошумча көз салуу маалыматын берет.
Ыктымалдыгы азыраак болгон окуяларга байкоо жүргүзүү азыраак болгондуктан, бирдей эмес бөлүштүрүлгөн маалыматтардан алынган энтропиянын (орточо маалымат деп эсептелинет) дайыма log2(n)ден аз же барабар экендигинде жалпы эч нерсе жок. Бир жыйынтык аныкталганда энтропия нөлгө барабар.
Шеннондун маалыматтык энтропиясы негизги маалыматтардын ыктымалдык бөлүштүрүлүшү белгилүү болгондо бул ойлорду сандык жактан аныктайт. Энтропияны аныктоодо байкалган окуялардын мааниси (билдирүүлөрдүн мааниси) мааниге ээ эмес. Акыркысы белгилүү бир окуяны көрүү ыктымалдыгын гана эске алат, ошондуктан ал инкапсуляциялаган маалымат окуялардын мааниси жөнүндө эмес, мүмкүнчүлүктөрдүн негизги бөлүштүрүлүшү жөнүндө маалыматтар болуп саналат. Маалымат энтропиясынын касиеттери жогоруда сүрөттөлгөндөй бойдон калууда.
Маалымат теориясы
Маалымат теориясынын негизги идеясы бул тема жөнүндө канчалык көп билсе, ал жөнүндө ошончолук аз маалымат ала алат. Эгерде окуянын ыктымалдыгы өтө жогору болсо, анда ал качан пайда болушу таң калыштуу эмес, демек, жаңы маалыматты аз камсыз кылат. Тескерисинче, иш-чаранын болушу мүмкүн эмес болсо, анда бул окуя болгондугу алда канча маалыматтуу болгон. Демек, пайдалуу жүк окуянын тескери ыктымалдуулугунун өсүүчү функциясы (1 / б).
Эми көбүрөөк окуялар болуп кетсе, энтропияокуялардын бири болуп калса, сиз күтө турган орточо маалымат мазмунун өлчөйт. Бул монетаны ыргытканга караганда өлчөмдү ыргытуу энтропияга ээ экенин билдирет, анткени ар бир кристалл натыйжанын ыктымалдыгы ар бир тыйындын жыйынтыгына караганда азыраак болот.
Функциялар
Ошентип, энтропия – бул абалдын күтүлбөгөндүгүнүн өлчөмү же ошол эле нерсе, анын орточо маалымат мазмуну. Бул терминдерди интуитивдик түшүнүү үчүн саясий сурамжылоонун мисалын карап көрөлү. Адатта мындай сурамжылоолор, мисалы, шайлоонун жыйынтыгы азырынча белгисиз болгондуктан болот.
Башкача айтканда, сурамжылоонун натыйжалары салыштырмалуу күтүүсүз жана чындыгында аны өткөрүү жана маалыматтарды изилдөө жаңы маалыматтарды берет; алар сурамжылоонун жыйынтыктарынын мурунку энтропиясы чоң деп айтуунун ар кандай жолдору.
Эми бир эле сурамжылоо биринчиден көп өтпөй экинчи жолу аткарылган учурду карап көрөлү. Биринчи сурамжылоонун натыйжасы белгилүү болгондуктан, экинчи сурамжылоонун жыйынтыгын жакшы болжолдоого болот жана натыйжалар көп жаңы маалыматтарды камтыбашы керек; бул учурда, экинчи сурамжылоонун жыйынтыгынын априори энтропиясы биринчисине салыштырмалуу кичине.
Тыйын ыргытуу
Эми тыйынды которуунун мисалын карап көрөлү. Куйруктардын ыктымалдыгы баштардын ыктымалдыгы менен бирдей деп ойлосок, монета ыргытуунун энтропиясы өтө жогору, анткени бул системанын маалыматтык энтропиясынын өзгөчө мисалы.
Мунун себебимонетанын жыйынтыгы мөөнөтүнөн мурда ыргытыларын алдын ала айтуу мүмкүн эмес: эгер тандоо керек болсо, эң жакшы нерсе - монета куйруктарга түшөрүн алдын ала айтуу жана бул болжолдоо ыктымалдыгы менен туура болот 1 / 2. Мындай тыйын ыргытуу бир бит энтропияга ээ, анткени бирдей ыктымалдуулук менен эки мүмкүн болгон жыйынтык бар жана анык натыйжаны изилдөө бир бит маалыматты камтыйт.
Тескерисинче, монетанын эки тарабын куйругу менен жана башы жок кагууда энтропия нөлгө барабар, анткени монета ар дайым ушул белгиге конуп, жыйынтыгын эң сонун алдын ала айтууга болот.
Тыянак
Эгер кысуу схемасы жоготуусуз болсо, демек, сиз ар дайым декомпрессиялоо аркылуу оригиналдуу билдирүүнү толугу менен калыбына келтире аласыз, анда кысылган билдирүү оригиналдагыдай маалыматка ээ, бирок азыраак символдор менен берилет. Башкача айтканда, ар бир белгиге көбүрөөк маалымат же энтропия жогору. Бул кысылган билдирүүнүн ашыкча саны аз экенин билдирет.
Оорой айтканда, Шеннондун булак кодун коддоо теоремасы жоготуусуз кысуу схемасы билдирүүлөрдү орточо эсеп менен бир билдирүү битинде бир биттен ашык маалыматка ээ болуу үчүн азайта албайт, бирок бир бит маалыматтан азыраак каалаган мааниге жетишүүгө болот деп айтылат. тиешелүү коддоо схемасын колдонуу менен билдирүүлөр. Билдирүүнүн энтропиясы анын узундугун бит менен көбөйтүү анын канчалык жалпы маалыматты камтыганын көрсөтөт.
