Informații despre sine

Autoinformarea unui eveniment este cantitatea de incertitudine asociată cu evenimentul, adică informațiile obținute afirmând mai întâi că acest eveniment a avut loc și eliminând astfel incertitudinea asociată. Acest concept este introdus în contextul teoriei informației , punând bazele.

Ambiguitatea dintre incertitudine și informație nu ar trebui să fie o surpriză. De fapt, ele apar ca două fețe ale aceleiași monede: fără incertitudine nu există informații și cu cât există mai multă incertitudine în semnalul aleator, cu atât este mai informativ să dezvăluim determinarea semnalului. Având în vedere aceste premise, va fi mai ușor să înțelegem legătura strânsă dintre conceptul de „autoinformare” și cel de „ probabilitate ”.

Axiome

Să încercăm să ajungem la definiția axiomatică a autoinformării unui eveniment pornind de la considerații de natură intuitivă. Să luăm în considerare următoarea propoziție:

A: "Pe 21 iunie la Palermo va fi vreme bună"

Această propoziție intuitiv nu ne aduce multe informații. Să luăm în considerare propoziția în schimb:

B: „Pe 21 iunie la Palermo va ninge”

Această afirmație pare mult mai informativă decât cea precedentă. Motivul este că probabilitatea evenimentului A este mult mai mare decât cea a evenimentului B. Din aceste considerații apar următoarele axiome:

I - Autoinformarea anumitor evenimente este nulă

II - Autoinformarea unui eveniment este mai mare cu cât este mai mică probabilitatea acestuia

Observăm că din aceste două axiome rezultă că informațiile despre un eveniment nu pot fi niciodată negative.

Să luăm acum în considerare următoarele câteva propoziții:

C: „Pe 17 noiembrie va ploua la Londra”

Î: „Pe 17 noiembrie, domnul J. Smith din Londra va lua umbrela la ieșirea din casă”

Este evident că cele două propoziții aduc o contribuție destul de similară de informații, dar perechea de propoziții CD aduce o contribuție de informații mai mică decât suma informațiilor obținute din cele două propoziții luate individual, deoarece datele furnizate parțial se suprapun: în alte cuvinte, cele două evenimente nu sunt statistic independente.

Dacă în schimb considerăm cuplul:

A: "Pe 21 iunie la Palermo va fi vreme bună"

C: „Pe 17 noiembrie va ploua la Londra”

Putem spune intuitiv că informațiile perechii de propoziții AC sunt egale cu suma informațiilor pe care le-am putea obține considerând separat cele două propoziții, tocmai pentru că cele două evenimente sunt independente. Din aceste considerații rezultă a treia axiomă a autoinformării:

III - autoinformarea unei perechi de evenimente independente este egală cu suma autoinformării evenimentelor individuale.

Definiție

Apoi definim autoinformarea unui eveniment A care are probabilitate $p_{A}$ ${\ displaystyle p_ {A}}$ $p_ {A}$ pentru a se întâmpla, cantitatea:

$I\ :\ A\rightarrow \log {\frac {1}{p_{A}}}$ ${\ displaystyle I \: \ A \ rightarrow \ log {\ frac {1} {p_ {A}}}}$ $I \: \ A \ rightarrow \ log {\ frac {1} {p_ {A}}}$ sau $I\ :\ A\rightarrow -\log {p_{A}}$ ${\ displaystyle I \: \ A \ rightarrow - \ log {p_ {A}}}$ ${\ displaystyle I \: \ A \ rightarrow - \ log {p_ {A}}}$

Se poate arăta cu ușurință că această definiție satisface toate axiomele luate în considerare. Logaritmul este în mod normal în baza 2. În acest caz, auto-informația este măsurată în „ biți ”. Uneori se folosește logaritmul natural și, în acest caz, unitatea de măsură se numește „nat”. Este ușor să derivăm relația dintre entropie în biți și cea în nat: să treci de la prima la a doua cantitate, doar să înmulțești cu $\ln 2$ ${\ displaystyle \ ln 2}$ $\ ln 2$

Bibliografie

TM Cover, JA Thomas, Elements of Information Theory , Wiley, 1991

Elemente conexe