Entropie (teoria informației)

În teoria informației, entropia unei surse de mesaje este media informațiilor conținute în fiecare mesaj trimis. Informațiile conținute într-un mesaj sunt cu atât mai mari cu cât erau mai puține. Un mesaj abandonat, care are o mare probabilitate de a fi emis de sursă, conține puține informații, în timp ce un mesaj neașteptat, puțin probabil, conține o cantitate mare de informații. Entropia unei surse răspunde la întrebări precum: care este numărul minim de biți necesari pentru a stoca un mesaj de la sursă în medie? Cât de previzibile sunt mesajele emise de sursă?

S-a arătat că o secvență de mesaje emise de o sursă poate fi comprimată fără pierderi de informații până la un număr minim de biți per mesaj egal cu entropia sursei.

O secvență de litere precum aaaaaaaa are mai puțină entropie decât un cuvânt precum alfabetul care, la rândul său, are și mai puțină entropie decât un șir complet aleatoriu, cum ar fi j3s0vek3 . Entropia poate fi văzută ca aleatoritatea conținută într-un șir și este strâns legată de numărul minim de biți necesari pentru a-l reprezenta fără erori.

Istorie

Îi datorăm lui Claude Shannon studiul entropiei în teoria informației, prima sa lucrare pe această temă se regăsește în articolul O teorie matematică a comunicării din 1948 . În prima teoremă a lui Shannon, sau teorema lui Shannon privind codificarea sursă, el a demonstrat că o sursă aleatorie de informații nu poate fi reprezentată cu un număr de biți mai mic decât entropia sa, adică auto-informația medie. Acest rezultat a fost implicit în definiția statistică a entropiei de către John Von Neumann , chiar dacă însuși Von Neumann, pus la îndoială de Shannon în probabil singurul schimb de opinii dintre ei, nu l-a considerat demn de atenție. După cum și-a amintit mai târziu Shannon despre rezultat, a găsit:

„Cea mai mare preocupare a mea a fost cum să-i spun. Am crezut că îl numesc informații , dar cuvântul a fost folosit prea mult, așa că am decis să-l numesc incertitudine . Când am discutat acest lucru cu John Von Neumann, el a avut o idee mai bună. El mi-a spus că ar trebui să o numesc entropie , din două motive: "În primul rând, funcția ta de incertitudine este deja cunoscută în mecanica statistică cu acest nume. În al doilea rând, și mai semnificativ, nimeni nu știe ce este entropia pentru sigur va avea întotdeauna un avantaj "

Definiție

Informații conținute într-un eveniment

Informațiile conținute într-un eveniment $X$ ${\ displaystyle x}$ $X$ emis de la o sursă $X$ ${\ displaystyle X}$ $X$ , numită și autoinformare, se calculează ca:

I(x)=-\log _{b}\mathbb {P} (x)

{\ displaystyle I (x) = - \ log _ {b} \ mathbb {P} (x)}

{\ displaystyle I (x) = - \ log _ {b} \ mathbb {P} (x)}

Unde este $\mathbb {P} (x)$ ${\ displaystyle \ mathbb {P} (x)}$ ${\ displaystyle \ mathbb {P} (x)}$ este probabilitatea ca evenimentul $X$ ${\ displaystyle x}$ $X$ întâmpla. Logaritmul rezultă din faptul că prin notația pozițională este posibil să se facă distincția $Nu.$ ${\ displaystyle N}$ $Nu.$ evenimente echipabile cu utilizarea soarelui $\log _{b}N$ ${\ displaystyle \ log _ {b} N}$ ${\ displaystyle \ log _ {b} N}$ cifre, unde ${\textstyle b}$ ${\ textstyle b}$ ${\ textstyle b}$ este baza numerotării . Prin urmare, înseamnă că informațiile unui eveniment pot fi văzute ca cantitatea de cifre din bază ${\textstyle b}$ ${\ textstyle b}$ ${\ textstyle b}$ pentru a fi folosit pentru a distinge evenimentul care s-a întâmplat de toate celelalte evenimente posibile. Logaritmul devine indispensabil dacă, având în vedere două evenimente independente a căror probabilitate este produsul probabilităților unice, dorim ca entropia totală să fie suma entropiilor evenimentelor unice.

Deoarece biții sunt adesea utilizați în informatică pentru codificare, este o convenție obișnuită să se utilizeze logaritmul în baza 2. Autoinformarea este deci măsurată în biți, în timp ce se utilizează logaritmul natural în loc se folosește unitatea nat de măsură introdusă de Shannon. În special $1\ {\text{bit}}=0.69315\ {\text{nat}}$ ${\ displaystyle 1 \ {\ text {bit}} = 0.69315 \ {\ text {nat}}}$ ${\ displaystyle 1 \ {\ text {bit}} = 0.69315 \ {\ text {nat}}}$

Entropia unei surse

Entropia unei surse este definită ca valoarea așteptată a autoinformării , adică informația medie conținută în fiecare mesaj emis:

\mathbb {H} [X]=\mathbb {E} \left[I(X)\right]=\mathbb {E} \left[-\log _{b}{\mathbb {P} (X)}\right]

{\ displaystyle \ mathbb {H} [X] = \ mathbb {E} \ left [I (X) \ right] = \ mathbb {E} \ left [- \ log _ {b} {\ mathbb {P} ( X)} \ dreapta]}

{\ displaystyle \ mathbb {H} [X] = \ mathbb {E} \ left [I (X) \ right] = \ mathbb {E} \ left [- \ log _ {b} {\ mathbb {P} ( X)} \ dreapta]}

Poate fi înțeles ca numărul de cifre din bază ${\textstyle b}$ ${\ textstyle b}$ ${\ textstyle b}$ pentru a fi utilizat în medie pentru a stoca un singur eveniment produs de sursă.

Dacă sursa $X$ ${\ displaystyle X}$ $X$ este o variabilă discretă aleatorie , valoarea așteptată este redusă la o medie a informațiilor fiecărui eveniment $x_{i}$ ${\ displaystyle x_ {i}}$ $x_i$ ponderat cu propria probabilitate $\mathbb {P} (x_{i})$ ${\ displaystyle \ mathbb {P} (x_ {i})}$ ${\ displaystyle \ mathbb {P} (x_ {i})}$

\mathbb {H} [X]=-\sum _{i=1}^{N}{\mathbb {P} (x_{i})\cdot \log _{b}{\mathbb {P} (x_{i})}}

{\ displaystyle \ mathbb {H} [X] = - \ sum _ {i = 1} ^ {N} {\ mathbb {P} (x_ {i}) \ cdot \ log _ {b} {\ mathbb {P } (x_ {i})}}}

{\ displaystyle \ mathbb {H} [X] = - \ sum _ {i = 1} ^ {N} {\ mathbb {P} (x_ {i}) \ cdot \ log _ {b} {\ mathbb {P } (x_ {i})}}}

Dacă sursa $X$ ${\ displaystyle X}$ $X$ este o variabilă continuă aleatorie , valoarea așteptată trebuie calculată printr-o integrală:

\mathbb {H} [X]=-\int {\mathbb {P} (x)\cdot \log _{b}{\mathbb {P} (x)}}\ dx

{\ displaystyle \ mathbb {H} [X] = - \ int {\ mathbb {P} (x) \ cdot \ log _ {b} {\ mathbb {P} (x)}} \ dx}

{\ displaystyle \ mathbb {H} [X] = - \ int {\ mathbb {P} (x) \ cdot \ log _ {b} {\ mathbb {P} (x)}} \ dx}

Entropia unei variabile aleatoare continue nu împărtășește toate proprietățile acesteia pentru variabilele discrete, de exemplu $\mathbb {H} [X]$ ${\ displaystyle \ mathbb {H} [X]}$ ${\ displaystyle \ mathbb {H} [X]}$ poate fi negativ.

Probabilitatea evenimentelor emise poate depinde de starea sursei sau de evenimentele emise anterior, caz în care se spune că sursa are memorie. Entropia surselor cu memorie este în mod rezonabil mai mică decât entropia unei surse fără memorie. De fapt, evenimentele emise depind într-o anumită măsură de cele emise anterior, ceea ce le face mai previzibile. De exemplu, gândiți-vă la o sursă care emite biți negri / albi ai unui fax. Știind că foile scanate conțin adesea scris negru pe alb, probabilitatea ca există un bit alb depinde de biții anteriori, dacă cele anterioare erau albe crește probabilitatea ca bitul următor să fie alb.

Proprietățile variabilelor aleatorii discrete

Dacă într-o primăvară $X$ ${\ displaystyle X}$ $X$ există câteva valori $x_{i}$ ${\ displaystyle x_ {i}}$ $x_i$ pentru care $\mathbb {P} (x_{i})=0$ ${\ displaystyle \ mathbb {P} (x_ {i}) = 0}$ ${\ displaystyle \ mathbb {P} (x_ {i}) = 0}$ , prezența lor nu influențează entropia sursei, de fapt contribuția lor la însumare este văzută prin limita de $x\log x$ ${\ displaystyle x \ log x}$ ${\ displaystyle x \ log x}$ pentru $x\rightarrow 0$ ${\ displaystyle x \ rightarrow 0}$ ${\ displaystyle x \ rightarrow 0}$ . După cum se poate înțelege cu ușurință, dacă aceste valori nu sunt emise niciodată, nu este nevoie să le considerăm ca posibile mesaje.

Domeniu de entropie pentru variabile discrete

Este dovedit de entropia unei variabile aleatorii discrete $X$ ${\ displaystyle X}$ $X$ care poate dura $Nu.$ ${\ displaystyle N}$ $Nu.$ valorile distincte dețin întotdeauna relația:

0\leq \mathbb {H} [X]\leq \log _{b}{N}

{\ displaystyle 0 \ leq \ mathbb {H} [X] \ leq \ log _ {b} {N}}

{\ displaystyle 0 \ leq \ mathbb {H} [X] \ leq \ log _ {b} {N}}

Demonstrație

În primul rând observăm că, desigur, este adevărat $\mathbb {\sum } _{i=1}^{N}{\mathbb {P} (x_{i})}=1$ ${\ displaystyle \ mathbb {\ sum} _ {i = 1} ^ {N} {\ mathbb {P} (x_ {i})} = 1}$ ${\ displaystyle \ mathbb {\ sum} _ {i = 1} ^ {N} {\ mathbb {P} (x_ {i})} = 1}$ . Vom folosi acest fapt de mai multe ori.

În definiția entropiei prin adăugarea și scăderea ${\textstyle \log _{b}{N}}$ ${\ textstyle \ log _ {b} {N}}$ ${\ textstyle \ log _ {b} {N}}$ primesti:

\mathbb {H} [X]=-\sum _{i=1}^{N}{\mathbb {P} (x_{i})\cdot \left(\log _{b}{\mathbb {P} (x_{i})}+\log _{b}{N}-\log _{b}{N}\right)}

{\ displaystyle \ mathbb {H} [X] = - \ sum _ {i = 1} ^ {N} {\ mathbb {P} (x_ {i}) \ cdot \ left (\ log _ {b} {\ mathbb {P} (x_ {i})} + \ log _ {b} {N} - \ log _ {b} {N} \ right)}}

{\ displaystyle \ mathbb {H} [X] = - \ sum _ {i = 1} ^ {N} {\ mathbb {P} (x_ {i}) \ cdot \ left (\ log _ {b} {\ mathbb {P} (x_ {i})} + \ log _ {b} {N} - \ log _ {b} {N} \ right)}}

Atâta timp cât $-\log _{b}{N}$ ${\ displaystyle - \ log _ {b} {N}}$ ${\ displaystyle - \ log _ {b} {N}}$ este o constantă, o putem extrage din însumarea pentru liniaritate.

\mathbb {H} [X]=\log _{b}{N}-\sum _{i=1}^{N}{\mathbb {P} (x_{i})\cdot \left(\log _{b}{\mathbb {P} (x_{i})}+\log _{b}{N}\right)}

{\ displaystyle \ mathbb {H} [X] = \ log _ {b} {N} - \ sum _ {i = 1} ^ {N} {\ mathbb {P} (x_ {i}) \ cdot \ left (\ log _ {b} {\ mathbb {P} (x_ {i})} + \ log _ {b} {N} \ right)}}

{\ displaystyle \ mathbb {H} [X] = \ log _ {b} {N} - \ sum _ {i = 1} ^ {N} {\ mathbb {P} (x_ {i}) \ cdot \ left (\ log _ {b} {\ mathbb {P} (x_ {i})} + \ log _ {b} {N} \ right)}}

Care pentru proprietățile logaritmilor pot fi scrise ca:

\mathbb {H} [X]=\log _{b}{N}+\sum _{i=1}^{N}{\mathbb {P} (x_{i})\cdot \log _{b}{\frac {1}{\mathbb {P} (x_{i})\cdot N}}}

{\ displaystyle \ mathbb {H} [X] = \ log _ {b} {N} + \ sum _ {i = 1} ^ {N} {\ mathbb {P} (x_ {i}) \ cdot \ log _ {b} {\ frac {1} {\ mathbb {P} (x_ {i}) \ cdot N}}}}

{\ displaystyle \ mathbb {H} [X] = \ log _ {b} {N} + \ sum _ {i = 1} ^ {N} {\ mathbb {P} (x_ {i}) \ cdot \ log _ {b} {\ frac {1} {\ mathbb {P} (x_ {i}) \ cdot N}}}}

Se observă că pentru fiecare $X$ ${\ displaystyle x}$ $X$ Și $b>1$ ${\ displaystyle b> 1}$ ${\ displaystyle b> 1}$ merită asta $\log _{b}{x}\leq {\frac {1}{\ln b}}\cdot (x-1)$ ${\ displaystyle \ log _ {b} {x} \ leq {\ frac {1} {\ ln b}} \ cdot (x-1)}$ ${\ displaystyle \ log _ {b} {x} \ leq {\ frac {1} {\ ln b}} \ cdot (x-1)}$ dacă comparăm graficul logaritmului cu linia tangentă la $\log _{b}{x}$ ${\ displaystyle \ log _ {b} {x}}$ ${\ displaystyle \ log _ {b} {x}}$ în $x=1$ ${\ displaystyle x = 1}$ ${\ displaystyle x = 1}$ adică $y={\frac {1}{\ln b}}\cdot (x-1)$ ${\ displaystyle y = {\ frac {1} {\ ln b}} \ cdot (x-1)}$ ${\ displaystyle y = {\ frac {1} {\ ln b}} \ cdot (x-1)}$ . Deci, al doilea addend al expresiei anterioare poate fi mărit:

\sum _{i=1}^{N}{\mathbb {P} (x_{i})\cdot \log _{b}{\frac {1}{\mathbb {P} (x_{i})\cdot N}}}\leq {\frac {1}{\ln b}}\sum _{i=1}^{N}{\left({\frac {1}{N}}-\mathbb {P} (x_{i})\right)}={\frac {1}{\ln b}}(1-1)=0

{\ displaystyle \ sum _ {i = 1} ^ {N} {\ mathbb {P} (x_ {i}) \ cdot \ log _ {b} {\ frac {1} {\ mathbb {P} (x_ { i}) \ cdot N}}} \ leq {\ frac {1} {\ ln b}} \ sum _ {i = 1} ^ {N} {\ left ({\ frac {1} {N}} - \ mathbb {P} (x_ {i}) \ right)} = {\ frac {1} {\ ln b}} (1-1) = 0}

{\ displaystyle \ sum _ {i = 1} ^ {N} {\ mathbb {P} (x_ {i}) \ cdot \ log _ {b} {\ frac {1} {\ mathbb {P} (x_ { i}) \ cdot N}}} \ leq {\ frac {1} {\ ln b}} \ sum _ {i = 1} ^ {N} {\ left ({\ frac {1} {N}} - \ mathbb {P} (x_ {i}) \ right)} = {\ frac {1} {\ ln b}} (1-1) = 0}

Adică, al doilea summend este întotdeauna mai mic decât $0$ ${\ displaystyle 0}$ ${\ displaystyle 0}$ prin urmare:

\mathbb {H} [X]\leq \log _{b}{N}

{\ displaystyle \ mathbb {H} [X] \ leq \ log _ {b} {N}}

{\ displaystyle \ mathbb {H} [X] \ leq \ log _ {b} {N}}

În special, se arată că maximul entropiei este precis $\log _{b}{N}$ ${\ displaystyle \ log _ {b} {N}}$ ${\ displaystyle \ log _ {b} {N}}$ și o primești când totul $Nu.$ ${\ displaystyle N}$ $Nu.$ valorile sunt la fel de probabile.

Eficiența unui alfabet

Dat un alfabet de $Nu.$ ${\ displaystyle N}$ ${\ displaystyle N}$ simboluri, entropia sa $\log _{b}(N)$ ${\ displaystyle \ log _ {b} (N)}$ ${\ displaystyle \ log _ {b} (N)}$ în transmiterea informațiilor este maximă dacă toate simbolurile sunt utilizate cu aceeași frecvență și eficiența alfabetului poate fi definită ca raportul dintre entropia acestuia și maximul posibil pentru un alfabet de $Nu.$ ${\ displaystyle N}$ ${\ displaystyle N}$ simboluri:

\eta [X]={\frac {-\sum _{i=1}^{N}{\mathbb {P} (x_{i})\cdot \log _{b}{\mathbb {P} (x_{i})}}}{\log _{b}{N}}}

{\ displaystyle \ eta [X] = {\ frac {- \ sum _ {i = 1} ^ {N} {\ mathbb {P} (x_ {i}) \ cdot \ log _ {b} {\ mathbb { P} (x_ {i})}}} {\ log _ {b} {N}}}}

{\ displaystyle \ eta [X] = {\ frac {- \ sum _ {i = 1} ^ {N} {\ mathbb {P} (x_ {i}) \ cdot \ log _ {b} {\ mathbb { P} (x_ {i})}}} {\ log _ {b} {N}}}}

Pentru a comprima fișiere fără a pierde informații, este necesar să utilizați un alfabet mai eficient. Dacă te uiți la un fișier comprimat cu un editor de text sau hexazecimal, poți vedea marimea aleatorie a octeților conținuți în acesta. Algoritmii care permit îmbunătățirea unei codificări ineficiente sunt de exemplu codificarea Huffman și codarea aritmetică , ambele codificări trebuie să estimeze probabilitatea cu care au fost prezentate simbolurile codificării anterioare pentru a o îmbunătăți.

Exemple

Fig. 1 - Entropia unei surse binare

Entropia unei surse binare $X$ ${\ displaystyle X}$ ${\ displaystyle X}$ cine are probabilitate $p$ ${\ displaystyle p}$ $p$ a produce ${\textstyle 1}$ ${\ textstyle 1}$ ${\ textstyle 1}$ , probabilitate $q$ ${\ displaystyle q}$ $q$ să producă și în consecință $p+q=1$ ${\ displaystyle p + q = 1}$ $p + q = 1$ è (a se vedea figura 1):

\mathbb {H} [X]=-\left(p\log _{2}{p}+q\log _{2}{q}\right)=-\left[p\log _{2}{p}+\left(1-p\right)\log _{2}\left(1-p\right)\right]

{\ displaystyle \ mathbb {H} [X] = - \ left (p \ log _ {2} {p} + q \ log _ {2} {q} \ right) = - \ left [p \ log _ { 2} {p} + \ left (1-p \ right) \ log _ {2} \ left (1-p \ right) \ right]}

{\ displaystyle \ mathbb {H} [X] = - \ left (p \ log _ {2} {p} + q \ log _ {2} {q} \ right) = - \ left [p \ log _ { 2} {p} + \ left (1-p \ right) \ log _ {2} \ left (1-p \ right) \ right]}

Prin urmare, este de 1 bit în cazul echipabilității rezultatelor și de 0 bit în cazul în care sursa este complet previzibilă (adică emite întotdeauna 0 sau întotdeauna 1). Acest rezultat este rezonabil, deoarece în primul caz se afirmă că este necesar un bit de informație pentru fiecare mesaj emis de sursă, în timp ce în al doilea caz nu este necesar niciun bit, deoarece valoarea tuturor mesajelor este cunoscută a priori și, prin urmare, sursa este complet inutil.

Pentru a ilustra corelația strânsă dintre entropia informației și entropia termodinamicii, putem folosi următorul exemplu:

Să luăm în considerare un sistem fizic în condiții date de temperatură, presiune și volum și să stabilim valoarea sa de entropie; în legătură este posibil să se stabilească gradul de ordine și, prin urmare, cantitatea de informații noastre (în sens microscopic). Acum presupunem că scădem temperatura lăsând neschimbați ceilalți parametri: observăm că entropia sa scade odată cu creșterea gradului său de ordine (ordinea statică care corespunde lipsei de mișcare, de lucru) și odată cu aceasta nivelul nostru de informații. La limită, la o temperatură apropiată de zero absolut, toate moleculele sunt „aproape” nemișcate, entropia tinde la minim și ordinea (cristalizată, nu cea a organizării negentropice care necesită un sistem deschis) este maximul posibil și odată cu aceasta aveți siguranța maximă a informațiilor; de fapt, nu mai există nicio alternativă din care să alegeți.

Utilizări

Una dintre cele mai neașteptate utilizări ale entropiei și a algoritmilor de compresie bazate pe aceasta este recunoașterea textelor, atât prin criptografie , cât și prin potrivirea tiparelor (detectarea plagiatului , comprimarea secvențelor ADN etc.).

Entropie și informații

Din definiția statistică a entropiei termodinamice se înțelege că informațiile și această mărime termodinamică sunt într-un fel corelate. Studii ample în acest domeniu sunt legate de munca de pionierat a lui Claude Shannon în domeniul teoriei informației .

De fapt, în 1948 Claude Shannon a enunțat Teorema unicității entropiei în teoria informației: De fapt, definită ca un set de caractere alfanumerice A = {A (1), A (2), A (3), ... A (n)} și definit p (i) probabilitatea de a observa simbolul A (i) este definită de fapt entropia H (p (0), p (1), ... p (n)). Trebuie să respecte trei condiții:

dacă A (k) are probabilitatea p (k) = 0 să apară atunci H (p (0), p (1), ... p (k-1), 0) = H (p (0), p ( 1), ... p (k-1))
având în vedere sistemele independente A și B avem subaditivitatea: H (A, B) <H (A) + H (B)
Entropia H este maximă dacă p (i) = 1 / r (unde r numărul total de stări)

atunci definiția Entropiei este bine dată și este singura posibilă.

Informația este exprimată matematic prin relație

\operatorname {I} =-\log _{2}P

{\ displaystyle \ operatorname {I} = - \ log _ {2} P}

{\ displaystyle \ operatorname {I} = - \ log _ {2} P}

care, folosind logaritmul de bază 2 al probabilității P că apare un eveniment dat, face posibilă obținerea unei valori măsurate în biți . 1 bit este echivalent, de exemplu, cu informațiile obținute din aruncarea unei monede (P = 0,5).

Din entropia exprimată de relația Boltzmann este ușor să derivăm egalitatea

\operatorname {S} =\log _{2}P

{\ displaystyle \ operatorname {S} = \ log _ {2} P}

{\ displaystyle \ operatorname {S} = \ log _ {2} P}

care permite exprimarea entropiei în aceeași unitate de măsură a informației, adică bitul. Observați cum se identifică P $\Gamma$ ${\ displaystyle \ Gamma}$ $\Gamă$ .

În concluzie, dovedește că relația merită

\operatorname {I} =-S

{\ displaystyle \ operatorname {I} = -S}

\ operatorname I = -S

ceea ce poate fi declarat ca „o creștere a entropiei corespunde unei pierderi de informații pe un sistem dat și invers”.

Bibliografie

Claude E. Shannon , A Mathematical Theory of Communication , Bell system Technical Journal, vol. 27, iulie și octombrie 1948
Robert M. Fano , Transmiterea informațiilor; o teorie statistică a comunicațiilor. , Presa MIT, 1961.
Bonazzi R., Catena R., Collina S., Formica L., Munna A., Tesini D .. Telecomunicații pentru ingineria managementului. Codificare sursă. Mijloace de transmitere. Link-uri . Pitagora Editrice, 2004, ISBN 88-371-1561-X
(EN) Chen, X. , Brent, F. , Li, M. , McKinnon, B , Seker, A. ,, A Theory of Uncheatable Program Plagiarism Detection and its Practical Implementation (PDF) pe citeseer.ist.psu. Edu , 5 mai 2002. Adus la 15 decembrie 2008 .
Olivier Costa de Beauregard , Irreversibilitate, entropie, informație: al doilea principiu al științei timpului , Di Renzo Editore , 1994
TM Cover, JA Thomas, Elements of Information Theory , Wiley, 1991
Michael Wise , Detectarea îmbunătățită a similitudinilor în programele de calculator și alte texte , 1996
M. Tribus, EC McIrvine, Energie și informații , Scientific American , n. 224 (1971), pp. 178–184
- Shigeru Furuichi, Flavia-Corina Mitroi-Symeonidis, Eleutherius Symeonidis, On some properties of Tsallis hpoentropies and hypodivergences, Entropy, 16 (10) (2014), 5377-5399; DOI: 10.3390 / e16105377
- Shigeru Furuichi, Flavia-Corina Mitroi, Inegalități matematice pentru unele divergențe, Physica A 391 (2012), pp. 388-400, DOI: 10.1016 / j.physa.2011.07.052; ISSN 0378-4371
- Shigeru Furuichi, Nicușor Minculete, Flavia-Corina Mitroi, Some inequalities on generalized entropies, J. Inequal. Aplic., 2012, 2012: 226. DOI: 10.1186 / 1029-242X-2012-226

Elemente conexe

Alte proiecte

Wikimedia Commons conține imagini sau alte fișiere despre entropie

linkuri externe

Entropy și Von Neumann ( PDF ), pe renyi.hu . Adus la 22 martie 2005 (arhivat din original la 9 mai 2005) .
Shannon Entropy Calculator (engleză)
O teorie matematică a comunicării Shannon 1948 (engleză)

Controlul autorității	LCCN (EN) sh85044152 · GND (DE) 4743861-7 · BNF (FR) cb11985913j (dată) · BNE (ES) XX535116 (dată) · NDL (EN, JA) 01.191.172