Entropie condiționată

În teoria informației, entropia condițională este o măsură a cantității de informații necesare pentru a descrie valoarea unei variabile aleatorii $\mathrm {X}$ ${\ displaystyle \ mathrm {X}}$ $\ mathrm {X}$ a cunoscut valoarea unei alte variabile aleatorii $Da$ ${\ displaystyle Y}$ $Da$ . În transmisia pe un canal de comunicație, reprezintă cantitatea de incertitudine rămasă în valoarea la intrarea în canal după ce valoarea de ieșire a fost observată. Entropia de $X$ ${\ displaystyle X}$ $X$ condiționat de $Da$ ${\ displaystyle Y}$ $Da$ este definit ca $H(X|Y)$ ${\ displaystyle H (X | Y)}$ ${\ displaystyle H (X | Y)}$ .

Definiție

De sine $H(X|Y=y_{k})$ ${\ displaystyle H (X | Y = y_ {k})}$ ${\ displaystyle H (X | Y = y_ {k})}$ este entropia variabilei $X$ ${\ displaystyle X}$ $X$ condiționat de variabilă $Da$ ${\ displaystyle Y}$ $Da$ care capătă o anumită valoare $y_{k}$ ${\ displaystyle y_ {k}}$ $y_ {k}$ , asa de $H(X|Y)$ ${\ displaystyle H (X | Y)}$ ${\ displaystyle H (X | Y)}$ este rezultatul mediei ponderate a $H(X|Y=y_{k})$ ${\ displaystyle H (X | Y = y_ {k})}$ ${\ displaystyle H (X | Y = y_ {k})}$ pe toate valorile posibile $y_{k}$ ${\ displaystyle y_ {k}}$ $y_ {k}$ că $Da$ ${\ displaystyle Y}$ $Da$ poate presupune.

Având în vedere un alfabet de simboluri $X={\{x_{0},x_{1},...,x_{J-1}}\}$ ${\ displaystyle X = {\ {x_ {0}, x_ {1}, ..., x_ {J-1}} \}}$ ${\ displaystyle X = {\ {x_ {0}, x_ {1}, ..., x_ {J-1}} \}}$ , un alfabet de simboluri în ieșire $Y={\{y_{0},y_{1},...y_{K-1}}\}$ ${\ displaystyle Y = {\ {y_ {0}, y_ {1}, ... y_ {K-1}} \}}$ ${\ displaystyle Y = {\ {y_ {0}, y_ {1}, ... y_ {K-1}} \}}$ cu probabilitate $p(y_{0}),...,p(y_{K-1})$ ${\ displaystyle p (y_ {0}), ..., p (y_ {K-1})}$ ${\ displaystyle p (y_ {0}), ..., p (y_ {K-1})}$ entropia condiționată este definită ca:

$H(X|Y)$ ${\ displaystyle H (X | Y)}$ ${\ displaystyle H (X | Y)}$ $\equiv$ ${\ displaystyle \ equiv}$ $\ equiv$ $\sum _{k=0}^{K-1}H(X|Y=y_{k})p(y_{k})$ ${\ displaystyle \ sum _ {k = 0} ^ {K-1} H (X | Y = y_ {k}) p (y_ {k})}$ ${\ displaystyle \ sum _ {k = 0} ^ {K-1} H (X | Y = y_ {k}) p (y_ {k})}$

$=\sum _{k=0}^{K-1}\sum _{j=0}^{J-1}p(x_{j}|y_{k})p(y_{k})log_{2}\left[{\frac {1}{p(x_{j}|y_{k})}}\right]$ ${\ displaystyle = \ sum _ {k = 0} ^ {K-1} \ sum _ {j = 0} ^ {J-1} p (x_ {j} | y_ {k}) p (y_ {k} ) log_ {2} \ left [{\ frac {1} {p (x_ {j} | y_ {k})}} \ right]}$ ${\ displaystyle = \ sum _ {k = 0} ^ {K-1} \ sum _ {j = 0} ^ {J-1} p (x_ {j} | y_ {k}) p (y_ {k} ) log_ {2} \ left [{\ frac {1} {p (x_ {j} | y_ {k})}} \ right]}$

$=\sum _{k=0}^{K-1}\sum _{j=0}^{J-1}p(x_{j},y_{k})log_{2}\left[{\frac {1}{p(x_{j}|y_{k})}}\right]$ ${\ displaystyle = \ sum _ {k = 0} ^ {K-1} \ sum _ {j = 0} ^ {J-1} p (x_ {j}, y_ {k}) log_ {2} \ left [{\ frac {1} {p (x_ {j} | y_ {k})}} \ right]}$ ${\ displaystyle = \ sum _ {k = 0} ^ {K-1} \ sum _ {j = 0} ^ {J-1} p (x_ {j}, y_ {k}) log_ {2} \ left [{\ frac {1} {p (x_ {j} | y_ {k})}} \ right]}$

unde în ultima expresie s-a folosit relația dintre probabilitatea comună și condițională: $p(x_{j},y_{k})=p(x_{j}|y_{k})p(y_{k})$ ${\ displaystyle p (x_ {j}, y_ {k}) = p (x_ {j} | y_ {k}) p (y_ {k})}$ ${\ displaystyle p (x_ {j}, y_ {k}) = p (x_ {j} | y_ {k}) p (y_ {k})}$ .

Bibliografie

Simon Haykin, Michael Moher, Sisteme de comunicare , 2001, ISBN 0-471-17869-1 .