Regula Delta

Regula Delta este o regulă de coborâre în gradient pentru a actualiza greutățile semnalelor de intrare care sosesc la un perceptron . Calculăm valoarea derivatei funcției sigmoide pentru o valoare $n Și t$ ${\ displaystyle net}$ ${\ displaystyle net}$ care va fi util mai târziu:

${\frac {d\,\sigma (net)}{d\,net}}=...={\frac {1}{1+e^{-net}}}{\frac {e^{-net}}{1+e^{-net}}}=...=o(1-o)$ ${\ displaystyle {\ frac {d \, \ sigma (net)} {d \, net}} = ... = {\ frac {1} {1 + e ^ {- net}}} {\ frac {e ^ {- net}} {1 + e ^ {- net}}} = ... = o (1-o)}$ ${\ displaystyle {\ frac {d \, \ sigma (net)} {d \, net}} = ... = {\ frac {1} {1 + e ^ {- net}}} {\ frac {e ^ {- net}} {1 + e ^ {- net}}} = ... = o (1-o)}$

Deoarece unul sau mai mulți neuroni au capacitatea de a interpola datele furnizate pentru a învăța o funcție care le apropie cel mai bine, putem lua în considerare condiția de juxtapunere a metodei celor mai mici pătrate , pentru a evalua eroarea generală a calculului datelor primite dintr-un singur neuron:

$E={\frac {1}{2}}\sum \varepsilon ^{2}$ ${\ displaystyle E = {\ frac {1} {2}} \ sum \ varepsilon ^ {2}}$ ${\ displaystyle E = {\ frac {1} {2}} \ sum \ varepsilon ^ {2}}$

În acest fel se încearcă obținerea unei valori minime de $ȘI$ ${\ displaystyle E}$ $ȘI$ , suma pătratului erorilor $\varepsilon$ ${\ displaystyle \ varepsilon}$ $\ varepsilon$ . Deoarece este important ca eroarea minimă a întregului neuron să corespundă unei greutăți date, atunci variația pantei va fi negativă pentru a muta greutatea în direcția negativă a gradientului. Apoi urmează următoarea corelație:

\Delta w=-\eta \nabla E

{\ displaystyle \ Delta w = - \ eta \ nabla E}

{\ displaystyle \ Delta w = - \ eta \ nabla E}

Această formulă poate fi, de asemenea, scrisă ca:

\Delta w=-\eta {\frac {\partial \,E}{\partial \,w}}=-\eta {\frac {\partial \,E}{\partial \,net}}{\frac {\partial \,net}{\partial \,w}}

{\ displaystyle \ Delta w = - \ eta {\ frac {\ partial \, E} {\ partial \, w}} = - \ eta {\ frac {\ partial \, E} {\ partial \, net}} {\ frac {\ partial \, net} {\ partial \, w}}}

{\ displaystyle \ Delta w = - \ eta {\ frac {\ partial \, E} {\ partial \, w}} = - \ eta {\ frac {\ partial \, E} {\ partial \, net}} {\ frac {\ partial \, net} {\ partial \, w}}}

Pentru a obține formula generală a regulii delta putem spune că

{\frac {\partial \,E}{\partial \,o}}={\frac {\partial }{\partial \,o}}[E({\overrightarrow {w}})]={\frac {\partial }{\partial \,o}}[{\frac {1}{2}}(r-o)^{2}]=-(r-o)=-\varepsilon

{\ displaystyle {\ frac {\ partial \, E} {\ partial \, o}} = {\ frac {\ partial} {\ partial \, o}} [E ({\ overrightarrow {w}})] = {\ frac {\ partial} {\ partial \, o}} [{\ frac {1} {2}} (ro) ^ {2}] = - (ro) = - \ varepsilon}

{\ displaystyle {\ frac {\ partial \, E} {\ partial \, o}} = {\ frac {\ partial} {\ partial \, o}} [E ({\ overrightarrow {w}})] = {\ frac {\ partial} {\ partial \, o}} [{\ frac {1} {2}} (ro) ^ {2}] = - (ro) = - \ varepsilon}

este asta

{\frac {\partial \,o}{\partial \,net}}={\frac {\partial \,\sigma (net)}{\partial \,net}}=o(1-o)=\sigma '(net)

{\ displaystyle {\ frac {\ partial \, o} {\ partial \, net}} = {\ frac {\ partial \, \ sigma (net)} {\ partial \, net}} = o (1-o ) = \ sigma '(net)}

{\ displaystyle {\ frac {\ partial \, o} {\ partial \, net}} = {\ frac {\ partial \, \ sigma (net)} {\ partial \, net}} = o (1-o ) = \ sigma '(net)}

.

și, prin urmare, putem scrie următoarea identitate:

{\frac {\partial \,E}{\partial \,net}}={\frac {\partial \,E}{\partial \,o}}{\frac {\partial \,o}{\partial \,net}}=-(r-o)o(1-o)=-\varepsilon \sigma '(net).

{\ displaystyle {\ frac {\ partial \, E} {\ partial \, net}} = {\ frac {\ partial \, E} {\ partial \, o}} {\ frac {\ partial \, o} {\ partial \, net}} = - (ro) sau (1-o) = - \ varepsilon \ sigma '(net).}

{\ displaystyle {\ frac {\ partial \, E} {\ partial \, net}} = {\ frac {\ partial \, E} {\ partial \, o}} {\ frac {\ partial \, o} {\ partial \, net}} = - (ro) sau (1-o) = - \ varepsilon \ sigma '(net).}

În plus, avem asta

{\frac {\partial \,net}{\partial \,w}}=x

{\ displaystyle {\ frac {\ partial \, net} {\ partial \, w}} = x}

{\ displaystyle {\ frac {\ partial \, net} {\ partial \, w}} = x}

Obținem astfel formula generală a regulii delta :

\Delta w=\eta \varepsilon \sigma '(net)\cdot x=\eta (r-o)o(1-o)\cdot x

{\ displaystyle \ Delta w = \ eta \ varepsilon \ sigma '(net) \ cdot x = \ eta (ro) o (1-o) \ cdot x}

{\ displaystyle \ Delta w = \ eta \ varepsilon \ sigma '(net) \ cdot x = \ eta (r-o) o (1-o) \ cdot x}

Greutățile vor fi actualizate adăugând variația găsită la greutatea neuronului anterior (sau valoarea de intrare), după efectuarea comparației, conform regulii delta după cum urmează:

w'_{1}=w_{1}+\Delta w

{\ displaystyle w '_ {1} = w_ {1} + \ Delta w}

{\ displaystyle w '_ {1} = w_ {1} + \ Delta w}

În cazul unui singur neuron ( perceptron ), putem aproxima funcția astfel:

\Delta w=\eta (r-o)x=\eta \varepsilon x

{\ displaystyle \ Delta w = \ eta (ro) x = \ eta \ varepsilon x}

{\ displaystyle \ Delta w = \ eta (r-o) x = \ eta \ varepsilon x}

Tabel rezumat

Regula Delta

\Delta w=\eta \varepsilon \sigma '(net)\cdot x

{\ displaystyle \ Delta w = \ eta \ varepsilon \ sigma '(net) \ cdot x}

{\ displaystyle \ Delta w = \ eta \ varepsilon \ sigma '(net) \ cdot x}

$\eta$ ${\ displaystyle \ eta}$ $\vârstă$ este rata de învățare (valoarea între 0 și 1). Valorile scăzute necesită un număr mai mare de antrenamente - numite epoci - dar avem tendința de a obține un rezultat mai precis
$\varepsilon$ ${\ displaystyle \ varepsilon}$ $\ varepsilon$ este eroarea, diferența dintre ieșirea neuronului și ieșirea așteptată, dată de $\varepsilon =r-\sigma (net)$ ${\ displaystyle \ varepsilon = r- \ sigma (net)}$ ${\ displaystyle \ varepsilon = r- \ sigma (net)}$
$\sigma '(net)$ ${\ displaystyle \ sigma '(net)}$ ${\ displaystyle \ sigma '(net)}$ este derivatul funcției sigmoide $o=\sigma (net)={\frac {1}{1+e^{-net}}}$ ${\ displaystyle o = \ sigma (net) = {\ frac {1} {1 + e ^ {- net}}}}$ ${\ displaystyle o = \ sigma (net) = {\ frac {1} {1 + e ^ {- net}}}}$ , numită funcția de declanșare care returnează ieșirea.
$n Și t$ ${\ displaystyle net}$ ${\ displaystyle net}$ este suma ponderată a valorilor de intrare la ieșirea neuronului $X$ ${\ displaystyle x}$ $X$ ținând cont de greutățile lor respective $w$ ${\ displaystyle w}$ $w$ : $net=\sum w_{i}x_{i}$ ${\ displaystyle net = \ sum w_ {i} x_ {i}}$ ${\ displaystyle net = \ sum w_ {i} x_ {i}}$

Bibliografie

Tom Mitchell, Învățarea automată , McGraw Hill, 1997.
Ben Krose, Patrick van der Smagt, An Introduction to Neural Networks , Universitatea din Amsterdam

Elemente conexe

Portalul de matematică : accesați intrările Wikipedia care se ocupă de matematică