Redresor (rețele neuronale)

În contextul rețelelor neuronale artificiale , redresorul este o funcție de activare definită ca partea pozitivă a argumentului său:

f(x)=x^{+}=\max(0,x),

{\ displaystyle f (x) = x ^ {+} = \ max (0, x),}

{\ displaystyle f (x) = x ^ {+} = \ max (0, x),}

unde este $X$ ${\ displaystyle x}$ $X$ este intrarea într-un neuron. Este, de asemenea, numărat printre funcțiile de rampă și este analogul unui redresor în electronică. Această funcție de activare a fost introdusă pentru prima dată într-o rețea dinamică de Hahnloser și colab. în 2000 invocând motive puternic biologice. În 2011 s-a arătat pentru prima dată că funcția redresor permite obținerea unui antrenament mai bun pentru rețelele neuronale profunde (Deep Neural Network). Acest rezultat se obține prin compararea redresorului cu cele mai utilizate funcții de activare până în 2011: sigmoid logistic și tangentă hiperbolică. În 2018, funcția de redresare a fost recunoscută ca fiind cea mai utilizată funcție de activare în rețelele neuronale profunde.

O unitate care folosește redresorul se mai numește unități liniare ajustate (Relu, din „ Unități liniare rectificate în limba engleză ).

Softplus

O bună aproximare a unui redresor este funcția analitică

f(x)=\ln(1+\exp(x)),

{\ displaystyle f (x) = \ ln (1+ \ exp (x)),}

{\ displaystyle f (x) = \ ln (1+ \ exp (x)),}

numită funcție softplus . Derivatul funcției softplus este funcția logistică .

Avantajele utilizării funcției de redresare

Funcția de redresare a fost utilizată pentru a separa stările specifice de excitare de stările nespecifice de inhibare în piramidele de abstractizare neuronală , antrenate într-un mod supravegheat pentru a recunoaște diferiți stimuli vizuali. În comparație cu tangenta hiperbolică mai obișnuită, funcția redresor permite formarea eficientă a rețelei într-un timp mai scurt și folosind seturi de date mari și complexe.

Alte aspecte de luat în considerare sunt:

plauzibilitate biologică;
activare rară;
capacitate mai bună de a evita saturația greutăților la antrenament;
calcule eficiente și simple;
invarianță la scară.

Portal IT : accesați intrările Wikipedia care se ocupă cu IT

V · D · M Învățare automată
Probleme	Clasificarea · Regresie · asociere Reguli · Învățare nesupravegheați · Supravegheat de învățare · Reinforcement Learning · învățare profundă
Învățare nesupravegheată	Clustering · clustering Ierarhica · K mijloace · Așteptarea maximizare · DBSCAN · schimbare medie · antagonist generativă rețea (CGAN · cycleGAN VAE-GAN)
Învățare supravegheată	Arborele decizional · Pădure aleatorie · CRF · HMM · KNN · Clasificator bayesian · Rețea neuronală artificială · Regresie liniară · Regresie logistică · PGM · SVM
Consolidarea învățării	Q-learning · SARSA · TD
Reducerea dimensiunii	Analiza factorilor · CCA · ICA · LDA · PCA · Selecția caracteristicilor · Extragerea caracteristicilor · t-SNE
Rețele neuronale artificiale	Perceptron · RBF · N · FFN · Rețea Hopfield · MLP · RNN ( LSTM ) · RBM · SOM · CNN · TDNN · SNN
Software	Keras · Microsoft Cognitive Toolkit · scikit-learn · TensorFlow · Theano · Torch · Weka
Alte	Algoritm genetic · PSO · Caracteristic