Unitatea de procesare a tensorului
O unitate de procesare tensorială ( TPU ) este un accelerator AI format dintr-un circuit ASIC dezvoltat de Google pentru aplicații specifice în domeniul rețelelor neuronale . Prima unitate de procesare a tensorului a fost prezentată în mai 2016 la Google I / O ; compania a specificat că TPU-urile au fost deja utilizate în centrele sale de date de peste un an [1] [2] . Circuitul a fost special conceput pentru biblioteca open source TensorFlow [3] . Google însuși continuă să utilizeze CPU și GPU clasice pentru alte tipuri de aplicații orientate către învățarea automată .
Descriere
Google s-a gândit pentru acest tip de procesor la o anumită arhitectură de domeniu concepută ca o matrice de procesor concepută exclusiv pentru a funcționa pentru rețele neuronale la viteze incredibil de mari consumând mult mai puțină energie și într-un spațiu fizic redus [4] . În acest fel, blocajul arhitecturii von Neumann este mult redus deoarece sarcina principală a procesorului este de a calcula matricele, abordarea unei arhitecturi matrice sistolice poate folosi mii de multiplicatori și addende și le poate conecta direct pentru a forma o matrice fizică pentru acești operatori [ 4] . Pentru a doua generație de TPU-uri există două matrice sistolice de 128 x 128 care cumulează 32768 ALU pentru valori în virgulă mobilă pe 16 biți per procesor unic [4].
Produse
Prima generatie
Prima generație TPU este un motor de multiplicare a matricei pe 8 biți care funcționează cu instrucțiuni CISC de la CPU gazdă prin magistrala PCIe 3.0. TPU este fabricat într-un proces de 28nm și nu se cunoaște dimensiunea exactă a matricei, dar este mai puțin de jumătate din Haswell. Viteza de ceas este de 700 MHz, iar puterea termică de proiectare (consumul de energie) este de 28-40 W. TPU are un cip de memorie de 28 MiB și un acumulator de 32 de biți de 4 MiB care obține rezultatele a 65536 de acumulatori pe 8 biți. Instrucțiunile efectuează transmiterea / recepția de date cu gazda, multiplicarea / convoluția matricei și aplicarea funcției de activare.
A doua generație
A doua generație TPU a fost anunțată în mai 2017. Google a declarat că prima generație de design TPU a fost limitată de lățimea de bandă a memoriei și utilizarea a 16 GB de memorie cu lățime de bandă ridicată în designul celei de-a doua generații a mărit lățimea de bandă la 600 GB / s și performanța la 45 TPU-urile teraFLOPS sunt apoi aranjate în module cu patru cipuri cu o performanță de 180 teraFLOPS, astfel încât 64 dintre aceste module sunt asamblate în capsule cu 256 de cipuri cu o performanță de 11,5 petaFLOPS. În special, în timp ce TPU-urile Gen 1 erau limitate la numere întregi, TPU-urile Gen 2 pot fi calculate și în virgulă mobilă, ceea ce face ca TPU-urile Gen 2 să fie utile atât pentru antrenament, cât și pentru deducerea modelului. Google a declarat că aceste TPU-uri de a doua generație vor fi disponibile pe Google Compute Engine pentru utilizare în aplicațiile TensorFlow.
A treia generatie
TPU-ul din a treia generație a fost anunțat pe 8 mai 2018. Google a anunțat că procesoarele în sine sunt de două ori mai puternice decât TPU-urile din a doua generație și vor fi distribuite în pod-uri cu cipuri de patru ori mai multe decât generația anterioară. Creșterea performanței de 8 ori pe pod (cu până la 1.024 de jetoane pe pod) comparativ cu implementarea TPU din a doua generație.
Notă
- ^ (EN) Unitatea de procesare a tensorilor Google a fost explicată: așa arată viitorul computerului pe TechRadar. Adus la 14 aprilie 2019 .
- ^ (EN) Google supraîncarcă sarcini de învățare automată cu jetoane personalizate TPU , pe blogul Google Cloud Platform. Adus la 14 aprilie 2019 .
- ^ (EN) TensorFlow: învățare automată open-source , pe YouTube. Adus la 14 aprilie 2019 .
- ^ a b c Ce face TPU-urile ajustate pentru învățarea profundă? , în cloud.google.com . Adus la 28 aprilie 2019 .
