Sistem de fișiere Google
| GFS | |
|---|---|
| Date generale | |
| Numele complet | Sistem de fișiere Google |
Google File System (GFS) este un sistem de fișiere proprietar distribuit și dezvoltat de Google pentru propria utilizare.
Caracteristici
GFS este optimizat pentru stocarea datelor Google. Se mai numește „BigFiles” și a fost una dintre primele tehnologii dezvoltate de fondatorii Google, Larry Page și Sergey Brin , când încă studiau la Stanford. Datele Google sunt generate de diferitele servicii oferite, inclusiv căutarea pe web, și trebuie procesate și stocate cu tehnologii neconvenționale, având dimensiuni enorme. Datorită importanței lor, acestea sunt stocate permanent, în fișiere de aproximativ 100 GB, care sunt foarte rar șterse, suprascrise sau „micșorate”. Fișierele sunt de obicei puse la dispoziție numai în citire. Sistemul de fișiere este, de asemenea, conceput și optimizat pentru bootarea în clusterele de calculatoare Google, noduri formate din computere ieftine și indispensabile, care necesită măsuri de precauție datorită ratei mari de eșecuri a nodurilor individuale și a pierderii de date în consecință.
Tipuri de noduri
Există două tipuri de noduri: noduri master și nodurile Umflatul.
- Bucățile sunt mașini server care stochează fișiere de date numite „bucăți”. Fiecare fișier are o dimensiune de 64 MegaByte, similar cu clustere sau sectoare ale sistemelor de fișiere normale.
Fiecare bucată este alocată aceleiași partiții pe 64 de biți și se salvează maparea bucăților de diferite fișiere. Mai mult, fiecare fragment este replicat periodic în fiecare parte a rețelei , cu o existență simultană de cel puțin trei copii ale aceluiași fragment, dar cu atât mai mult pentru fișierele care au o cerere mare sau cerere pentru o disponibilitate mai mare.
- Masters sunt mașini de servere care au abilități diferite: de obicei nu stochează bucăți, ci mai degrabă toate metadatele asociate cu bucăți, cum ar fi tabelele cu maparea partițiilor pe 64 de biți pentru a înregistra locația fișierelor și a fișierelor care sunt înlocuite, locațiile copii ale bucăților și care procese sunt citirea și / sau scrierea unor bucăți particulare.
În plus, realizează un instantaneu al bucății potrivite pentru replicare, atunci când se constată că numărul de copii ale unei bucăți este mai mic decât minimul prestabilit.
Metadate
Metadatele sunt păstrate în starea actuală de către serverele Master care primesc periodic actualizări de la fiecare server Chunk (numite „Mesaje Heart-Beat”). Permisiunile de modificare a fișierelor sunt controlate de un sistem și acordate pentru o perioadă limitată de timp, în care niciun alt proces nu poate accesa fragmentul. Chunkserver, proprietarul fragmentului modificat, trimite modificările către chunkserver împreună cu copiile de rezervă. Modificările nu sunt salvate până când toți Chunkservers nu garantează finalizarea operației. Programele accesează fragmentul după obținerea locației fragmentului dorit de pe serverul Master; dacă nu se folosește bucata, Maestrul răspunde cu pozițiile, iar programul primește datele direct de la serverul de bucăți (similar cu Kazaa și supernodurile sale).
Implementări
Spre deosebire de multe sisteme de fișiere , GFS nu este implementat în nucleul sistemului de operare , ci este disponibil ca bibliotecă.
Elemente conexe
linkuri externe
- ( EN ) Google File System Eval: Partea I pe StorageMojo
