  |
Za poslednú hodinu: 63 meraní | ||||
|
inzercia |
|||||
 
neprihlásený 
| Nedeľa, 5. mája 2024, dnes má meniny Lesana |
|
Google zverejnil nové informácie o svojich serveroch
Spoločnosť Google aktuálne na konferencii Google I/O konanej minulý týždeň zverejnila ďalšie detaily o používaných serveroch a svojej infraštruktúre, ktoré sa rovnako ako inovatívny algoritmus vyhľadávania pričinili o technologický náskok pred konkurenčnými spoločnosťami. Spoločnosť opäť potvrdila pokračujúcu stratégiu používania lacnejšieho a menej spoľahlivého hardvéru namiesto drahších značkových a spoľahlivejších systémov.
Na minulotýždňovej konferencii Google I/O spoločnosť Google prostredníctvom Jeffa Deana, jedného z popredných odborníkov Google na paralelizáciu algoritmov na veľké počty serverov, zverejnila informácie o aktuálnom stave serverovej infraštruktúry spoločnosti. Dean prezentoval niektoré skôr zverejnené informácie, zároveň pridal nové informácie. Informácie samozrejme ako v minulosti nie sú kompletnými informáciami o infraštruktúre Google a napríklad nie je z nich možné vypočítať počet serverov, potvrdzujú ale pokračujúcu stratégiu používania lacnejšieho a menej spoľahlivého hardvéru. Spoľahlivosť je dosahovaná u Google softvérovo, použitím distribuovaného súborového systému Google File System, vlastnej implementácie distribuovanej databázy BigTable a plne paralelizovateľným algoritmom MapReduce. HardvérV súčasnosti má Google v jednom racku zvyčajne 40 serverov. Podľa správy Deana publikovanej v marci 2003 to bolo v tom čase 40 alebo 80 serverov, rack bol vtedy osadzovaný z dvoch strán 1U alebo 2U servermi. Jednotlivé servery nemajú podobne ako v minulosti vlastné skrinky, oddelené od voľného priestoru sú skrinkou racku.Základné dosky vyrába pre Google v súčasnosti Intel, počet procesorov na doske nie je známy. Podľa Deana sú používané procesory s čo najväčším počtom jadier, ktoré dokáže Google vďaka veľkej paralelizácii efektívne využiť. "Výkon jedného threadu nie je pre nás prakticky vôbec dôležitý. Máme skutočne veľmi radi multijadrové servery," povedal Dean. Vzhľadom na dosky od Intelu je vysoko pravdepodobné používanie Xeonov, štvorjadrové procesory sú navyše v ponuke Intelu výrazne dlhšie ako v ponuke AMD. Podľa informácií Ursa Hölzla, ďalšieho popredného inžiniera Google, z roku 2006 v tom čase Google používal najmä Opterony. Viacero rackov tvorí cluster, v ktorom servery navzájom intenzívne komunikujú. Cluster zvyčajne dostáva samostatné úlohy nezávislé na ostatných clusteroch. V súčasnosti má podľa Deana cluster minimálne 1 800 serverov, čo by predstavovalo pri 40 serveroch na rack 45 rackov. V jednom dátovom centre sa tak nachádza viacero clusterov, keď dátové centrá majú typicky desiatky tisíc serverov, najväčšie aj viac. V roku 2003 mal vyhľadávací cluster, ktorý mal kompletnú kópiu indexu, viac ako 15 tisíc počítačov. V tom čase Google používal často desktopové procesory Celeron a Pentium III. V súčasnosti Google používa dva základné typy serverov. Jeden typ je orientovaný na diskový priestor, druhý má menej diskového priestoru. V roku 2003 aj podľa minuloročnej správy Google o kazení sa pevných diskov používa len PATA a SATA disky, nie SCSI prípadne SAS disky. Disky sú priamo súčasťou jednotlivých serverov, Google nepoužíva veľké diskové polia. Najviac hardvérových výpadkov je zaznamenávaných v prvom roku od zostavenia nového clustera. Dean uviedol aj počet porúch, nespresnil ale clustera s akým počtom serverov sa týkajú uvádzané počty. V prvom roku typicky príde k nejakým zlyhaniam až u tisícky serverov, pokazí sa niekoľko tisícov pevných diskov. Zvyčajne sa pokazí dvadsať samotných rackov, ktoré zabezpečujú sieťové pripojenie a napájanie serverov v nich umiestnených, päť rackov zaznamená sieťové problémy so stratovosťou paketov na úrovni až do 50%. Zvyčajne sa v prvom roku existencie clustera pokazí jedna jednotka zabezpečujúca napájanie 500 až 1 000 serverov. S 50% pravdepodobnosťou príde k prehriatiu clustera, ktoré spôsobí vypnutie väčšiny serverov v rozpätí piatich minút. Opätovné rozbehnutie clustera trvá zvyčajne deň až dva dni. SoftvérZákladným používaným softvérom na úrovni infraštruktúry je distribuovaný súborový systém GFS, distribuovaná databáza BigTable a podpora plne paralelizovateľného univerzálneho algoritmu MapReduce.V súčasnosti je GFS nasadený na viac ako 200 clusteroch, vo viacerých prípadoch má kapacitu v petabajtoch. Google nemá jeden globálny súborový systém, na jednotlivých clusteroch respektíve viacerých clusteroch v spoločnom dátovom centre sa nachádzajú kópie rovnakých dát. Podľa Deana ale Google pripravuje novú generáciu softvéru, ktorá bude pracovať distribuovane nie na jednotlivých clusteroch ale na veľkej časti všetkých serverov Google. GFS ukladá dáta po blokoch veľkosti zvyčajne 64 MB, uložené sú minimálne na troch rozličných serveroch. Kým podľa správy z konca roku 2006 mala najväčšia databáza uložená v BigTable, jedna časť hlavného vyhľadávacieho indexu, 800 TB, v súčasnosti má najväčšia BigTable databáza už 6 petabajtov. Kým na generovanie webových stránok a iné rýchle operácie Google používa samozrejme špecializovaný softvér, na iné výpočty a operácie v pozadí, napríklad na aktualizáciu indexu a vytváranie databáz štatistikých jazykových prekladačov, používa univerzálny algoritmus MapReduce. MapReduce je jednoduchý základný algoritmus, ktorý dovoľuje jednoduchým princípom s definovanou mapovacou a redukčnou funkciou spracovávať efektívne paralelne veľké množstvo dát. Odolnosť voči zlyhaniu jednotlivých serverov je zabezpečovaná ako na úrovni GFS tak na úrovni MapReduce. Riadiace uzly v prípade zlyhania jednotlivých serverov zabezpečujúcich uloženie dát v GFS zvýšia množstvo kópií dát prekopírovaním dát na ďalšie servery, podobne u MapReduce pri zlyhaní pri vykonávaní úlohy riadiace uzly poveria rovnakou čiastkovou úlohou iné servery. Video z prezentácie Deana zatiaľ nie je k dispozícii, informácie ním prezentované ale zhrnul Cnet. Informácie o serveroch spoločnosti prezentované v roku 2006 Ursom Hölzleom sme priniesli v tomto článku, spoločnú správu Deana a Hölzla z roku 2003 o podobe vyhľadávacieho clustera z tohto obdobia je možné sťahovať tu (PDF). Informácie o miere spoľahlivosti diskov sme priniesli na základe správy Google v tomto článku. O množstve dát spracovávaných MapReduce a o veľkosti databáz v BigTable sme na základe správ Deana informovali v tomto a tomto článku. 
Máte väčšie obavy z potenciálneho zneužívania monopolného postavenia spoločnosťou Google, ak takéto postavenie v nejakých oblastiach získa, alebo z potenciálneho využívania zozbieraných dát spoločnosťou Google takým spôsobom, že toto používanie bude mať znaky porušovania ochrany súkromia? (hlasov: 804)
Najnovšie články: inzercia Diskusia:
Pridať komentár | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
