Google denne spracúva približne 15 PB dát

DSL.sk, 9.1.2008

Servery spoločnosti Google denne v septembri 2007 spracovávali minimálne približne 15 petabajtov dát, teda 15 miliónov gigabajtov dát.

Tieto čísla odhalil článok zamestnancov Google o algoritme MapReduce, ktorý bude súčasťou januárového ACM.

Daný objem predstavuje množstvo dát spracovávané len univerzálnym algoritmom Google MapReduce na vlastné spracovanie rozličných dát a nezahŕňa napríklad dáta priamo zasielané webovými servermi služieb. Celkové množstvo opakujúcich sa dát, ktoré vygenerejú respektíve pretečie servermi Google, je tak ešte výrazne vyššie.

V septembri 2007 servery Google spracovali celkovo 2.217 miliónov úloh v rámci MapReduce, na jednej úlohe pracovalo priemerne 394 počítačov.

Vstupné dáta do algoritmu MapReduce mali v septembri celkovú veľkosť 403 152 TB, výstupné dáta z map funkcií 34 774 TB dát a výstupné dáta z reduce funkcií 14 018 TB. To dáva celkovo 451 944 TB dát respektíve 15 PB spracovaných dát na jeden deň.

Rast Google a množstva spracovávaných dát dokumentuje aj rozdiel oproti marcu 2006, kedy bol MapReduce už nasadený na väčšinu interných algoritmov spoločnosti. Vtedy denne servery Google spracovávali MapReduce algoritmom priemerne 2 PB dát.

MapReduce je jednoduchý základný algoritmus, ktorý dovoľuje jednoduchým princípom s dodanou mapovacou a redukčnou funkciou spracovávať efektívne paralelne veľké množstvo dát uložených distribuovane na veľkom počte serverov Google. V súčasnosti je používaný aj na najdôležitejšiu činnosť v Google, vytváranie hlavného vyhľadávacieho indexu ale tiež na spracovávanie satelitných obrázkov, na vytváranie databáz štatistikých jazykových prekladačov Google a na mnohé ďalšie činnosti.


Najnovšie články:



Diskusia:

karol_5 Od: karol_5 | Pridané: 9.1.2008 10:26 musia mat celkom vela pocitacov :) a tak isto aj linku dost silnu by som povedal :D Odpovedať Hodnotiť:

r Od: r | Pridané: 9.1.2008 15:14 primitivne Odpovedať Hodnotiť:

Bozz Od: Bozz | Pridané: 13.1.2008 16:35 primitivne Odpovedať Hodnotiť:

Kubo Od: Kubo | Pridané: 9.1.2008 10:30 ved to aj rapidshare viac spracuje Odpovedať Známka: 7.1 Hodnotiť:

abc Od: abc | Pridané: 9.1.2008 11:02 na to si prisiel kde? zas niekdo robi zo seba mudreho.. rapidshare ma servery o velkosti 4PB, aj keby sa prenesie stvornasobok jeho kapacity tak to ani zdaleka nema na google Odpovedať Známka: -7.1 Hodnotiť:

jano Od: jano | Pridané: 9.1.2008 12:14 kkt... 4x4 je 16 Odpovedať Známka: 0.0 Hodnotiť:

NDPC! Od: NDPC! | Pridané: 9.1.2008 12:18 krista, ty si mudry! nechces byt premierom? Odpovedať Hodnotiť:

misiak Od: misiak | Pridané: 10.1.2008 14:23 to mas pravdu ale to by bola celkova kapacita ale google to spracuje za den ak nevies citat!! Odpovedať Známka: 7.1 Hodnotiť:

3542678 Od: 3542678 | Pridané: 9.1.2008 13:15 A ty robis tiez mudreho... Povies mi ako prenesie 16 PB za den cez 200 Gbps konektivitu? 200/8*3600*24 = 2.1 PB. Takito sa mi pacia najviac, na<>uju ze niekto robi mudreho a pritom sami su ...i. Odpovedať Známka: -7.1 Hodnotiť:

abc Od: abc | Pridané: 9.1.2008 13:22 rofl, robis zo seba dobreho idiota, vies citat? odpovedal som na toho predomnou ktory tvrdil ze rapid prenesie viac, citaj debile Odpovedať Známka: -7.1 Hodnotiť:

barcode Od: barcode | Pridané: 9.1.2008 10:31 a z toho je 19.9 porna :-) Odpovedať Hodnotiť:

r Od: r | Pridané: 9.1.2008 15:16 nie je, a nie je to ani vtipne, a ani trocha Odpovedať Známka: -7.1 Hodnotiť:

tutuuuut Od: tutuuuut | Pridané: 9.1.2008 19:58 pormo mas v galotach Odpovedať Známka: 5.0 Hodnotiť:

tomino Od: tomino | Pridané: 9.1.2008 11:33 dik za clanok. Pre mna dost prekvapujuce udaje. uz len dodat: wow Odpovedať Hodnotiť:

ciernybaca Od: ciernybaca | Pridané: 9.1.2008 12:16 WOW! Staci? Odpovedať Známka: -5.0 Hodnotiť:

WoW Od: WoW | Pridané: 9.1.2008 13:33 Co do toho pletiete World of Warcraft, tam sa tolko dat nespracuje :D Odpovedať Hodnotiť:

jimmy Od: jimmy | Pridané: 9.1.2008 12:26 tie ich pocitace chladi rieka a su napojene priamo z elektrarne , ved to ste sa mohli docitat z clanku na dsl-ku Odpovedať Známka: -5.0 Hodnotiť:

....... Od: ....... | Pridané: 9.1.2008 12:46 :D :D :D :D :D Odpovedať Hodnotiť:

3426234623456236 Od: 3426234623456236 | Pridané: 9.1.2008 13:12 "Tieto čísla odhalil článok zamestnancov Google o algoritme MapReduce, ktorý bude súčasťou januárového ACM." A co je to januarovy ACM? Januarovy "Association for Computing Machinery"? Este je to v tom odkaze aj napisane, to je taky problem si to precitat? Akoze tie clanky uz skutocne maju uroven skolskeho casopisu na nejakej ZS... Odpovedať Známka: -5.0 Hodnotiť:

3254678 Od: 3254678 | Pridané: 9.1.2008 13:16 A este zaujimavejsie: Clanok: "Google denne spracúva približne 15 PB dát" Klik na "Pridat komentar" a abrakadabra: "Google denne spracúva približne 20 PB dát" No myslim ze som tomu skolskemu casopisu ukrivdil... Odpovedať Známka: -5.0 Hodnotiť:

abc Od: abc | Pridané: 9.1.2008 13:24 lol fakt Odpovedať Známka: 7.1 Hodnotiť:

brano Od: brano | Pridané: 9.1.2008 14:14 lol ! Tak to je pecka ! Odpovedať Hodnotiť:

dmaster Od: dmaster | Pridané: 9.1.2008 13:18 to boli servery microsoftu a projekt este ani nie je zrealizovany Odpovedať Hodnotiť:

NemesiS Od: NemesiS | Pridané: 9.1.2008 17:09 servery Micro$hitu? tak to sa ani nečudujem, že to ešte nie je zrealizované, ani tak skoro nebude, lebo tam používajú M$ a stále to ne nejakom tom pc vyhodí BSoD. Odpovedať Hodnotiť:

Dsl Od: Dsl | Pridané: 14.1.2008 16:33 Jebnuti admini dsl.sk Odpovedať Známka: -7.1 Hodnotiť:

Dsl Od: Dsl | Pridané: 14.1.2008 16:34 Jebnuti admini dsl.sk Odpovedať Známka: 2.0 Hodnotiť:

Dsl Od: Dsl | Pridané: 14.1.2008 16:34 Jebnuti admini dsl.sk Odpovedať Známka: -7.1 Hodnotiť:

Dsl Od: Dsl | Pridané: 14.1.2008 16:34 Jebnuti admini dsl.sk Odpovedať Hodnotiť:

Dsl Od: Dsl | Pridané: 14.1.2008 16:34 Jebnuti admini dsl.sk Odpovedať Známka: 7.1 Hodnotiť:

Pridať komentár