neprihlásený Nedeľa, 20. júla 2025, dnes má meniny Eliáš, Iľja
Google má minimálne 1155.5 TB dát

DSL.sk, 11.9.2006


Viacero zaujímavých údajov zverejnila spoločnosť Google v dokumente popisujúcom technológiu Bigtable, ktorú Google využíva na uchovávanie dát viacerých svojich aplikácií.

Bigtable je distribuovaný systém na uchovávanie štruktúrovaných dát podobne ako SQL databázy, optimalizovaný je ale na uchovávanie databáz až do veľkostí petabytov s mimoriadne rýchlym prístupom.

Podľa dokumentu crawlery Google prehľadávajúce web využívajú na uchovávanie indexovaného obsahu všetkých webových stránok dve Bigtable databázy o veľkosti 800 TB a 50 TB. Bigtable zároveň umožňuje dáta on-the-fly komprimovať, dáta crawlerov sú skomprimované s komprimačným pomerom až 11%, udávaná veľkosť je pred kompresiou.

Zverejnené boli údaje aj pre niekoľko ďalších služieb. Obrázky Google Earth využívané Google Earth softvérom aj Google Maps webovou aplikáciou zaberajú 70 TB. Indexové dáta pre Google Earth majú veľkosť približne 500 GB (kompresia 64%) a až 33% je ich zvyčajne nacachovaných v pamäti.

Služba Google Analytics pre monitorovanie návštevnosti webových stránok používa dve databázy o veľkosti 200 TB (kompresia 14%) a 20 TB (29%), vo väčšej sú uložené raw dáta všetkých pageviews, menšia uchováva vytvorené štatistiky.

Služba Personalized Search uchovávajúca všetky vyhľadávania užívateľa, ak si tento službu povolí v nastaveniach Google Account účtu, využíva iba 4 TB s kompresným pomerom 47%.

Google Base využíva 2 TB, Orkut 9 TB bez kompresie podobne ako obrázky Google Earth.

Bigtable je nadstavbou nad distribuovaným Google File System. Nie je vylúčené, že Bigtable využívajú aj ostatné aplikácie vrátane napríklad Gmailu a vyhľadávania v podobe uloženia aj samotného indexu, veľkosti týchto databáz ale Google nezverejnil.

Celkovo dáta uložené v Bigtable poskytuje 388 tzv. clusterov po celom svete zložených z mnohých počítačov. Ako príklad nárokov na tento systém podľa dokumentu Google skupina konkrétnych 14 vyťažených clusterov poskytuje spolu dáta rýchlosťou 16 GB/s, prichádzajúce požiadavky využívajú bandwidth 741 MB/s.

Viac informácií o Bigtable aj o jej použití v datacentrách Google je možné nájsť v tomto dokumente.


      Zdieľaj na Twitteri



Najnovšie články:

Na Slovensku má vzniknúť 5-krát väčšia solárna elektráreň ako zatiaľ najväčšia
Intel s okamžitou platnosťou zrušil distribúciu Clear Linux OS
Huawei sa v Číne vrátil na prvé miesto medzi výrobcami smartfónov
Ceny flashových produktov sa v treťom štvrťroku majú zvýšiť
Slovenské elektrárne idú stavať veľké batériové úložisko, v Jaslovských Bohuniciach
Automobilka Stellantis ukončila projekt pohonu vodíkovými článkami, je neperspektívny
Linux má v USA podľa vládnych štatistík prekvapivo vysoký podiel
O2 opäť oznámilo malé zlepšenie pokrytia 5G
Odštartovala tretia séria populárneho Star Trek seriálu
Telekom vymieňa napájací adaptér k routerom, hrozia problémy


Diskusia:
                               
 

ja mam 76giga
Odpovedať Hodnotiť:
 

skus odratat videa, audio a sw, aby ti zostali take data, ake google spracuva... :)
Odpovedať Hodnotiť:
 

16 mb?:D
Odpovedať Hodnotiť:
 

spravne... :)
Odpovedať Hodnotiť:
 

ja mam 370gb ale z toho mi 500 mb zere pojebany win :/ ktory musim mat kvoli matke :(
Odpovedať Hodnotiť:
 

iha macher, a povedz ze aku ditribuciu pouzivas nech vieme cim machrujes, ci to neni daky suse
Odpovedať Hodnotiť:
 

100% tam bude mat bud QNX alebo plan9 popripade openVMS :)
Odpovedať Hodnotiť:
 

Joj ale si frajer!
Odpovedať Hodnotiť:
 

omg mam 150 gb nealokovane cize ece nemam vytvoreny logicky disk
Odpovedať Hodnotiť:
 

Ja mam 120 GB hadr rozdeleny na 3 casti s win 98, XP a Vistou...
Odpovedať Hodnotiť:
 

cize vsetko rezervovane pre virusy :P
Odpovedať Hodnotiť:
 

tomu sa hovori smetisko :D lol
Odpovedať Hodnotiť:
 

A uz sa to tu meni na prezentaciu kto ma aky velky disk a co na nom. Pochopte deti, nikoho to nezaujima...
Odpovedať Hodnotiť:
 

čím väčšia lama, tým "inteligentnejší" príspevok, diskusia na dsl.sk už mesiace slúži absolútnym blbom, ktorý sa odbavujú kto má väčší ... pochopte, už nikoho nezaujíma, že niekto má 250 GB disk, niekto linux, niekto Win, niekto možno testuje Vistu, niekto má Firefox, ďalší Operu, kedy už konečne dospejete deti?
Odpovedať Hodnotiť:
 

tak tak, pravda je to veru, ked si to každý deň čítam tie akutalitky a vidím tie príspevky, občas vážne krútim hlavou, prečo to tu píšu....
nechápem, ved mne by sa to ani nexcelo...
je to škoda, ale takto je to asi všade
Odpovedať Hodnotiť:
 

ja som pocul z celkom dobreho zdroja, ze cast tupych komentarov tu treba pripisat snahe konkurencie aspon nejako bojovat... ale netusim, co je na tom pravdy
Odpovedať Hodnotiť:
 

Najdu sa aj ludia co stuchaju do tunajsej redakcie, aby s tym nieco robila. Nuz ak konkurencia si tu robi dobry den, ehm... s tym sa neda moc robit. Mohli by aspon naznacit ako to je.
Odpovedať Hodnotiť:
 

80gb hdd, 2 particie > tinyXP a OSX 10.4.7 AMD/Intel
Odpovedať Hodnotiť:
 

google... borgove :D
Odpovedať Hodnotiť:
 

lol, nechapem na co sa tu hrate, ja ho mam velkosti XXL :D ma niekto viac? :D
Odpovedať Hodnotiť:
 

google... borgove :D
Odpovedať Hodnotiť:

Pridať komentár