neprihlásený Streda, 19. júna 2024, dnes má meniny Alfréd
Prístup k časti súborov na Dropboxe bude pomalší, nasadil RAID 5 naprieč USA

Značky: Dropbox

DSL.sk, 7.5.2019


Populárna služba cloudového úložiska súborov s podporou synchronizácie Dropbox aktuálne oznámila nasadenie zmeny spôsobu, akým uchováva časť dát užívateľov.

V minulosti mala služba dáta na serveroch služby Amazon Web Services, v 2016 ich ale začala presúvať do vlastných dátových centier a podľa aktuálneho oznámenia v nich má viac ako 90% dát. Podľa skorších informácií má dátové centrá v troch regiónoch, na západe USA, východe USA a v centrálnej časti USA.

Dropbox súbory užívateľov rozdeľuje a ukladá po blokoch o veľkosti do 4 MB. Doteraz mal jeden blok uložený minimálne v dvoch regiónoch, pre ochranu proti výpadku jedného celého regiónu. Zároveň blok je v jednom dátovom centre uložený redundantne pre ochranu proti napríklad pokazeniu diskov alebo serverov, presný aktuálny spôsob a replikačný faktor bloku v jednom dátovom centre nepopisuje.

Už aj doteraz mal Dropbox nasadenú optimalizáciu, keď bloky starších predpokladane menej sprístupňovaných súborov v rámci jedného dátového centra ukladal viac efektívne a s menším replikačným faktorom.

S cieľom znížiť využívanú dátovú kapacitu a tým aj náklady teraz spoločnosť oznámila nasadenie nového spôsobu ukladania súborov, ku ktorým sa pristupuje málo často, čo sa týka ukladania naprieč dátovými centrami. Po novom sa súbory delia na dve kategórie, málo sprístupňované súbory sa ukladajú novým spôsobom a ostatné doterajším. Presné podmienky, kedy sa súbor považuje za málo sprístupňovaný, spoločnosť nezverejnila.

Aj v prípade málo sprístupňovaných súborov sa tieto ukladajú po blokoch ako doteraz. Blok sa ale neuloží v dátových centrách v dvoch regiónoch. Namiesto toho sa používa metóda známa z redundantných diskových RAID polí a to konkrétne ekvivalentná režimu RAID 5.

Pri troch dátových centrách rozdelí Dropbox blok na dve polovice. Následne v jednom dátovom centre uloží jednu polovicu, v druhom druhú a v treťom tzv. paritný blok z týchto dvoch polovíc o veľkosti polovice pôvodného bloku. Paritný blok umožňuje zistiť z ľubovoľnej jednej polovice a paritného bloku druhú polovicu. Konkrétne podľa popisu sa používa na vytvorenie paritného bloku z dvoch polovíc bloku funkcia XOR rovnako ako u RAID 5. Pri prístupe k bloku si Dropbox vyžiada príslušné časti zo všetkých troch dátových centier a blok vytvorí z ľubovoľných dvoch odpovedí, ktoré dorazia ako prvé.

V jednom dátovom centre je blok uložený s rovnakou redundanciou ako doteraz, celkovo tak na jeho uloženie používa Dropbox o 25% menej kapacity ako doteraz keď namiesto uloženia bloku v dvoch dátových centrách sa ukladá blok polovičnej veľkosti v troch datacentrách. Nové riešenie je rovnako ako doterajšie odolné aj proti výpadku jedného regiónu.

Rýchlosť prístupu k blokom uloženým takýmto spôsobom je podľa Dropboxu v absolútnej väčšine prípadov pomalšia. Protokol sieťovej komunikácie Dropbox nezverejnil, rozdiel latencie podľa neho dosahuje ale dobu cesty pakety z jedného regiónu do druhého a späť. Celkovo má byť podľa spoločnosti koncová skúsenosť užívateľov "takmer nerozoznateľná", konkrétnejší ale nie je.

Či má nasadenie nového spôsobu rovnaký dopad aj na latenciu pri prístupe z Európy nie je jasné.

Aká časť súborov je uložená novým spôsobom a k akej celkovej úspore kapacity to vedie spoločnosť neuviedla. Celková kapacita úložiska Dropboxu ale dosahuje podľa oznámenia mnoho exabajtov, aj úspora na úrovni 10% prípadne menej tak zrejme predstavuje veľkú úsporu nákladov.


      Zdieľaj na Twitteri



Najnovšie články:

Nvidia sa stala najhodnotnejšou spoločnosťou sveta
NASA po problémoch opakovane posúva odlet Boeingu z ISS
Prvé notebooky s novým výkonným ARM procesorom sú oddnes dostupné
Japonci vyvinuli oveľa lepšie batérie s pevným elektrolytom, majú nahradiť gombíkové batérie
Starlink čoskoro začne ponúkať výrazne menšiu a lacnejšiu satelitnú anténu
Hubblov teleskop už funguje iba s jedným gyroskopom, je výrazne menej produktívny
Minimálne v Španielsku pomocou dát z ukradnutých zariadení vydierajú vlastníkov
Debianu 10 končí dlhodobá bezpečnostná podpora
Apple pripravuje okrem výrazne tenšieho iPhonu aj tenší MacBook Pro
Francúzsko chce deťom do 11 rokov úplne zakázať smartfóny, nielen v školách


Diskusia:
                               
 

Ale otázka, čo to znamená pre Slovenský hiphop, ostáva nezodpovedaná.
Odpovedať Známka: 4.6 Hodnotiť:
 

Neviem ako ostatni, ale ja teda s odpovedou cakam len na vstupenie zakona, ze ma ostat nezodpovedaná, do platnosti, inak by nebola subkontextualne priekazne relevantna.
Odpovedať Známka: -5.0 Hodnotiť:
 

tr.
Odpovedať Hodnotiť:
 

no predsa hip-hop -> suchty-suchty
Odpovedať Známka: -6.0 Hodnotiť:
 

A ci na raid vyuzivaju ciatic kintaktov.
Odpovedať Známka: -5.0 Hodnotiť:
 

Alebo pripadne na riad.
Odpovedať Známka: 1.4 Hodnotiť:
 

a nieje nahodou sam raid jeden z kategorie ciatic kintaktov?
Odpovedať Hodnotiť:
 

ano ano, niekde som cital, ze sa ten ciatic kintaktov velmi dobre nasadzuje v datacentrach a v mnohych pripadoch aj zvysuje vykon serverov. Treba potestovat. Je to zatial novinka.
Odpovedať Hodnotiť:
 

#12
Odpovedať Známka: -2.0 Hodnotiť:
 

Dropbox uz setri kde sa da, vsak ktory Mac user pouziva nieco ine ako iCloud, popripade windowsaci One Drive ... Kto si uz len da drobpox???
Odpovedať Známka: -4.7 Hodnotiť:
 

Mas pocit ze budovanie data centra je setrenie?
Odpovedať Známka: 4.3 Hodnotiť:
 

kludne moze byt :)
Odpovedať Známka: 8.5 Hodnotiť:
 

Mas dojem ze nazor je priekazne pocit?
Odpovedať Známka: 0.0 Hodnotiť:
 

tr.
Odpovedať Hodnotiť:
 

Mozno firemni zakaznici ? Predstav si ze existuje aj "Box" napriklad ktory asi ani nema obycajnych userov, ale zije cisto z enterprise userov.
Odpovedať Známka: 6.0 Hodnotiť:
 

To je dobre, ze Box zije z enterprise.

Ked zacinal, rozdavali 50 GB accounty a ako jedna z mala storage sluzieb ich potom neokresali. Nakoniec to ale niekto musi zaplatit :).

Odpovedať Známka: 10.0 Hodnotiť:
 

OneDrive sa predsa odinstaluvava ako prve po nainstalovani windows
Odpovedať Známka: 7.8 Hodnotiť:
 

presne tak, a este sa tam ten chliev snazi drzat zubami nechtami :)
Odpovedať Hodnotiť:
 

Ja pouzivam dropbox, a nie iCloud...
I ked, mesiac dozadu mi odrezali 10.9 od dropboxu, tak hladam nahradu... A ta nahrada bude asi owncloud, pretoze uz ani Google Drive nechodi na 10.9... No, a preco nie iCloud? Lebo k tym macom su este aj Android a Windows zariadenia...
Odpovedať Známka: 8.7 Hodnotiť:
 

Skus sa pozriet aj na NextCloud.. Mam pocit, ze je lepsi
Odpovedať Hodnotiť:
 

oni su skoro jedno a to iste. ale pre android je owncloud appka platena, pre nextcloud nie. Ale maju aj ine drobne odlisnosti.
Odpovedať Hodnotiť:
 

Vyvojari ownCloud sa nedohodli s manazmentom, tak odisli a zalozili si nextCloud.
Odpovedať Hodnotiť:
 

Tak si vsetci zazalohujeme a zivot hadam dalej pobezi hladko.
Odpovedať Známka: 10.0 Hodnotiť:

Pridať komentár