Prístup k časti súborov na Dropboxe bude pomalší, nasadil RAID 5 naprieč USA

Značky: Dropbox

DSL.sk, 7.5.2019

Populárna služba cloudového úložiska súborov s podporou synchronizácie Dropbox aktuálne oznámila nasadenie zmeny spôsobu, akým uchováva časť dát užívateľov.

V minulosti mala služba dáta na serveroch služby Amazon Web Services, v 2016 ich ale začala presúvať do vlastných dátových centier a podľa aktuálneho oznámenia v nich má viac ako 90% dát. Podľa skorších informácií má dátové centrá v troch regiónoch, na západe USA, východe USA a v centrálnej časti USA.

Dropbox súbory užívateľov rozdeľuje a ukladá po blokoch o veľkosti do 4 MB. Doteraz mal jeden blok uložený minimálne v dvoch regiónoch, pre ochranu proti výpadku jedného celého regiónu. Zároveň blok je v jednom dátovom centre uložený redundantne pre ochranu proti napríklad pokazeniu diskov alebo serverov, presný aktuálny spôsob a replikačný faktor bloku v jednom dátovom centre nepopisuje.

Už aj doteraz mal Dropbox nasadenú optimalizáciu, keď bloky starších predpokladane menej sprístupňovaných súborov v rámci jedného dátového centra ukladal viac efektívne a s menším replikačným faktorom.

S cieľom znížiť využívanú dátovú kapacitu a tým aj náklady teraz spoločnosť oznámila nasadenie nového spôsobu ukladania súborov, ku ktorým sa pristupuje málo často, čo sa týka ukladania naprieč dátovými centrami. Po novom sa súbory delia na dve kategórie, málo sprístupňované súbory sa ukladajú novým spôsobom a ostatné doterajším. Presné podmienky, kedy sa súbor považuje za málo sprístupňovaný, spoločnosť nezverejnila.

Aj v prípade málo sprístupňovaných súborov sa tieto ukladajú po blokoch ako doteraz. Blok sa ale neuloží v dátových centrách v dvoch regiónoch. Namiesto toho sa používa metóda známa z redundantných diskových RAID polí a to konkrétne ekvivalentná režimu RAID 5.

Pri troch dátových centrách rozdelí Dropbox blok na dve polovice. Následne v jednom dátovom centre uloží jednu polovicu, v druhom druhú a v treťom tzv. paritný blok z týchto dvoch polovíc o veľkosti polovice pôvodného bloku. Paritný blok umožňuje zistiť z ľubovoľnej jednej polovice a paritného bloku druhú polovicu. Konkrétne podľa popisu sa používa na vytvorenie paritného bloku z dvoch polovíc bloku funkcia XOR rovnako ako u RAID 5. Pri prístupe k bloku si Dropbox vyžiada príslušné časti zo všetkých troch dátových centier a blok vytvorí z ľubovoľných dvoch odpovedí, ktoré dorazia ako prvé.

V jednom dátovom centre je blok uložený s rovnakou redundanciou ako doteraz, celkovo tak na jeho uloženie používa Dropbox o 25% menej kapacity ako doteraz keď namiesto uloženia bloku v dvoch dátových centrách sa ukladá blok polovičnej veľkosti v troch datacentrách. Nové riešenie je rovnako ako doterajšie odolné aj proti výpadku jedného regiónu.

Rýchlosť prístupu k blokom uloženým takýmto spôsobom je podľa Dropboxu v absolútnej väčšine prípadov pomalšia. Protokol sieťovej komunikácie Dropbox nezverejnil, rozdiel latencie podľa neho dosahuje ale dobu cesty pakety z jedného regiónu do druhého a späť. Celkovo má byť podľa spoločnosti koncová skúsenosť užívateľov "takmer nerozoznateľná", konkrétnejší ale nie je.

Či má nasadenie nového spôsobu rovnaký dopad aj na latenciu pri prístupe z Európy nie je jasné.

Aká časť súborov je uložená novým spôsobom a k akej celkovej úspore kapacity to vedie spoločnosť neuviedla. Celková kapacita úložiska Dropboxu ale dosahuje podľa oznámenia mnoho exabajtov, aj úspora na úrovni 10% prípadne menej tak zrejme predstavuje veľkú úsporu nákladov.




Najnovšie články:



Diskusia:

..... Od: Hakuna Matata | Pridané: 7.5.2019 14:58 Ale otázka, čo to znamená pre Slovenský hiphop, ostáva nezodpovedaná. Odpovedať Známka: 4.6 Hodnotiť:

ultraradikalny optimalizatorizmus Od: syntaxterrorXX. XX | Pridané: 7.5.2019 15:59 Neviem ako ostatni, ale ja teda s odpovedou cakam len na vstupenie zakona, ze ma ostat nezodpovedaná, do platnosti, inak by nebola subkontextualne priekazne relevantna. Odpovedať Známka: -5.0 Hodnotiť:

Re: ultraradikalny optimalizatorizmus Od: letovparku | Pridané: 9.5.2019 9:32 tr. Odpovedať Hodnotiť:

Re: ..... Od: adfads | Pridané: 7.5.2019 16:26 no predsa hip-hop -> suchty-suchty Odpovedať Známka: -6.0 Hodnotiť:

Re: ..... Od: CiKi | Pridané: 7.5.2019 16:48 A ci na raid vyuzivaju ciatic kintaktov. Odpovedať Známka: -5.0 Hodnotiť:

Re: ..... Od: Cvrk | Pridané: 7.5.2019 16:48 Alebo pripadne na riad. Odpovedať Známka: 1.4 Hodnotiť:

Re: ..... Od: ayyy | Pridané: 9.5.2019 8:50 a nieje nahodou sam raid jeden z kategorie ciatic kintaktov? Odpovedať Hodnotiť:

Re: ..... Od: ujo tomas | Pridané: 9.5.2019 9:43 ano ano, niekde som cital, ze sa ten ciatic kintaktov velmi dobre nasadzuje v datacentrach a v mnohych pripadoch aj zvysuje vykon serverov. Treba potestovat. Je to zatial novinka. Odpovedať Hodnotiť:

Re: ..... Od reg.: zatvor_Rit | Pridané: 7.5.2019 20:38 #12 Odpovedať Známka: -2.0 Hodnotiť:

Dropbox uz setri kde sa da Od: rolh | Pridané: 7.5.2019 15:17 Dropbox uz setri kde sa da, vsak ktory Mac user pouziva nieco ine ako iCloud, popripade windowsaci One Drive ... Kto si uz len da drobpox??? Odpovedať Známka: -4.7 Hodnotiť:

Re: Dropbox uz setri kde sa da Od: Vera Pohlova dochodkyna | Pridané: 7.5.2019 15:28 Mas pocit ze budovanie data centra je setrenie? Odpovedať Známka: 4.3 Hodnotiť:

Re: Dropbox uz setri kde sa da Od: xvzf | Pridané: 7.5.2019 15:55 kludne moze byt :) Odpovedať Známka: 8.5 Hodnotiť:

ničivý praktik S005E002496 Od: syntaxterrorXX. XX | Pridané: 8.5.2019 13:20 Mas dojem ze nazor je priekazne pocit? Odpovedať Známka: 0.0 Hodnotiť:

Re: ničivý praktik S005E002496 Od: letovparku | Pridané: 9.5.2019 9:32 tr. Odpovedať Hodnotiť:

Re: Dropbox uz setri kde sa da Od reg.: Vajcak | Pridané: 7.5.2019 16:02 Mozno firemni zakaznici ? Predstav si ze existuje aj "Box" napriklad ktory asi ani nema obycajnych userov, ale zije cisto z enterprise userov. Odpovedať Známka: 6.0 Hodnotiť:

Re: Dropbox uz setri kde sa da Od: qwertyuiop1 | Pridané: 7.5.2019 16:29 To je dobre, ze Box zije z enterprise. Ked zacinal, rozdavali 50 GB accounty a ako jedna z mala storage sluzieb ich potom neokresali. Nakoniec to ale niekto musi zaplatit :). Odpovedať Známka: 10.0 Hodnotiť:

Re: Dropbox uz setri kde sa da Od: opozičný špinavec | Pridané: 7.5.2019 16:05 OneDrive sa predsa odinstaluvava ako prve po nainstalovani windows Odpovedať Známka: 7.8 Hodnotiť:

Re: Dropbox uz setri kde sa da Od reg.: mika_ | Pridané: 9.5.2019 8:00 presne tak, a este sa tam ten chliev snazi drzat zubami nechtami :) Odpovedať Hodnotiť:

Re: Dropbox uz setri kde sa da Od: pomocny osvetlovac | Pridané: 7.5.2019 17:38 Ja pouzivam dropbox, a nie iCloud... I ked, mesiac dozadu mi odrezali 10.9 od dropboxu, tak hladam nahradu... A ta nahrada bude asi owncloud, pretoze uz ani Google Drive nechodi na 10.9... No, a preco nie iCloud? Lebo k tym macom su este aj Android a Windows zariadenia... Odpovedať Známka: 8.7 Hodnotiť:

Re: Dropbox uz setri kde sa da Od reg.: shapira | Pridané: 8.5.2019 11:38 Skus sa pozriet aj na NextCloud.. Mam pocit, ze je lepsi Odpovedať Hodnotiť:

Re: Dropbox uz setri kde sa da Od: ujo tomas | Pridané: 9.5.2019 9:46 oni su skoro jedno a to iste. ale pre android je owncloud appka platena, pre nextcloud nie. Ale maju aj ine drobne odlisnosti. Odpovedať Hodnotiť:

Re: Dropbox uz setri kde sa da Od: qwertyuiop1 | Pridané: 9.5.2019 14:02 Vyvojari ownCloud sa nedohodli s manazmentom, tak odisli a zalozili si nextCloud. Odpovedať Hodnotiť:

........... Od: zxcvbn | Pridané: 7.5.2019 17:12 Tak si vsetci zazalohujeme a zivot hadam dalej pobezi hladko. Odpovedať Známka: 10.0 Hodnotiť:

Pridať komentár