Vytvorený nový rekord v rýchlosti triedenia 100 TB

Značky: algoritmycloud

DSL.sk, 14.10.2014

Spoločnosť Databricks na konci uplynulého týždňa oznámila vytvorenie nového svetového rekordu v rýchlosti triedenia 100 terabajtov dát, ktoré sa jej podarilo utriediť za 23 minút.

Databricks dodržiavala akceptované pravidlá benchmarku sortbenchmark.org, v ktorom sa triedia záznamy o veľkosti sto bajtov s kľúčom veľkosti desať bajtov.

Doterajším rekordom bolo utriedenie minimálne 100 TB dát za hodinu a dvanásť minút spoločnosťou Yahoo na 2100 serveroch s využitím frameworku Hadoop.

Databricks rekord dosiahla pomocou frameworku pre klusterové počítanie Apache Spark, za ktorým stoja zamestnanci tejto spoločnosti. Realizácia rekordu prebiehala na iba 206 serveroch cloudovej služby Amazon EC2, pričom použitými boli servery v konfigurácii i2.8xlarge. Servery i2.8xlarge majú k dispozícii 32 jadier Intel Xeon E5-2670 v2, 244 GB pamäte a osem 800 GB SSD diskov.

Použitým triediacim algoritmom bol Timsort.

Spoločnosť za účelom rekordu Spark vylepšila s cieľom dosiahnuť vyšší výkon a vytvorením rekordu chcela demonštrovať vhodnosť Spark aj na manipuláciu s dátami, ktoré sa nezmestia do operačnej pamäte. Jeden server vo výpočtovej fáze po vylepšení spracúval dáta na diskoch rýchlosťou 3 GB/s a v spájacej fáze prenášal dáta rýchlosťou 1.1 GB/s, naplno tak vyťažujúc desaťgigabitovú konektivitu uzlov.

Databricks tiež demonštrovala utriedenie 1 PB dát, ktoré nie je štandardnou kategóriou sortbenchmark.org. Na 190 serveroch i2.8xlarge dokázala toto množstvo dát utriediť za 3 hodiny a 54 minút.




Najnovšie články:



Diskusia:

dsfsd Od: ddsfs | Pridané: 14.10.2014 9:14 NACO je komu treba triedit taketo mnozstvo dat takouto rychlostou, ani parom volov by som toto netriedil. Odpovedať Známka: -8.8 Hodnotiť:

Re: dsfsd Od: mif | Pridané: 14.10.2014 9:16 triedenie je iba vseobecna nahrada za agregacne a vyhladavacie funckie a si predstav kolko take it/telco giganty maju denne dat. Odpovedať Známka: 9.3 Hodnotiť:

Re: dsfsd Od: joziii | Pridané: 14.10.2014 9:32 a kolko dat ma denne NSA... podla mna ti sa nad tymto rekordom len pousmeju. Odpovedať Známka: 6.2 Hodnotiť:

Re: dsfsd Od: huanggg | Pridané: 14.10.2014 9:45 15.10.2014: Google odkupila Databricks za xy milionov Odpovedať Známka: 8.9 Hodnotiť:

Re: dsfsd Od: trigger.* | Pridané: 14.10.2014 11:04 aby si vedel nieco najst vo velkej DB v rozumnom case, tak to musis mat nevyhnutne utriedene. Odpovedať Známka: 8.2 Hodnotiť:

Re: dsfsd Od: 6aaaaaa | Pridané: 14.10.2014 13:47 vyborne, teraz mozu prist triedit do garaze mojho dedka. ak to stihnu za 3 tyzdne, mozu si vsetko aj odniest Odpovedať Známka: 6.0 Hodnotiť:

Re: dsfsd Od: mydlil-barana | Pridané: 14.10.2014 9:34 tebe by sem mali zakazat pristup ty dement a nie len sem ale cely internet ti odpoit a zobrat pocitac Odpovedať Známka: 5.8 Hodnotiť:

Re: dsfsd Od: whatever | Pridané: 14.10.2014 10:31 dúfaj, že neodpoia všetkých menej vzdelaných Odpovedať Známka: -3.3 Hodnotiť:

Re: dsfsd Od: Dávač dnuka | Pridané: 14.10.2014 10:45 Pri mydlení toho barana sa mu iba šmýkali prsty.... Odpovedať Známka: 6.4 Hodnotiť:

Re: dsfsd Od: whatever | Pridané: 14.10.2014 10:55 ty si sa nepomýlil... jasná známka skúseného dávača dnuka. Odpovedať Známka: -2.0 Hodnotiť:

Re: dsfsd Od: Dávač dnuka | Pridané: 14.10.2014 11:01 No jasne... Ja teraz už dávam dnuka inú ligu - naposledy to bol morský ježko a pred tým juhoamerická lama za behu... Odpovedať Známka: 8.2 Hodnotiť:

Re: dsfsd Od: efr | Pridané: 14.10.2014 9:44 Este si tam dopis "Z toho sa nenajem!" a "Za toto si chleba nekupim!" a uz to tu moze byt ako na aktualne.sk Odpovedať Známka: 8.9 Hodnotiť:

Re: dsfsd Od: zlobik | Pridané: 14.10.2014 12:15 ale ved ma pravdu, naco je komu co triedit. Rozky lacnejsie nebudu. a jedine co treba triedit je otpad. Odpovedať Známka: -2.5 Hodnotiť:

Re: dsfsd Od: stoneage | Pridané: 14.10.2014 12:35 na odpad kaslat, aj tak to technicke sluzby potom zhashuju dohromady Odpovedať Hodnotiť:

Re: dsfsd Od reg.: gandor | Pridané: 14.10.2014 10:59 By si sa cudoval, ake mnozstvo algoritmov potrebuje najskvor data zotriedit. Ked ideme od takych tych jednoduchych/naivnych, tak napriklad vymazanie duplicit sa efektivne robi so zotriedenim. Dalej vyhladavanie v datach nad zotriedenymi datami je asymptoticky rychlejsie (log N), ako "linear seach" - t.z. nehladam informaciu 10 sekund, ale mam ju prakticky okamzite... K takym tym zlozitejsim pripadom patria greedy search na vsetky prichute alebo rozne statisticke analyzi dat. A samozrejme, cim viac tych dat je, tak tym efektivnejsie s nimi musim vediet narabat, aby som ich vedel aspon nejak pouzit... Takze ked videme do konkretnych prikladov, tak napriklad na to, aby facebook mohol mat o 2% menej serverov... Odpovedať Známka: 7.5 Hodnotiť:

Re: dsfsd Od: hmmmmmmm | Pridané: 14.10.2014 12:13 Presne na tuto odpoved som cakal. Nie ako ostany pred tebou co len nadavaju do dementov a nic k veci nepovedia. Prave vdaka tebe podobnym diskutujucim sem chodim. VDAKA Odpovedať Známka: 5.6 Hodnotiť:

Re: dsfsd Od: zlobnik | Pridané: 14.10.2014 12:23 posli mu kvety Odpovedať Známka: 0.0 Hodnotiť:

Re: dsfsd Od: zlobik | Pridané: 14.10.2014 12:15 co Odpovedať Známka: -6.7 Hodnotiť:

Posielam kvety kolegovi Borisovi Od: Jabastar | Pridané: 14.10.2014 9:15 Posielam kvety kolegovi Borisovi Odpovedať Známka: 4.0 Hodnotiť:

Re: Posielam kvety kolegovi Borisovi Od: _I3oris_ | Pridané: 14.10.2014 11:20 Ze dakujem :) Odpovedať Známka: 3.3 Hodnotiť:

Titulok príspevku musí mať dĺžku aspoň 5 znakov. Od reg.: Wolverine | Pridané: 14.10.2014 10:52 co by za to dala taka Popelka :P Odpovedať Známka: 8.3 Hodnotiť:

Re: Titulok príspevku musí mať dĺžku aspoň 5 znakov. Od: Dávač dnuka | Pridané: 14.10.2014 10:55 Určite by za to dala... Odpovedať Známka: 10.0 Hodnotiť:

Re: Titulok príspevku musí mať dĺžku aspoň 5 znakov. Od: zlobik | Pridané: 14.10.2014 12:16 tomu dal tomu dala, len mne nedala Odpovedať Známka: 6.0 Hodnotiť:

Pekne Od: nemo22 | Pridané: 14.10.2014 11:00 No je to pekne ale pri takom objeme a rychlosti tie SSD disky nebudu mat velku zivotnost, kedze ako pisu, data sa nezmestia do pamete tak sa presuvaju hore dolu. Odpovedať Známka: 10.0 Hodnotiť:

rekorddd Od: boriskooo | Pridané: 14.10.2014 11:04 chleba lacnejsi nebude Odpovedať Známka: 2.0 Hodnotiť:

Sort <> triedit Od: asdfasdfsdfasd | Pridané: 14.10.2014 12:33 Usporiadat, nie triedit. Odpovedať Hodnotiť:

Ako sa triedilo pred 20 rokmi... Od reg.: Jozef Kostelanský | Pridané: 14.10.2014 16:55 V roku 1991 som 3000 položiek a 3 MB dát triedil vo Fox-ke 12 hodín... Potom som zmenil spôsob triedenia a čas som znížil na 10 minút. Odpovedať Hodnotiť:

Re: Ako sa triedilo pred 20 rokmi... Od: Sloniiik | Pridané: 15.10.2014 8:47 Ved po utriedeni dat opatovne triedenie je rychlejsie, kedze sa vykonava uz takmer len porovanie miesto presuvania dat. :) Odpovedať Hodnotiť:

Zemský Ráj to napohled ! Od: wikina | Pridané: 14.10.2014 17:03 "ROZžKY LACNEJSšIE NEBUDú !!! či hej ? :p Odpovedať Známka: -3.3 Hodnotiť:

Re: Zemský Ráj to napohled ! Od: de-pejrak | Pridané: 15.10.2014 9:00 ak si ich utriedis podla ceny, budu Odpovedať Známka: 10.0 Hodnotiť:

Pridať komentár