Yahoo porazilo Google v rýchlosti triedenia, pomocou open source softvéru

DSL.sk, 17.5.2009

Spoločnosť Yahoo oznámila dosiahnutie viacerých nových rekordov pri triedení veľkých objemov dát podľa rešpektovaných Grayových benchmarkov, vrátane rekordu pri triedení jedného terabajtu dát.

Yahoo v triedení terabajtu dát, desať miliárd záznamov o veľkosti sto bajtov, predbehla spoločnosť Google, ktorý doterajší rekord 68 sekúnd dosiahla na konci minulého roka. Nový rekord Yahoo má hodnotu 62 sekúnd.

Yahoo použila pre dosiahnutie rekordu distribuovaný open source softvér Apache Hadoop, ktorý je založený na princípe MapReduce a počíta s dátami uloženými pomocou Hadoop Distributed File System.

Google použila k dosiahnutiu rekordu svoju implementáciu MapReduce, používanú pri implementácii rozličných algoritmov v Google, a distribuovaný Google File System.

Yahoo rekord utriedenia 1 TB dát dosiahlo na 1460 serveroch, každý používal dva štvorjadrové 2.5 GHz Xeon procesory s 8 GB pamäte, gigabitovým ethernetom, štyrmi SATA diskami, Red Hat Enterprise Linuxom a Sun JDK 1.6.

Yahoo dosiahlo rekord aj v najviac utriedených dát za minútu, keď 500 GB utriedilo za 59 sekúnd. Rekord bol dosiahnutý aj v priemernej rýchlosti triedenia, keď petabajt dát spoločnosť utriedila za 975 minút na 3658 serveroch, čo predstavovalo rýchlosť 1.03 TB/s.

V rebríčku Grayových benchmarkov je zatiaľ zapísaný len rekord 578 GB/s za triedenie 100 TB dát za 173 minút, keď triedenie 1 PB dát bolo uskutočnené až po poslednej aktualizácii rebríčka. Spoločnosť Google 1 PB dát minulý rok utriedila za 362 minút, triedenie ale zrejme nespĺňalo požiadavky Grayových benchmarkov, keď sa v rebríčku najrýchlejších triedení nenachádza.




Najnovšie články:



Diskusia:

dnes má meniny Gizela, zajtra Viola Pošli kvety Od: rms | Pridané: 17.5.2009 18:54 Yahoo dosiahlo rekord aj v najviac utriedených dát za minútu, keď 500 GB utriedilo za 59 sekúnd. LOL Odpovedať Známka: -2.8 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: TradeMark | Pridané: 17.5.2009 19:08 Co sa ti na tom zda smiesne? Odpovedať Známka: 3.8 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: TvojaMama.sk | Pridané: 17.5.2009 19:13 Neseď toľko na tom pokeci, potom len lolkáš lebo nič iné nevieš napísať. Odpovedať Známka: 6.2 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: IT Profici | Pridané: 17.5.2009 19:16 Pozor, profik, ktory nechodi na pokec, sa ozval. Odpovedať Známka: -7.0 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od reg.: kingzozo | Pridané: 17.5.2009 19:20 lol wtf omg U noob :) Odpovedať Známka: 2.3 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: TvojaMama.sk | Pridané: 17.5.2009 19:35 Nemáš za do koho navážať tak musíš práve do mňa? Bež aj ty na pokec. Veď tam si predsa doma. Odpovedať Známka: -3.8 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: IT Profici | Pridané: 17.5.2009 19:53 Vies kedy sa do teba prestanem navazat? Ked sa naucis spravat v diskusiach. Ak si niekto pozrie tvoje prispevky, pomysli si, ze co to pisal za burana. Sama nadavka, namyslenost. Ako naozajstny HipHoper. Ale uz sa zacinas spravat normalnejsie. Odpovedať Známka: 7.8 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: TvojaMama.sk | Pridané: 17.5.2009 21:50 Ukáž mi kde som nadával a kde som vyzeral ako namyslený. Keď nadávam, tak je to oprávnené. V diskusii by si sa mal naučiť správať ty. Vieš, je najľahšie navážať sa do niekoho. Takže láskavo prestaň, mňa nezaujíma čo tebe vadí na mňa. Odpovedať Známka: -6.7 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od:     | Pridané: 17.5.2009 22:16 takze ked ty utocis je to OK, ale ked utocia na teba, tak nie? (nefnukaj, je to koniec koncov internetova diskusia) Odpovedať Známka: 8.9 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: TvojaMama.sk | Pridané: 17.5.2009 22:30 Kde útočím ale? Na toto mi ešte niekto neodpovedal. A neboj sa nefňukám, diskusie plné detí nie sú len na DSL.sk. Už som si zvykol aj na názory neinteligentných ľudí. Odpovedať Známka: -6.7 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: IT Profici | Pridané: 17.5.2009 22:29 Pridané: 7.5.2009 23:28 Od: TvojaMama.sk Konečne sa začali filtrovať tie debilné torrenty. Bodaj by to komplet celé stopli. Debili len ťahajú 1 KB/s cez Torrent. Bože najivky primitívne. Obdivujem vašu vytrvalosť. A ževraj torrenty ruzez - TORRENT NIKDY!!! Od: TvojaMama.sk | Pridané: 8.5.2009 1:19 Ty náhodou nie si ten slávny zástanca Linuxu a "bojuješ" o svoje debilné pravdy za každú cenu? Ako tak pozerám tvoje príspevky tak áno. Od: TvojaMama.sk | Pridané: 13.5.2009 21:05 Keby taký profíci ako si Ty navrhovali nejakú zabezpečenú sieť nečudoval by som sa, že by ju hackol 15 ročný zasran z Pokecu za 5 minút... A to som asi tých 5 minút prehnal. Od: TvojaMama.sk | Pridané: 14.5.2009 23:24 Spamataj sa. Ešte ze tam tvoja mater nerobí... Odpovedať Známka: 7.7 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: TvojaMama.sk | Pridané: 17.5.2009 22:32 Jedine kde som útočil je posledný príspevok. Ostatné sú normálne, by som povedal že ešte slušné reakcie vzhľadom na úroveň tunajšej diskusie. Ešte si potrebuješ vysporiadať nejaký komplex? Odpovedať Známka: -8.1 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: IT Profici | Pridané: 17.5.2009 23:10 Ano, su normalne a na nikoho neutocis. Iba ten posledny, a ani to sa neda povedat ako "utok". My ta mame radi. Vzhladom na uroven tunajsej diskusie....takze kazdy tu nadava ako prasa, takze idem aj ja. Ako stado oviec.. Nemam komplexy, iba nemam rad namyslenych ludi, ktori sa nevedia spravat. Odpovedať Známka: 8.3 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: TvojaMama.sk | Pridané: 17.5.2009 23:19 Ešte stále si teda presvedčený, že sa neviem správať a že som namyslený? Myslím, že po tom čo si mi tu, teda nám predložil sú to len tvoje domnienky. Odpovedať Známka: -7.4 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: dej to sem nebo se objesim | Pridané: 18.5.2009 6:23 Nie je to len jeho mienka, staci si pozriet hodnotenie prispevkov. LIsi sa to hlavne jeho plusovimi a tvojimi minusovymi hodnoteniami. Odpovedať Známka: 6.7 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: TvojaMama.sk | Pridané: 18.5.2009 8:54 Ani sa načudujem keď 90% hodnotiteľov má 14-15 rokov... Odpovedať Známka: -7.1 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od reg.: kingzozo | Pridané: 18.5.2009 0:40 stale lepsie jak ten typek co stale pise "nemas predstavu" :) Odpovedať Známka: 8.5 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: ten typek | Pridané: 18.5.2009 11:33 nemas predstavu... :D :D :D Odpovedať Známka: 3.3 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: xyzzyx | Pridané: 18.5.2009 0:07 Tak ten s tym torrentom si riadne zabil... Ty si o torrente asi iba nieco zacul, lebo napisat nieco take,.. V dnesnej dobe uz aj public torrenty maju slusnu rychlost. O torrentoch z praivate trackerov ani nevravim... Kludne mudruj do vsetkeho ale na torrenty sa neopovazuj nieco trepat, lebo o nich vies velke vies co... Odpovedať Známka: 7.1 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: IT Profici | Pridané: 17.5.2009 22:36 Od: TvojaMama.sk | Pridané: 15.5.2009 21:16 Áno, som čistý kokot ale až po tebe:) Od: TvojaMama.sk | Pridané: 10.5.2009 18:28 Áno, určite 90% vecí na rapide je najprv stiahnutých z torrentov. Ty si ďalšia najivka na odstrel. Od: TvojaMama.sk | Pridané: 10.5.2009 19:38 Až po tebe ty synonymická kopírka zakomplexovaná. Od: TvojaMama.sk | Pridané: 14.5.2009 0:26 Teba zrejme veľmi bili keď si bol malý. Lebo iba to je následkom tvojej debilnosti. Odpovedať Známka: 8.7 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: TvojaMama.sk | Pridané: 17.5.2009 22:56 A čo keby si skopíroval minimálne jeden článok nad mojím? Takto to je neobjektívne. Proste strať sa a nerýp do mňa. Neviem čo si chceš dokázať, ale u mňa si nedokážeš nič. Teda dokázal si – že máš nejaký komplex keď ťa vedia rozhádzať takéto banality. Odpovedať Známka: -8.6 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: IT Profici | Pridané: 17.5.2009 23:14 Nerozumiem, co je "minimalne jeden clanok nad mojim". Vysvetli to a potom si mozeme pokecat o tom, ci to je alebo nie je objektivne. Mna to nerozhadzuje, rozhadzany si asi ty. Keby som bol rozhadzany, tak nepisem s takym obrovskym kludom, ale vyjadrim sa ako prasa....vsak co, sme stado oviec. Takze mna tvoje "banality" nerozhadzuju, iba chcem, aby si sa trosku ukludnil a spraval sa ako clovek. Takze dohodneme sa. Ty pis normalne komentare a ja si uz nikdy na teba neotvorim klavesnicu. Odpovedať Známka: 9.2 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: TvojaMama.sk | Pridané: 17.5.2009 23:21 Ja som kľudný ako Angličan. Jediný, kto tu nie je kľudný si zrejme Ty. Ja si budem komentáre písať také aké chcem, a keď si chceš zasa niečo „dokázať“ podobne ako dnes tak nech sa páči. Odpovedať Známka: -7.9 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od reg.: Sheer Mirage | Pridané: 18.5.2009 0:49 Počúvaj, chalan, sa pozri, aké máš hodnotenie príspevkov v tejto diskusii. Myslíš, že to je náhoda? Zamysli sa nad tým trochu. Odpovedať Známka: 8.3 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: jablko | Pridané: 18.5.2009 1:22 taktak, btw, ja som pochytil LOL a WTF od amikov, a ked som to ja použival, cely pokec nevedel čo to je :) takže spajať tie skratky s pokeceom je trochu od veci.. Odpovedať Známka: -2.2 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: TradeMark | Pridané: 17.5.2009 23:08 Nemusis pri profikoch zdoraznovat ze nechodia na pokec.. to je vseobecne znamy fakt ze clovek, ktory nechodi na pokec sa da oznacit ako profik. To je ako keby si hovoril ze mokra voda Odpovedať Známka: 8.3 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od reg.: Sarge | Pridané: 17.5.2009 23:18 popises? :D:D Odpovedať Známka: 7.1 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od reg.: lubos679679 | Pridané: 17.5.2009 23:20 jj Odpovedať Známka: 8.0 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: jjsannnn | Pridané: 17.5.2009 20:51 presne podla stylu: ja beham 12 minutovku za 11:53 Odpovedať Známka: 8.9 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: aleluja | Pridané: 17.5.2009 22:16 najskor som cital ze 12 kilometrov za 11:53 Odpovedať Známka: 4.3 Hodnotiť:

Re: dnes má meniny Gizela, zajtra Viola Pošli kvety Od: Jan SLOTA | Pridané: 18.5.2009 9:02 http://jan-slota.mybrute.com -- treba vyplnit nick a kliknut na validate a Slota vas porazi Odpovedať Známka: -5.0 Hodnotiť:

nerozumiem Od: JonnnY | Pridané: 17.5.2009 19:17 nerozumiem. 1TB trval 62sekund a 500GB za 59sekund? 3 sekundy rozdiel? vytriedeny dvojnasobok dat pri len cca o 5% zvysenom case triedenia? Odpovedať Známka: -8.0 Hodnotiť:

Re: nerozumiem Od: TradeMark | Pridané: 17.5.2009 19:22 No zavisi to od algoritmu triedenia... vezmi si napr. taky quicksort - tam sa s pribudajucim casom zvysuje rychlost triedenia pretoze ubuda prvkov, ktore treba triedit. Odpovedať Známka: 5.4 Hodnotiť:

slecna Google Od reg.: jakub89 | Pridané: 17.5.2009 19:26 "Google použila"? Nie skôr "Google použil"? Odpovedať Známka: -1.7 Hodnotiť:

Re: slecna Google Od reg.: Kenco SK | Pridané: 17.5.2009 19:40 Predpokladám, že "Spoločnosť Google použila..", ta je to TÁ spoločnosť, tak v takomto kontexte je to OK. Odpovedať Známka: 5.0 Hodnotiť:

Re: slecna Google Od reg.: jakub89 | Pridané: 18.5.2009 0:08 To ma napadlo, ale bežne sa používa "ten" Google. Aj v top správach je momentálne "Orange výrazne zlacnil pripojenie k Internetu..". Je to síce tá firma, tá spoločnosť.. aj tak je to ten Orange. Buď je chyba v tomto článku, alebo v tom TOP :) Odpovedať Známka: -2.5 Hodnotiť:

Re: slecna Google Od reg.: jakub89 | Pridané: 18.5.2009 0:10 Alebo "ten monopol Google" :) Odpovedať Známka: 6.7 Hodnotiť:

Najlepsi Od: SUperMacher | Pridané: 17.5.2009 19:53 Mna aj tak nik neporazi.., ja ked si triedim myslienky v hlave tak je to rychlostou blesku, a ten prenasa nesmierne objemi dat :))) Odpovedať Známka: 0.0 Hodnotiť:

Re: Najlepsi Od: odporucam upgrade | Pridané: 17.5.2009 21:40 to bolo suche jak ten rozok co som mal na ranajky. inac, odporucam ti opravu alebo upgrade toho tvojho blesku na myslenie, aby si vedel ze objemy sa pise s y a nie i ;-) Odpovedať Známka: 8.9 Hodnotiť:

Re: Najlepsi Od: TvojaMama.sk | Pridané: 17.5.2009 21:52 Aj tebe by som odporúčal upgrade tvojho neviem čoho, pretože správne sa píše ako a nie jak... :) (myslené ironicky pre IT profíkov a pod.) Odpovedať Známka: -4.1 Hodnotiť:

Re: Najlepsi Od: kostrik | Pridané: 17.5.2009 22:42 na suchy rozok je dobry jogurt - mam to odskusane Odpovedať Známka: 5.0 Hodnotiť:

Re: Najlepsi Od: das4654ads | Pridané: 18.5.2009 8:24 .. to bola asi chyba pri prenose dat :) .. packet loss :P Odpovedať Známka: 5.0 Hodnotiť:

sranda Od: bubonnn | Pridané: 17.5.2009 20:13 petabajt za 975 minut....rychlost 1,03 TB/s ?!? zaujimaveee Odpovedať Známka: 3.3 Hodnotiť:

Re: sranda Od: TTTT | Pridané: 17.5.2009 20:23 1000TB / 975minut ~= 1TB/1minuta Odpovedať Známka: 10.0 Hodnotiť:

PT ? Od: Ing. Vravlakno | Pridané: 17.5.2009 21:15 a co je to ten PB? nieco ako PiB? Odpovedať Hodnotiť:

Re: PT ? Od: PCnity3 | Pridané: 17.5.2009 23:39 PB je mocnina 10... PiB mocnina 2. Ale mnozstvo mozes uvadzat v oboch. Odpovedať Známka: 10.0 Hodnotiť:

Re: PT ? Od: sak informatik, ne? | Pridané: 18.5.2009 1:10 pb je prison break ;-) Odpovedať Známka: 6.0 Hodnotiť:

Re: PT ? Od: jablko | Pridané: 18.5.2009 1:25 PB = PunkBuster známa to ochrana proti cheaterom v hrách :) Odpovedať Známka: 6.0 Hodnotiť:

Re: PT ? Od reg.: hogo1 | Pridané: 18.5.2009 16:22 PB - olovo :) Odpovedať Hodnotiť:

triedenie vs. (zo)radenie/usporiadanie Od: sak informatik, ne? | Pridané: 17.5.2009 21:59 chcel by som upozornit redakciu, aby si z vyznamoveho hladiska slov davala pozor na zamenu slov s inym vyznamom... triedenie je, ked zoberiem prvok z mnoziny a vlozim ho do nejakej "skatulky" - vo vysledku mam niekolko mensich mnozin-skatuliek, ktorych zjednotenie je povodna mnozina - a tu sa o poradie velmi nejedna... na druhu stranu radenie - to je proces, ktory moze prebehnut iba ak je na mnozine definovane uplne usporiadanie (sme schopni priamo porovnat ktorukolvek dvojicu prvkov mnoziny a povedat, ktory je vacsi, pripadne ze su zhodne) a vysledkom je vysledny zoznam (uz nevravim ze mnozina, lebo v mnozine je poradie irelevantne) obsahuje povodne prvky tak, ze pre kazde i a j plati ak i<j tak prvok[i]<=prvok[j] ... inak povedane - ak mam postupnost cisel a aplikujem na nu quicksort, nejedna sa o triedenie ale o radenie... len tolko som chcel - a teraz mi prosim davajte hodnotenie "-" :-D Odpovedať Známka: 7.9 Hodnotiť:

Re: triedenie vs. (zo)radenie/usporiadanie Od: TTTT | Pridané: 17.5.2009 22:24 za tento nazor sa musim postavit tiez je v tom velky rozdiel Odpovedať Známka: 6.0 Hodnotiť:

Re: triedenie vs. (zo)radenie/usporiadanie Od reg.: TheHacker | Pridané: 18.5.2009 1:38 Tak ked sa bavime o slovickach, nas pan Navrat ucili ze sa vravi "usporaduvanie"... Odpovedať Známka: 5.0 Hodnotiť:

Re: triedenie vs. (zo)radenie/usporiadanie Od reg.: TheHacker | Pridané: 18.5.2009 1:40 Ach, ano, a nez ma niekto sunda, za tym "ze" mala byt ciarka. A za "sunda" ma nesundajte. :-) Odpovedať Známka: 5.0 Hodnotiť:

Re: triedenie vs. (zo)radenie/usporiadanie Od: das4546s | Pridané: 18.5.2009 8:27 za "ze" ciarka ? .. tak to asi tazko Odpovedať Známka: 0.0 Hodnotiť:

Re: triedenie vs. (zo)radenie/usporiadanie Od: vtg | Pridané: 18.5.2009 9:03 a co pred "ze"? Odpovedať Hodnotiť:

Re: triedenie vs. (zo)radenie/usporiadanie Od reg.: TheHacker | Pridané: 18.5.2009 12:14 Jaj mas pravdu, pred "ze". Tak sa nasla aspon jedna vec na sundanie. :-D Odpovedať Hodnotiť:

On je lepsi Od: Jan SLOTA | Pridané: 18.5.2009 9:02 http://jan-slota.mybrute.com -- treba vyplnit nick a kliknut na validate a Slota vas porazi Odpovedať Známka: -10.0 Hodnotiť:

Pridať komentár