Microsoft vytvoril nový rekord v rýchlosti triedenia

DSL.sk, 22.5.2012

Spoločnosť Microsoft vytvorila nový rekord v rýchlosti triedenia dát, keď sa jej podarilo utriediť za minútu 1401 GB dát.

Spoločnosť o tom informovala v pondelok.

Triedenie čo najväčšieho množstva dát za jednu minútu je jedným z dvoch odbornou komunitou používaných rýchlostných benchmarkov triedenia veľkého množstva dát, druhým je rýchlosť triedenia pri triedení minimálne 100 TB dát.

V benchmarku sa triedia 100-bajtové záznamy s 10-bajtovým kľúčom a súťaží sa v dvoch kategóriách, v kategórii Indy môže byť algoritmus optimalizovaný na dĺžku záznamov a kľúčov, v kategórii Daytona musí vedieť pracovať s ľubovoľnými dĺžkami.

Doterajší rekord v kategórii Daytona držala spoločnosť Yahoo s 500 GB utriedených dát s využitím Hadoop, rekord v Indy kategórii s 1353 GB držala Kalifornská univerzita v San Diegu s algoritmom TritonSort.

Nový rekord 1401 GB v oboch kategóriách Microsoft dosiahol na 250 počítačoch s celkom 1033 diskami. Kľúčovou pri dosiahnutí nového rekordu bola podľa spoločnosti nová architektúra rýchlej siete a na ňom postaveného úložného systému Flat Datacenter Storage.

Každý počítač v tejto sieti dokázal odosielať dáta rýchlosťou 2 GB/s a zároveň prijímať dáta takouto rýchlosťou. Spoločnosť využila úložný systém a algoritmus takým spôsobom, že triedené dáta boli prenášané po sieti trikrát. U doterajších rekordov boli dáta podľa Microsoftu prenášané len raz.

Bližšie informácie o použitej technológii a architektúre siete, úložného systému a algoritme spoločnosť zatiaľ nezverejnila.


Najnovšie články:



Diskusia:

..... Od: :-) | Pridané: 22.5.2012 9:12 Posielam kvety Odpovedať Známka: 7.6 Hodnotiť:

triedenie Od: Misiak22 | Pridané: 22.5.2012 11:22 Ja stale uznavam len bublinkove triedenie... Odpovedať Známka: 8.9 Hodnotiť:

Re: triedenie Od reg.: HeckreN | Pridané: 22.5.2012 12:24 www.youtu.be/lyZQPjUT5B4 Odpovedať Známka: 10.0 Hodnotiť:

quick Od: tomasg | Pridané: 22.5.2012 12:07 ja zase vsade hadzem quick sort:) Odpovedať Známka: 6.4 Hodnotiť:

Re: quick Od: NitroN28 | Pridané: 22.5.2012 12:37 ja na to puužívam SQL Server 2008 R2 Odpovedať Známka: 3.8 Hodnotiť:

všetkým neprajníkom Od: meno nepoviem | Pridané: 22.5.2012 12:15 Zlý, zlý, zlý Microsoft. Ako si len toto mohol dovoliť. ;) Odpovedať Známka: -3.3 Hodnotiť:

Pridať komentár