Google zlepšil efektivitu štandardnej kompresie webstránok, gzipu

DSL.sk, 1.3.2013

Spoločnosť Google vyvinula nový kompresný algoritmus Zopfli, ktorý komprimuje dáta kompresnou metódou Deflate podľa spoločnosti najúčinnejšie zo všetkých doteraz dostupných algoritmov.

Kompresná metóda Deflate je postavená na kombinácii algoritmu LZ77 a Huffmanovho kódovania a je používaná okrem iného v ZIP archívoch, nástrojom gzip a odvodenou knižnicou zlib.

Významné postavenie má aj na webe, keď je štandardnou podporovanou metódou pre kompresiu v protokole HTTP pre prenos webových stránok.

Zopfli je novou implementáciou od Google vytvárajúcou výstup kompatibilný s Deflate metódou, ktorá je postavená na zlepšeniach vyvinutých pôvodne pre bezstratovú kompresiu vo WebP. Zopfli okrem iného používa algoritmus hľadania minimálnej cesty v grafe pre nájdenie čo najefektívnejšej komprimácie.

Oproti zlib respektíve gzip s maximálnou úrovňou kompresie 9 dosahuje Zopfli priemerne o 3.7% až 8.3% menšie výsledné súbory, podľa testu Google na najnavštevovanejších stránkach a štandardných testovacích korpusoch.

Efektívnejšie výsledky ako gzip dosahujú aj ďalšie implementácie podporujúce Deflate, kzip a 7-zip v režime Deflate na maximálnej úrovni kompresie. V každom z testov Zopfli porazil aj tieto nástroje, rozdiel je ale už výrazne menší. Napríklad u najnavštevovanejších stránok dosahuje Zopfli oproti 7-zip výsledok lepší o 1.5%.

Všetky účinnejšie alternatívy ako gzip používajú výrazne komplikovanejšie algoritmy a sú tak mnohonásobne pomalšie. Pri jednom z testov napríklad gzip -9 skomprimoval 100 MB dát za 5.6 s, 7-zip za 128 s, kzip za 336 s a Zopfli za 454 sekúnd.

Google tak odporúča algoritmus, ktorý sprístupnil ako open source v podobe implementácie v jazyku C pod licenciou Apache Licence 2.0, používať na kompresiu obsahu, ktorý sa komprimuje iba raz a následne používa respektíve posiela mnoho krát, napríklad kompresiu statických stránok alebo pre archiváciu, ktorá musí byť kompatibilná s deflate. Zopfli používaný z príkazového riadku vytvára archívy kompatibilné s gzip.

Vytvorené skomprimované dáta sú dekomprimovateľné ľubovoľným nástrojom podporujúcim Deflate, samotný Zopfli dekompresiu nepodporuje. Rýchlosť dekompresie napríklad pri použití gzip / zlip nie je ovplyvnená použitým algoritmom na kompresiu a pri dekompresii archívu 100 MB dát sa pohybovala od 926 ms u archívu vytvoreného Zopfli po 949 ms u 7-zip.


Najnovšie články:



Diskusia:

nic moc Od: eax0r | Pridané: 1.3.2013 9:57 no skusal som to a oproti ubuntackemu gzipu to usetrilo nejakych 500 bajtov na 38 kB zdrojakoch Odpovedať Známka: 7.5 Hodnotiť:

Re: nic moc Od reg.: leader | Pridané: 1.3.2013 11:43 posielam ti kvety Odpovedať Známka: -3.0 Hodnotiť:

Re: nic moc Od: albin | Pridané: 1.3.2013 11:58 posli mu bajty.. nevidis ze mu tam 500 chyba? Odpovedať Známka: 8.9 Hodnotiť:

Re: nic moc Od: harlem what | Pridané: 1.3.2013 15:21 práveže nechýba :) Odpovedať Známka: 8.8 Hodnotiť:

sak a co Od: albiinko | Pridané: 1.3.2013 11:57 Zopfil Odpovedať Známka: 5.0 Hodnotiť:

Otazka Od: onononananana | Pridané: 2.3.2013 10:35 to je ten co rad komprimuje alebo obtazuje CPU kompresiou? Odpovedať Známka: -2.0 Hodnotiť:

12345 Od: Boh1 | Pridané: 2.3.2013 17:47 Preloží mi to niekto do Slovenčiny? webové stránky spotrebujú menej dát? rýchlejšie sa načítajú? aký to má prínos pre mňa ako bežného užívateľa internetu, ktorý nič nekódi? Odpovedať Známka: 0.0 Hodnotiť:

Re: 12345 Od: spasitel_ovcich_dusi | Pridané: 3.3.2013 9:23 Odpovedal si si sam - stranka sa ti "rychlejsie" nacita(usetris cas) a prenesie menej dat(setris aj svoj traffic) Odpovedať Známka: 3.3 Hodnotiť:

Re: 12345 Od: karolkooo | Pridané: 3.3.2013 15:01 myslel si "usetris cas" ? Lebo z clanku aj z popisu je zrejme, ze tato kompresia je omnoho zdlhavejsia, akurat ti usetri niekedy zanedbatelne mnozstvo trafficu... Odpovedať Známka: -3.3 Hodnotiť:

preco je to dobra vec Od: drag0p | Pridané: 3.3.2013 20:49 Pravda je taka , ze je t dobre vylepsenie, kompresia zaberie vela casu - avsak to su data na serveri, ktore server skomprimuje iba raz a potom ich tisice uzivatelov stahuju skomprimovane..... a nasledna dekomprimacia zabera rovanko vela casu a cpu ako standardna zi komprimacia... tj je to technologia ktora odlahcuje servre... Odpovedať Známka: 2.0 Hodnotiť:

Pridať komentár