Twitter používa BitTorrent na distribúciu súborov medzi servermi

DSL.sk, 29.7.2010

Spoločnosť Twitter, prevádzkovateľ rovnomennej najpopulárnejšej mikroblogovacej služby, používa na aktualizáciu svojho softvéru na svojich serveroch špeciálne nakonfigurovaný BitTorrent.

Informoval o tom Larry Gadea z Twitteru.

Podľa Gadea časté aktualizácie serverového kódu Twitteru majú minimálne sto megabajtov a potrebné ich je čo najskôr dostať na tisícky serverov. Twitter v minulosti používal centrálnu distribúciu pomocou softvéru Git na správu verzií súborov, aktualizácia trvala až približne 40 minút.

V súčasnosti už používa vlastný softvér označený Murder, ktorý pre vlastný prenos využíva protokol BitTorrent a aktualizáciu všetkých serverov zvládne za 12 sekúnd.

BitTorrent je používaný kontrolovane tak, aby sa všetky servery zoradili do jedného radu a každý v štandardnom režime sťahoval iba od jedného ďalšieho serveru a poskytoval dáta práve jednému ďalšiemu. Keďže BitTorrent súbor delí a prenáša po malých blokoch, neprichádza k veľkému spomaleniu oproti optimálnemu prenosu BitTorrentom a zároveň je distribúcia výrazne deterministickejšia.

Murder využíva knižnicu BitTornado napísanú v Pythone, sťahovanie riadi pomocou trackera poskytujúceho serverom najskôr iba po jednom peere.

Pre neovplyvňovanie poskytovania webových stránok z týchto serverov počas aktualizácie je rýchlosť prenosu medzi dvomi servermi zvyčajne limitovaná na 10 MB/s.

Softvér Murder je open source a sťahovať je ho možné z github.com.


Najnovšie články:



Diskusia:

twiii Od: jozef32 | Pridané: 29.7.2010 11:54 no co uz Odpovedať Známka: -7.1 Hodnotiť:

Facebook tiez Od: jumbo__ | Pridané: 29.7.2010 12:55 Nieco podobne robi aj Facebook vid http://tiny.cc/s47uj Odpovedať Známka: 10.0 Hodnotiť:

Re: Facebook tiez Od: huhuhu | Pridané: 29.7.2010 13:00 no hej, facebook tiez :D http://bit.ly/bsQrr1 Odpovedať Známka: 10.0 Hodnotiť:

deterministickejšia Od: milujem slovencinu :) | Pridané: 29.7.2010 12:57 deterministickejšia Odpovedať Známka: 10.0 Hodnotiť:

ja tomu nerozumiem Od: nerozumiem | Pridané: 29.7.2010 13:22 ako mozu stihnut vsetky servery za 12s, ked sa kopiruje sekvencne a rychlost je limitovana, takze len na prvy sa 100MB skopiruje za prvych 10sekund. Odpovedať Známka: 7.1 Hodnotiť:

Re: ja tomu nerozumiem Od reg.: Redakcia DSL.sk | Pridané: 29.7.2010 13:44 BitTorrent prenáša dáta po blokoch, tzv. chunkoch, zvolenej veľkosti, napríklad 256 KB. Akonáhle je na prvom serveri prvý blok, už sa môže prenášať na ďalší, atď. Tie dáta aj pri obmedzení tak v podstate plynulo po blokoch tečú cez všetky servery rýchlosťou limitu napr. 10 MB/s s postupným malým oneskorením spôsobeným spracovaním na každom serveri, pri obmedzovaní zvyčajnými spôsobmi nesúvisiacim s rýchlostným limitom. Odpovedať Známka: 9.0 Hodnotiť:

schodi Od: príklad | Pridané: 29.7.2010 13:43 skus liat vodu dolu po schodoch a zistis ze sa najprv nezleje vsetka na prvi schod a potom na dalsi a dalsi atd.. ale tecie v jednom prude az ku poslednemu a pritom kazdi jeden zostane rovnako mokri v kratkom case :D to iste plati aj pre tie servre data knim tecu v jednom prude az kym nepridu k poslednemu. Odpovedať Známka: 9.1 Hodnotiť:

Re: schodi Od: ferkooooo | Pridané: 29.7.2010 15:58 idem to hned vyskusat Odpovedať Známka: 10.0 Hodnotiť:

Re: schodi Od: m44 | Pridané: 29.7.2010 16:12 na piatom schode mi to hlasi "tracker is not responding" Odpovedať Známka: 10.0 Hodnotiť:

RIAA by si mala posvietit. Od: prpr | Pridané: 29.7.2010 17:04 RIAA by si mala nich torentakov posvietit! a SOZA tiez. Odpovedať Známka: 1.7 Hodnotiť:

Re: RIAA by si mala posvietit. Od: Ramonson | Pridané: 29.7.2010 22:41 Na Teba by si mal posvietiť psychiater. Odpovedať Známka: 6.7 Hodnotiť:

Pridať komentár