Najkomplikovanejším na YouTube je servovanie thumbnailov

DSL.sk, 2.8.2007

Zaujímavé informácie o technológii za YouTube a jej škálovaní prezentovala spoločnosť Google na konferencii v Seattli.

Ako vyplynulo z prezentovaných informácií, ktoré spracoval server Highscalability, hoci samozrejme najväčšie náklady a šírku pásma vyžadujú samotné videá, z technologického hľadiska je najväčšou výzvou servovanie thumbnailov videí.

Táto ako jediná časť riešenia YouTube prešla zatiaľ kompletne po odkúpení YouTube na viac škálovatelnejšie technológie Google.

Komplikácie s náhľadmi na videá vyplývajú zo skutočnosti, že náhľadov je približne štyrikrát viac ako videí, náhľady sa zobrazujú výrazne viackrát ako videá a viacero stránok obsahuje naraz aj 60 náhľadov.

Takéto veľké množstvo servovaných náhľadov spôsobuje veľa náhodných prístupov na disky, keď cache pamäte nie sú dostatočne účinné, siaha na limity používaného súborového systému Ext3 na počet súborov v jednom adresári a kladie veľké nároky na používaný webový server. Apache používaný YouTube na webové stránky, Apache so squidom ani lighttpd používaný na videá sa neukázali ako postačujúce.

Po odkúpení spoločnosťou Google tak servovanie thumbnailov začalo využívať technológiu distribuovanej databázy Google BigTable, ktorá umožňuje ľubovoľnú databázu transparentne rozložiť na veľké množstvo serverov v rozličných dátových centrách.

Thumbnaily, u ktorých rozhoduje aj latencia, sú poskytované z geograficky čo najbližšej časti distribuovanej Google siete. U videí latencia nezohráva úlohu a tak pri videách poskytovaných zo serverov YouTube sú tieto poskytované z ľubovoľného dátového centra bez ohľadu na polohu užívateľa.

Čo sa týka videí, najpopulárnejšie videá distribuje YouTube pomocou CDN (content delivery network) zrejme tretej strany, ostatné sú poskytované zo serverov YouTube pomocou webového servera lighttpd.

Webové stránky sú poskytované pomocou Apacha, napísané sú v pythone pre možnosť rýchleho vývoja.

Používanou databázou v začiatkoch bola MySQL a využívala jedno RAID 10 pole s desiatimi diskami. Postupne prešla na master server s viacerými slave servermi, partitioning databázy a nakoniec tzv. sharding, rozdelenie databázy a návštevníkov na jednotlivé jej časti.


Najnovšie články:



Diskusia:

Frog Od: Frog | Pridané: 2.8.2007 12:32 uz je aj slovenska alternativa videotube.sk Odpovedať Hodnotiť:

Nerte Od: Nerte | Pridané: 2.8.2007 12:50 Hej, a je to pekny grc... hlavne spravit takyto typ stranky ciernou farbou svedci o inteligencii tvorcu. Odpovedať Hodnotiť:

m.es Od: m.es | Pridané: 2.8.2007 13:20 Ty asi niesi moc inteligentny , ked si myslis,ze inteligencia zavisi od pouzitej farby.Ale cierna je divna, to je pravda. Odpovedať Hodnotiť:

wave Od: wave | Pridané: 2.8.2007 23:50 je to trapne...je tam vela porna... je to pre deti ceknitoSK bolo skor... Odpovedať Hodnotiť:

wave Od: wave | Pridané: 2.8.2007 23:51 Btw: na smiech mi pride domena youpornCOM porntubeCOM a pornotubeCOM... to je uz na hlav postavene Odpovedať Hodnotiť:

hmmm? Od: hmmm? | Pridané: 3.8.2007 1:22 porna? tak to idem hned kuknut Odpovedať Hodnotiť:

... Od: ... | Pridané: 2.8.2007 13:35 naco videotube.sk ? mame predsa ceknito.sk divne. preco sa nezlepsuje uz rozbehnuty projekt ale vzdy niekto dojde s niecim a vytvori rovanky ktori stoji tiez za grc. Odpovedať Hodnotiť:

xxx Od: xxx | Pridané: 2.8.2007 13:44 obe stoja za grc (ceknito aj videotube). Prave som sa pozrel na videotube a priamo z hlavnej stranky na mna zirala obrovska roztahana p--a. A vedla toho vpravo "chcete tu mat reklamu?" No veru NAOZAJ NECHCEM, verte mi :-) Odpovedať Hodnotiť:

M3 Od: M3 | Pridané: 2.8.2007 16:33 Tá p...č..a bola fakt krásnou vizitkou. Autori by si to mali strážiť, lebo o chvíľu nebudú čeliť žalobám za autorské práva ako youtube, ale žalobám za voľne prístupný brutal head-fisting. Mimochodom to je prvá stránka, kde som vzhliadol google adsense reklamy a porno dohromady .... Odpovedať Hodnotiť:

... Od: ... | Pridané: 2.8.2007 18:30 "obe stoja za grc (ceknito aj videotube)" a teraz vytvoris ty dalsiu podobnu stranku? Odpovedať Hodnotiť:

wave Od: wave | Pridané: 2.8.2007 23:52 jj... presne to mi tam vadi Odpovedať Hodnotiť:

Joehutel Od: Joehutel | Pridané: 2.8.2007 14:28 I am searching comments on diet methods that can help lose fat fast. Love to hear your suggestions on weight loss pills? What works? What not works? Odpovedať Hodnotiť:

bytes Od: bytes | Pridané: 2.8.2007 15:20 nezer .. that works Odpovedať Hodnotiť:

xwing Od: xwing | Pridané: 2.8.2007 15:42 nežrať a veľa sexovať... alebo sa prihlásiť do súťaže na chudnutie :D Odpovedať Hodnotiť:

Bóz Od: Bóz | Pridané: 2.8.2007 20:00 dietu ? raňajky : čaj s riedidlom S-6006 obed : farba červená syntetická večera : 1kg čili papričiek Odpovedať Hodnotiť:

dagi Od: dagi | Pridané: 4.8.2007 4:07 fuck off stupid spammer Odpovedať Hodnotiť:

ste trapny Od: ste trapny | Pridané: 2.8.2007 15:28 vsetci tu kecate o inteligencii je jedno ci videotube.sk ci ceknito.sk je proste vsetko jedno. Uz len taky debilny napad ako niekto dokaze mat tendenciu celit youtube metacafe alebo myspace. Nemozne aj keby ako chcel tu na slovensku take daco zalozit je nemozne aj financne nakladne Odpovedať Hodnotiť:

peto Od: peto | Pridané: 2.8.2007 15:34 Hej, pravdu mas, dalsi problem je, ze kazdy chce na tom co najrychlejsie zarobit, preto je videotube, ceknito a neviemake tube este. Ale googlu sa neda konkurovat, ci uz technologicky, alebo financne. Najnavstevovanejsie su aj tak rozne drbniky (bleskovky a pod.). Odpovedať Hodnotiť:

ked scem písac nemóžem buc DRÚK Od: ked scem písac nemóžem buc DRÚK | Pridané: 2.8.2007 18:28 "používaný na videá sa neukázali ako postačujúce. " skusme inak, skusili tu technologiu ? ANO skusili, teda technologia sa musela UKAZAT a kedze nevyhovuje je NEPOSTACUJUCA... Odpovedať Hodnotiť:

woww Od: woww | Pridané: 2.8.2007 19:21 mne sa design videotube celkom paci, tie pornaky tam mi nevadia, nie som dieta, ale ako to na deti posobi, to je otazne. A ja ked mam obcas casku, kuknem si vsetky a co sa mi paci si podbookmarknem a potom mazem bo sa nevyznam, hehe Odpovedať Hodnotiť:

M3 Od: M3 | Pridané: 2.8.2007 21:46 Haha, že otázne. Podľa mňa je to jasné...Decko si otvorí stránku s videami a bez toho, aby vôbec na niečo kliklo, objaví sa hneď na prvej stránke obrázok takého humusu, že ho to poznačí do konca života..... Odpovedať Hodnotiť:

woww Od: woww | Pridané: 3.8.2007 18:05 no jasne, zapne telku a ma to tam, myslim ze to neschovas... Odpovedať Hodnotiť:

otazka Od: otazka | Pridané: 2.8.2007 23:37 Neviete nahodou ako sa da z FLV automaticky spravit obrazkovy nahlad ? Odpovedať Hodnotiť:

bartwillson Od: bartwillson | Pridané: 3.8.2007 6:06 <a href=http://female-celeb.tgzip.info>female celeb</a> <a href=h ttp://porn-star-movie.tgzip.info>porn star movie</a> <a href=http://amature-blow-jobs.uflhx.info>amature blow jobs</a> <a href=http://free-sex-sites.uflhx.info>free sex sites</a> <a href=http://upskirt-camel-toe.ujdhc.info>upskirt camel toe</a> <a href=http://free-sex-vidoes.ujdhc.info>free sex vidoes</a> <a href=http://adult-intertainment.uuvam.info>adult intertainment</a> <a href=http://adult-exhibitionist.uuvam.info>adult exhibitionist</a> <a href=http://adult-action-cam-sex.uzecn.info>adult action cam sex</a> <a href=http://fuck-off.uzecn.info>fuck off</a> Odpovedať Hodnotiť:

Petie Od: Petie | Pridané: 3.8.2007 18:48 Mam trochu vyhradu k prekladu .. vyraz "servovanie thumbnailov" ma trochu desi. Ked uz chcete anglicky nadpis, tak pouzite povodny a neprekladajte ho. Ked ho prekladate, tak prosim uplne. Nie je mi jasne (z nadpisu), co sa mysli servovanie. Najskor - pred precitanim clanku - som myslel, ze je problem vytvorit z videa nejaky zmysluplny nahlad - predpokladal som, ze pojde o nejaku tazku heuristiku - ale z clanku vyplyva, ze problem je s udrzovanim nahladov v cache pameti. Ak by nadpis znel "Najkomplikovanejším na YouTube je pristup k nahladom videi" alebo "Najkomplikovanejším na YouTube je udrzovanie nahladov videi v cache", asi by to bolo zrozumitelnejsie. Lebo o chvilu sa dopracujeme k signovaniu artiklov na ensurovanie signifikantneho racia satisfiovanych readerov :-) Odpovedať Hodnotiť:

.... Od: .... | Pridané: 4.8.2007 11:27 rano sa zobudis a hned co prve si zverifikujes indexaciu do databazy za predosli den taky mam pocit nahodou pohoda nazov len ten thumbnail mi nebol zo zaciatku jasny ale pohoda pochopil. Skor to serverovanie by som premenoval na spracovanie. Ale pohoda Odpovedať Hodnotiť:

Robert Sadiv Od: Robert Sadiv | Pridané: 7.10.2007 16:14 Myslim ze problem s erotickymi videami sme uz odstranili v tom case v auguste to bolo este nedomyslene ale teraz uz sa nezobrazuju tam kde nemaju myslim si ze postupne do zacina mat fazonu taku ako som si predstavoval.Pre informaciu v septembri sme mali 7 TB prenos dat..Ak su tam veci ktore sa vam nepacia napiste rťadi zmenime Odpovedať Hodnotiť:

dobrá stránka Od: dobrá stránka | Pridané: 13.12.2007 15:18 najlepšia slovenská stránka na videá: www.mojevideo.sk Odpovedať Hodnotiť:

Pridať komentár