Cloudflare detailne vysvetlila technické príčiny rozsiahleho výpadku

Značky: web

DSL.sk, 19.11.2025

Populárna služba Cloudflare, ktorej včerajší rozsiahly výpadok spôsobil výpadok mnohých webov a služieb, detailne technicky vysvetlila príčiny tohto výpadku.

Služba tak spravila v tomto popise.

Cloudflare je populárnou službou typu CDN, Content Delivery Network, pre distribuované doručovanie obsahu a webov a ochranu proti DDoS útokom.

U webov používajúcich Cloudflare je každá načítavaná stránka z prehliadača alebo aplikácie užívateľa načítavaná z proxy serverov Cloudflare aplikujúcich rozličné ochrany. V utorok problémy spôsobovala ochrana proti botom, proxy servery Cloudflare tak vracali chyby namiesto zobrazovania stránok.

Primárnou príčinou problémov bola zmena v konfigurácii oprávnení distribuovanej databázy ClickHouse, ktorú Cloudflare uskutočnila včera 18. novembra o 12:05 nášho času. Zmena mala ale neočakávané dopady na SQL dotaz, ktorý sa používa ku generovaniu konfiguračného súboru pre funkčnosť ochrany proti botom. Po tejto zmene sa vo výsledkoch SQL dotazu a v konfiguračnom súbore rovnaké dáta nachádzali dvakrát, prišlo tak k zdvojnásobeniu veľkosti konfiguračného súboru.

Komponenty na proxy serveroch majú ale nastavené rozličné limity, aby neprišlo k vyčerpaniu zdrojov. Funkčnosť ochrany proti botom má okrem iného nastavený limit na maximálnu veľkosť konfiguračného súboru, pričom po zdvojnásobení jeho veľkosti prišlo k prekročeniu limitu.

To následne spôsobilo problémy funkčnosti ochrany proti botom. Presné prejavy záviseli na verzii proxy serverov používanej pre jednotlivé weby, keď Cloudflare je vo fáze nasadzovania novej verzie proxy označenej FL2. V prípade zákazníkov používajúcich už verziu FL2 proxy vracali HTTP chyby 5xx. V prípade zákazníkov používajúcich predchádzajúcu verziu FL proxy nevracali tieto chyby, každá HTTP požiadavka dostala ale bot skóre nula a v závislosti na nastaveniach zákazníka mohla byť zablokovaná.

Nové databázové oprávnenia sa nasadzovali postupne na jednotlivé uzly databázového klastra, pričom nový konfiguračný súbor pre ochranu proti botom sa generuje každých 5 minút. Problémy na proxy serveroch Cloudflare sa prvýkrát prejavili o 12:20.

Ešte pomerne dlho po začiatku problémov, kým nové databázové oprávnenia neboli na všetkých uzloch, bol niekedy konfiguračný súbor vygenerovaný na uzle s doterajšími oprávneniami a nespôsoboval problém. V niektorých časoch tak na krátko problémy prestali, podľa grafu od približne 14:00 už ale začali byť trvalé.

Aj vzhľadom na toto správanie spoločnosti trvalo relatívne dlho identifikovať príčinu a za možnú príčinu najskôr považovala aj možný DDoS útok. Podľa zverejneného harmonogramu od 14:37 si bola istá, že problémy spôsobuje konfiguračný súbor ochrany proti botom. O 15:24 zastavila automatické nasadzovanie problematického nového konfiguračného súboru a funkčnosť proxy serverov bola obnovená o 15:30. Problémy mali dopady ale aj na rozličné ďalšie služby Cloudflare a podľa spoločnosti všetky služby boli obnovené o 18:06.


Najnovšie články:



Diskusia:

ja som to vedel Od: asdfa | Pridané: 19.11.2025 13:11 to bolo jasne Odpovedať Známka: 10.0 Hodnotiť:

Re: ja som to vedel Od: MAJAK - neregistrovany original | Pridané: 19.11.2025 13:13 uvidíme, ako Wedos... Odpovedať Hodnotiť:

Tu dám nejaký text nech je chlievik titulok aspoň využitý Od: Vedúci výrobného štábu | Pridané: 19.11.2025 13:21 Cloudflare vraj „nečelil útoku“ — len ich sieť položila vlastná neschopnosť spracovať trochu väčší súbor. Jedna zmena oprávnení, databáza vypľuje obézny config, polovica clustru vyrobí blud, druhá polovica sa snaží tváriť normálne, všetko sa prepíše, rozsype, ožije, znova umrie… a admini medzitým naháňajú neexistujúci DDoS. Na konci to opravili ručným nahratím starej verzie a reštartom proxy — globálny gigant zachránený metódou „vypnúť a zapnúť“. World-class service! Odpovedať Známka: 3.3 Hodnotiť:

dfsdfsd Od: fsdfsdfsdf | Pridané: 19.11.2025 13:51 nevadi, aspon bol klud Odpovedať Hodnotiť:

Závislosť na gigantoch Od: poiuyt | Pridané: 19.11.2025 13:53 Iba hlupák nasadzuje takéto technológie. Ako keď vypadla polovica internetu, pretože nefungovali Google fonty. Odpovedať Hodnotiť:

SQL dotaz Od: Dr. Drotik | Pridané: 19.11.2025 13:58 Tomu SQL dotazu mohli pridat "distinct" a nemali by duplicitne zaznamy. Maju poriesene aj do buducna. Teraz je uz neskoro pytat si radu. Odpovedať Hodnotiť:

Pridať komentár