Cloudflare Incident

## TL;DR

На 18 ноември 2025 г. Cloudflare претърпя сериозен срив поради грешно увеличаване на файла с функции за Bot Management, причинено от промяна на правата в ClickHouse. Това доведе до 5xx грешки и проблеми с автентикацията. Основното възстановяване приключи до 14:30 UTC, а пълното — до 17:06 UTC. Това не беше атака.

- Причина: промяна на правата в ClickHouse предизвика дублиране на колони в заявка, файлът с функции за ML модела за ботове внезапно нарасна и надхвърли лимита (200), поради което проксито FL2 се сриваше с 5xx, а старото FL присвояваше оценка за бот 0 на всички заявки.
- Не е кибератака: страницата за статус беше недостъпна, което първоначално подведе потребителите.

## Ход на събитията (UTC)

- 11:05: внесена промяна в достъпа до БД.
- 11:28: започна сривът; първи 5xx грешки.
- 11:32–13:05: разследване; опити за стабилизиране на Workers KV.
- 13:05: заобиколни решения за Workers KV и Access (връщане към предишното прокси), въздействието намаля.
- 14:24: спряно генерирането/разпространението на лошия файл; проверена старата версия.
- 14:30: внедрен коректният файл глобално; основно възстановяване.
- 17:06: всички услуги са възстановени.

## Какво ще се прави оттук нататък

- Ще се засили проверката на вътрешните конфигурационни файлове като потребителски входни данни.
- Ще бъдат добавени глобални "kill-switches" за функции.
- Ресурсите ще бъдат защитени от претоварване с дъмп файлове/доклади за грешки.
- Ще се преразгледа отказоустойчивостта във всички модули на core-проксито.