Команда Atlassian, компании облачных сервисов перестроила систему автоматического обнаружения инцидентов на Apache Kafka, платформе передачи потоков событий, и Apache Flink, системе обработки потоков на Kubernetes. Метрики команда собирает через OpenTelemetry, набор стандартов и инструментов для сбора телеметрии.

Теперь от события до метрики проходит менее 10 секунд, а раньше на это уходило больше 40 секунд даже в хороший день. При этом система обнаруживала далеко не все крупные инциденты: среди тех, которые она могла обнаружить, доля найденных выросла с 60% в марте 2025 года до 86% в июне 2026-го, а в августе упала до 64%.

За девять месяцев с ноября 2025-го по июль 2026-го система обнаружила 30,4% всех крупных инцидентов.

Проверка утверждений:

  • Команда Atlassian перестроила систему автоматического обнаружения инцидентов на Apache Kafka, Apache Flink в Kubernetes и OpenTelemetry. (подтверждено самой публикацией: доказательство; «This post describes how a small team rebuilt the detection platform behind our automated incident creation (“AutoHOT”, where HOT is our internal name for a high-severity incident) on Apache Kafka, Apache Flink on Kubernetes and OpenTelemetry»)
  • После перестройки задержка от события до метрики сократилась с более чем 40 секунд до менее 10 секунд. (подтверждено самой публикацией: доказательство; «Event-to-metric latency more than 40 s under 10 s»)
  • Доля обнаруженных инцидентов среди тех, что попадали в охват системы, выросла с 60% в марте 2025 года до 86% в июне 2026-го, а в августе упала до 64%. (подтверждено самой публикацией: доказательство; «From 60% in March 2025 to 86% in June 2026 and 80% in July, then 64% in August.»)
  • За девять месяцев с ноября 2025-го по июль 2026-го система обнаружила 30,4% всех крупных инцидентов. (подтверждено самой публикацией: доказательство; «Over the nine months from November 2025 to July 2026 there were 263 major incidents. 117 (44.5%) were on instrumented experiences; we detected 80 of those (68.4% in scope), which is 30.4% of all major incidents.»)

Первоисточники:

оценка 59,8 из 100 · тип: руководство