← Все новости

DevOps ·

Сбой GitHub: задержки pull request, вебхуков, Actions и аудит-логов на 4,5 часаGitHub incident: pull requests, webhooks, Actions and audit logs delayed for 4.5 hours

21 октября перегрузка внутренней платформы стриминга событий GitHub привела к задержкам обновлений pull request, доставки вебхуков и статусов Actions. Основные сервисы восстановились примерно за два часа, аудит-логи отставали до 110 минут.On October 21, overload on GitHub's internal event streaming platform delayed pull request updates, webhook deliveries and Actions statuses. Core services recovered in about two hours, while audit logs lagged by up to 110 minutes.

21 октября GitHub пережил продолжительный инцидент с задержками событий. Он длился около 4,5 часа — с 14:52 до 19:22 UTC — и затронул pull request, вебхуки, GitHub Actions и аудит-логи.

Хронология

  • 14:52 — деградация Actions, Pull Requests и Webhooks.
  • 15:36 — GitHub сообщил о задержках обновлений pull request и доставки вебхуков. Причина — возросшая нагрузка на внутреннюю платформу стриминга событий, из-за которой возникли «горячие точки». Трафик перераспределили и добавили мощностей обработки.
  • 15:58 — к задержкам добавились события аудит-лога.
  • 16:33–16:57 — pull request, затем Actions и вебхуки вернулись в норму по мере разбора бэклога.
  • Аудит-логи отставали дольше всех — до 110 минут; на очистку очереди ушло ещё два-три часа.
  • 19:22 — задержка аудит-логов опустилась ниже 40 минут, инцидент закрыт.

Почему это важно

Задержка вебхуков и статусов Actions бьёт по всему, что построено поверх GitHub: CI/CD, ботам, автоматическому мержу, интеграциям с трекерами и деплою по событиям. Пайплайны, ждущие статуса проверки, в это время зависают, а повторные доставки после восстановления могут запускать дубли.

Отчёт о первопричине GitHub пообещал опубликовать позже. Для интеграций это повод проверить идемпотентность обработчиков вебхуков и наличие фолбэка на опрос API.

On October 21 GitHub had a prolonged event-delay incident. It lasted about 4.5 hours — from 14:52 to 19:22 UTC — and affected pull requests, webhooks, GitHub Actions and audit logs.

Timeline

  • 14:52 — degraded performance for Actions, Pull Requests and Webhooks.
  • 15:36 — GitHub reported delays to pull request updates and webhook deliveries. The cause was increased load on its internal event streaming platform, which created hotspots. Traffic was shifted and processing capacity added.
  • 15:58 — audit log events joined the delays.
  • 16:33–16:57 — pull requests, then Actions and webhooks, returned to normal as backlogs cleared.
  • Audit logs lagged the longest — up to 110 minutes — and needed another two to three hours to drain.
  • 19:22 — audit log delay fell below 40 minutes and the incident was resolved.

Why it matters

Delayed webhooks and Actions statuses hit everything built on GitHub: CI/CD, bots, auto-merge, tracker integrations and event-driven deploys. Pipelines waiting on check statuses stall, and redeliveries after recovery can trigger duplicates.

GitHub promised a root cause analysis later. For integrations, it’s a good reason to make webhook handlers idempotent and keep an API polling fallback.

Источники