← Все новости

DevOps ·

Meta раскрыла устройство Prometheus — гигаваттного AI-суперкластера в ОгайоMeta details Prometheus, its gigawatt-scale AI supercluster in Ohio

Кластер уже насчитывает сотни тысяч GPU и рассчитан примерно на миллион. Meta рассказала о сети между зданиями на расстоянии до 100+ км, борьбе со скачками нагрузки на 30–40% и о том, как сократила число сбоев обучения на 99%.The cluster already runs hundreds of thousands of GPUs and is designed for about a million. Meta described networking between buildings up to 100+ km apart, taming 30–40% power swings, and cutting training interruptions by 99%.

19 октября Meta опубликовала инженерный разбор Prometheus — суперкластера в Нью-Олбани (Огайо), на котором обучались модели Muse. Бывший обычный дата-центр для веб-трафика переделали под обучение фронтир-моделей; первая фаза завершена.

Масштаб и железо

  • Сейчас — сотни тысяч GPU в нескольких связанных зданиях, в полном масштабе — около 1 млн GPU.
  • Стойки GB200 NVL72 (около 120 кВт на пару стоек), GB300 NVL72 (288 ГБ HBM3e на GPU, около 135 кВт на стойку), на подходе Vera Rubin NVL72 — более 170 кВт на стойку.
  • Выделенная Ethernet-сеть для GPU: фабрика одного здания — до 20 736 GPU, уровень агрегации связывает здания на расстоянии от 2 до более чем 100 км с пропускной способностью в несколько Пбит/с.

Инженерные проблемы

  • Питание. Синхронное обучение даёт скачки нагрузки на 30–40%. Их сглаживают ограничением мощности (Dynamo Dimmer), батареями в стойках, конденсаторными модулями, накопителями на уровне площадки и координацией с энергокомпанией. Каждый GPU потребляет около 1400 Вт.
  • Надёжность. В каждой стойке NVL72 работают 64 GPU и 8 держатся в резерве. Отказоустойчивость с учётом параллелизма выводит сбойную реплику, не останавливая всю задачу.
  • Пик прерываний в середине 2025 года — около 1000 на 8 тыс. GPU в сутки; с тех пор их число снизилось на 99%. Goodput — более 85% на предобучении и более 90% на RL.
  • Охлаждение — смесь модульного воздушно-жидкостного и жидкостного на уровне здания.

Почему это интересно

Это редкий подробный взгляд на эксплуатацию кластеров такого размера: здесь главные проблемы — не вычисления, а энергосеть, оптика и ежедневные отказы железа. Опыт Prometheus Meta перенесёт на строящийся кластер Hyperion в Луизиане.

On Oct 19 Meta published an engineering deep dive into Prometheus, its supercluster in New Albany, Ohio, that trained the Muse models. A former conventional web-traffic data center was reworked for frontier-model training; phase one is complete.

Scale and hardware

  • Hundreds of thousands of GPUs today across several connected buildings, with about 1 million GPUs at full scale.
  • GB200 NVL72 racks (about 120 kW per two-rack set), GB300 NVL72 (288 GB HBM3e per GPU, about 135 kW per rack), and upcoming Vera Rubin NVL72 at more than 170 kW per rack.
  • A dedicated Ethernet back-end for GPUs: one building fabric holds up to 20,736 GPUs, and an aggregation layer links buildings 2 km to over 100 km apart with multiple Pbps of bandwidth.

Engineering problems

  • Power. Synchronized training causes 30–40% load swings. They are smoothed with power capping (Dynamo Dimmer), rack batteries, capacitor trays, site-level storage and coordination with the utility. Each GPU draws about 1,400 W.
  • Reliability. Each NVL72 rack runs 64 GPUs with 8 in-rack spares. Parallelism-aware fault tolerance drops a faulty replica without stopping the whole job.
  • Interruptions peaked at about 1,000 per 8K GPUs per day in mid-2025 and have since fallen by 99%. Goodput exceeds 85% for pre-training and 90% for RL.
  • Cooling mixes modular air-assisted liquid cooling and facility liquid cooling.

Why it matters

It is a rare detailed look at operating clusters this large, where the hard problems are not compute but the power grid, optics and daily hardware failures. Meta will carry the lessons to its Hyperion cluster under construction in Louisiana.

Источники