🛑Аварийное переключение маршрутов в локациях FRA и AMS, с 8:30 по 8:40 мск.
На время работ могла наблюдаться сетевая недоступность в указанных локациях.

✅ Работы завершены в 8:40 мск, время недоступности составило 10 минут.
Локации Амстердам и Франкфурт работают в штатном режиме.

🛑 Наблюдаются проблемы с управлением облачными серверами в локации Москва.
Действия в панели управления временно недоступны.
Сами серверы доступны.

Инженеры занимаются восстановлением.

🛑 Сетевая недоступность в Нидерландах
Зоны: ams-1
Тип: ❗️ Major

Фиксируем сетевую недоступность в Нидерландах.
Инженеры занимаются восстановлением.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Проблема находится на стороне дата-центра Qupra.
Ноды уже запущены, однако из-за проблем с системой охлаждения мы пока не можем вывести их под полную нагрузку.

Мы находимся в постоянной коммуникации с инженерами дата-центра и следим за ситуацией.

Следующий апдейт — через 1 час.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Ситуация постепенно стабилизируется. Поэтапно возвращаем сервисы в работу и продолжаем восстановление инфраструктуры.

Ориентировочное время работ — 2 часа. Следующий апдейт пришлем через 1 час.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Продолжаем поэтапно поднимать сервисы в ams-1. На данный момент подняли 90% всех сервисов.

Следующий апдейт — через 1 час.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Большая часть сервисов в ams-1 уже работает в штатном режиме.

Инженеры продолжают точечное восстановление отдельных сервисов.

Следующий апдейт — через 1 час.

✅ Инцидент закрыт
Зоны: ams-1
Тип: ❗️ Major

Восстановление завершено. Сервисы в ams-1 работают в штатном режиме.

🛑 Сетевая недоступность в Нидерландах
Зоны: ams-1
Тип: ❗️ Major

Фиксируем сетевую недоступность в Нидерландах.
Проблема находится на стороне дата-центра Qupra.
Инженеры занимаются восстановлением.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Фиксируем проблему в системе кондиционирования в дата-центре Qupra в Нидерландах.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Инженеры вместе с техническим директором находятся на площадке Qupra.

Восстанавливаем работу охлаждения и поднимаем оборудование.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Температура постепенно стабилизируется.

Восстанавливаем сетевую доступность и запускаем серверы.

✅ Инцидент закрыт
Зоны: ams-1
Тип: ❗️ Major

Восстановление завершено. Сервисы в ams-1 работают в штатном режиме.

🛑 Сетевая недоступность в Нидерландах
Зоны: ams-1
Тип: ❗️ Major

Фиксируем повторный инцидент на системе кондиционирования в дата-центре Qupra в Нидерландах.

Снижаем нагрузку на серверах — возможно замедление работы серверов и кратковременная недоступность отдельных сервисов.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

В дата-центре Qupra продолжаются восстановительные работы на системе кондиционирования.

Инженеры занимаются установкой и подключением оборудования.

⚠️ Обновление по инциденту
Зона: ams-1
Тип: ❗️ Major

В дата-центре Qupra продолжаются аварийно-восстановительные работы на системе кондиционирования. Для устранения неисправности привлечены сторонние специалисты, их прибытие ожидается к утру. Наши инженеры находятся на площадке Qupra.

Следующее обновление в 10:30 МСК.

⚠️ Обновление по инциденту
Зона: ams-1
Тип: ❗️ Major

Инженеры продолжают заниматься системой кондиционирования.

Ожидаем информации по срокам окончательного запуска.

Следующее обновление в 14:00 МСК.

⚠️ Обновление по инциденту
Зона: ams-1
Тип: ❗️ Major

Подрядчик получил новые запчасти для чиллера. После этого планируется его повторный запуск.

Следующее обновление в 17:00 МСК или раньше при поступлении новой информации.

⚠️ Обновление по инциденту
Зона: ams-1
Тип: ❗️ Major

На объекте продолжаются восстановительные работы на стационарных чиллерах.
Для ускорения восстановления к ЦОД доставлен мобильный чиллер. В настоящее время ведутся работы по его подключению.

⚠️ Обновление по инциденту
Зона: ams-1
Тип:❗️Major

В ЦОДе Qupra продолжаются восстановительные работы системы охлаждения.

Информация от ЦОД: вчера получили внешний чиллер, однако для его подключения потребовались дополнительные силовые кабели — их поставку ожидают сегодня к 12-14 по мск.

Сегодня к 12:00 мск мы отключим биллинг виртуальных серверов в зоне ams-1, и после — остальных сервисов в этой зоне.