⚠️Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

На текущий момент восстановлено около 85% виртуальных машин в зоне ams-1. По оставшимся нодам ведётся индивидуальный разбор: инженеры диагностируют причины, по которым они не вернулись в работу автоматически после восстановления электропитания, и поэтапно вводят их в строй.

Следующий апдейт — через час.

✅ Инцидент закрыт
Зоны: ams-1
Тип: ❗️ Major

Все оставшиеся VDS дозапущены в ручном режиме — количество запущенных виртуальных машин вернулось к доаварийным значениям. Сервисы в зоне ams-1 работают штатно, инфраструктура стабилизирована.

Подробный постмортем с разбором причин опубликуем отдельно.

Сегодня c 15:00 до 18:00 мск на стороне дата-центра Qupra в Нидерландах проводятся аварийные работы — специалисты площадки апгрейдят систему охлаждения машинных залов.

Это реакция на инцидент 23 мая, тогда из-за жаркой погоды в Амстердаме произошла авария по электропитанию — система кондиционирования не справилась, и был обесточен машинный зал, поэтому наша инфраструктура в это время была недоступна.

Работы проводят инженеры дата-центра. На это время по их запросу мы снижаем нагрузку на серверах — возможно замедление работы серверов и кратковременная недоступность отдельных сервисов.

Держим связь с площадкой и следим за ситуацией. Сообщим, как появится новая информация.

Обновление системы охлаждения дата-центра завершено. Оборудование работает в штатном режиме.

🛑 Сетевая недоступность в Нидерландах
Зоны: ams-1
Тип: ❗️ Major

Сегодня в дата-центре Qupra в Нидерландах повторно зафиксирован инцидент с электропитанием — второй за последнюю неделю после сбоя 23 мая. Часть оборудования в зоне ams-1 в моменте недоступна.

Восстановление электропитания находится в зоне ответственности площадки. Наши инженеры на постоянной связи с командой дата-центра, отслеживают ход работ и готовы немедленно приступить к запуску инфраструктуры сразу после подачи питания.

Сообщим, как появится новая информация.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Наблюдаются проблемы с системой охлаждения. Часть оборудования в зоне ams-1 в моменте недоступна, аффект на 7% нод в локации.

По запросу дата-центра снижаем нагрузку на серверах — возможно замедление работы серверов и кратковременная недоступность отдельных сервисов.

Следующий апдейт дадим через 1 час.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Возникла проблема с доступностью коммутаторов в нескольких стойках. В инциденте затронуты еще 34 ноды.

Ожидаем информацию от инженеров дата-центра по времени восстановления.

Следующий апдейт дадим через 1 час.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Инженеры дата-центра сейчас запускают систему охлаждения и параллельно подключают резервные контуры для снижения температуры в машинном зале. Более подробной информации от площадки пока нет.

Часть оборудования в зоне ams-1 по-прежнему недоступна. Со своей стороны держим связь с инженерами дата-центра и готовы запустить инфраструктуру сразу после стабилизации температуры в зале.

Следующее обновление — через час.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Температура в машинном зале дата-центра снижается, серверы постепенно запускаются.

Следующий апдейт в течение часа.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Коммутаторы во всех стойках запущены в работу, большая часть серверов снова доступны. 19 нод не запустились автоматически после отключения, инженеры запускают их в ручном режиме.

Следующий апдейт будет по итогам запуска оставшихся нод.

✅ Инцидент закрыт
Зоны: ams-1
Тип: ❗️ Major

Все оставшиеся VDS запущены в ручном режиме. Сервисы в зоне ams-1 работают штатно, инфраструктура стабилизирована.

🛑 Сетевая недоступность в Нидерландах
Зоны: ams-1
Тип: ❗️ Major

Фиксируем повторный инцидент на системе кондиционирования в дата-центре Qupra в Нидерландах.

По запросу дата-центра снижаем нагрузку на серверах — возможно замедление работы серверов и кратковременная недоступность отдельных сервисов.

Следующий апдейт через час.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Система охлаждение в машинном зале в эту минуту полностью выключилась. Инженеры дата-центра занимаются перезапуском чиллеров. Для предотвращения потери данных и выхода из строя оборудования принято решение временно обесточить все стойки.

Ориентировочное время восстановления охлаждения в дата-центре Qupra — около 1 часа, затем потребуется время на постепенный запуск стоек. Сроки могут увеличиться — будем держать в курсе.

Следующее обновление — через час или раньше, если изменится статус.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Продолжаются восстановительные работы на системе кондиционирования в дата-центре Qupra. Привлечены дополнительные инженеры.

Следующее обновление — через час или раньше, если изменится статус.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Сегодняшний пик нагрузки на ПУ оказался выше вчерашнего — добавленных ресурсов хватило, но все равно на один из модулей идет повышенная нагрузка. Сейчас оптимизируем нагрузку в самом коде ПУ, чтобы снизить ресурсопотребление на запрос.

В ближайшее время наладим работу.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Работы по восстановлению системы охлаждения в дата-центре продолжаются.

За простой в зоне ams-1 за 23, 26 и 27 мая будет сделан перерасчет после полного восстановления площадки.

Следующее обновление — через час или раньше, если изменится статус.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Работа панели управления восстановлена — нагрузка стабилизирована, оптимизации применены.

В дата-центре работы продолжают инженеры вендора системы кондиционирования.

Следующее обновление — к 18:00 мск. Ориентируемся к этому времени на старт работ по запуску площадки.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Новый чиллер доставлен в дата-центр. Сейчас инженеры занимаются установкой и подключением оборудования.

Работы на площадке продолжаются. После завершения монтажа и проверок перейдем к следующему этапу восстановления сервисов.

Следующее обновление — по статусу запуска и результатам проверок.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Инженеры площадки Qupra начали поэтапный запуск оборудования. На текущий момент часть систем уже поднята.

Наша команда приступила к проверке инфраструктуры, запуску коммутации и сетевых сервисов. Следующий этап — запуск нод и дальнейшее восстановление.

По результатам проверок и восстановительных работ выпустим апдейт.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Сетевая связность в ams-1 восстановлена. Инженеры продолжают поэтапное восстановление сервисов.

Следующее обновление — через час или раньше, если изменится статус.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Продолжаем поэтапно поднимать сервисы в ams-1. На данный момент подняли 53% всех сервисов. После запускаем фикс зависших статусов в панели управления.

Ориентир на полное завершение работ — 1-2 часа.

Следующее обновление — после закрытия инцидента. По итогам отчета площадки выпустим постмортем.