⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Наблюдаются проблемы с системой охлаждения. Часть оборудования в зоне ams-1 в моменте недоступна, аффект на 7% нод в локации.

По запросу дата-центра снижаем нагрузку на серверах — возможно замедление работы серверов и кратковременная недоступность отдельных сервисов.

Следующий апдейт дадим через 1 час.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Возникла проблема с доступностью коммутаторов в нескольких стойках. В инциденте затронуты еще 34 ноды.

Ожидаем информацию от инженеров дата-центра по времени восстановления.

Следующий апдейт дадим через 1 час.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Инженеры дата-центра сейчас запускают систему охлаждения и параллельно подключают резервные контуры для снижения температуры в машинном зале. Более подробной информации от площадки пока нет.

Часть оборудования в зоне ams-1 по-прежнему недоступна. Со своей стороны держим связь с инженерами дата-центра и готовы запустить инфраструктуру сразу после стабилизации температуры в зале.

Следующее обновление — через час.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Температура в машинном зале дата-центра снижается, серверы постепенно запускаются.

Следующий апдейт в течение часа.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Коммутаторы во всех стойках запущены в работу, большая часть серверов снова доступны. 19 нод не запустились автоматически после отключения, инженеры запускают их в ручном режиме.

Следующий апдейт будет по итогам запуска оставшихся нод.

✅ Инцидент закрыт
Зоны: ams-1
Тип: ❗️ Major

Все оставшиеся VDS запущены в ручном режиме. Сервисы в зоне ams-1 работают штатно, инфраструктура стабилизирована.

🛑 Сетевая недоступность в Нидерландах
Зоны: ams-1
Тип: ❗️ Major

Фиксируем повторный инцидент на системе кондиционирования в дата-центре Qupra в Нидерландах.

По запросу дата-центра снижаем нагрузку на серверах — возможно замедление работы серверов и кратковременная недоступность отдельных сервисов.

Следующий апдейт через час.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Система охлаждение в машинном зале в эту минуту полностью выключилась. Инженеры дата-центра занимаются перезапуском чиллеров. Для предотвращения потери данных и выхода из строя оборудования принято решение временно обесточить все стойки.

Ориентировочное время восстановления охлаждения в дата-центре Qupra — около 1 часа, затем потребуется время на постепенный запуск стоек. Сроки могут увеличиться — будем держать в курсе.

Следующее обновление — через час или раньше, если изменится статус.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Продолжаются восстановительные работы на системе кондиционирования в дата-центре Qupra. Привлечены дополнительные инженеры.

Следующее обновление — через час или раньше, если изменится статус.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Сегодняшний пик нагрузки на ПУ оказался выше вчерашнего — добавленных ресурсов хватило, но все равно на один из модулей идет повышенная нагрузка. Сейчас оптимизируем нагрузку в самом коде ПУ, чтобы снизить ресурсопотребление на запрос.

В ближайшее время наладим работу.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Работы по восстановлению системы охлаждения в дата-центре продолжаются.

За простой в зоне ams-1 за 23, 26 и 27 мая будет сделан перерасчет после полного восстановления площадки.

Следующее обновление — через час или раньше, если изменится статус.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Работа панели управления восстановлена — нагрузка стабилизирована, оптимизации применены.

В дата-центре работы продолжают инженеры вендора системы кондиционирования.

Следующее обновление — к 18:00 мск. Ориентируемся к этому времени на старт работ по запуску площадки.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Новый чиллер доставлен в дата-центр. Сейчас инженеры занимаются установкой и подключением оборудования.

Работы на площадке продолжаются. После завершения монтажа и проверок перейдем к следующему этапу восстановления сервисов.

Следующее обновление — по статусу запуска и результатам проверок.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Инженеры площадки Qupra начали поэтапный запуск оборудования. На текущий момент часть систем уже поднята.

Наша команда приступила к проверке инфраструктуры, запуску коммутации и сетевых сервисов. Следующий этап — запуск нод и дальнейшее восстановление.

По результатам проверок и восстановительных работ выпустим апдейт.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Сетевая связность в ams-1 восстановлена. Инженеры продолжают поэтапное восстановление сервисов.

Следующее обновление — через час или раньше, если изменится статус.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Продолжаем поэтапно поднимать сервисы в ams-1. На данный момент подняли 53% всех сервисов. После запускаем фикс зависших статусов в панели управления.

Ориентир на полное завершение работ — 1-2 часа.

Следующее обновление — после закрытия инцидента. По итогам отчета площадки выпустим постмортем.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Большая часть сервисов в ams-1 уже работает в штатном режиме. Осталось поднять около 600 серверов.

Параллельно дочищаем зависшие статусы в панели управления. Скоро — финальный апдейт о закрытии инцидента.

✅ Инцидент закрыт
Зоны: ams-1
Тип: ❗️ Major

Все VDS запущены. Сервисы в зоне ams-1 работают исправно, инфраструктура стабильна.

Сейчас часть пользователей сталкивается с недоступностью подключения к инфраструктуре при использовании сетей российских операторов связи. При этом наши собственные сети и серверы работают штатно, без ограничений.

Недоступность затрагивает не всех и проявляется по-разному в зависимости от оператора связи, региона и браузера. Судя по имеющимся у нас данным, под него попадает лишь часть трафика — поэтому для одних пользователей всё работает в обычном режиме, а другие могут видеть ошибки подключения или сложности с доступом.

Вероятная причина — изменения в настройках технических средств противодействия угрозам (ТСПУ). Проводим диагностику и держим связь с профильными службами, чтобы установить причины такого поведения.

Признаки проблемы: таймаут подключений по SSH/RDP, недоступность протоколов HTTP/HTTPS/ICMP на сервере. Они актуальны при условии, что вы не используете средства обхода блокировок — это нарушает правила платформы (пункт 1.18): https://st.timeweb.com/cloud-static/legal-info/platform-rules.pdf

Если симптомы совпадают — не нужно создавать тикеты в поддержку. Мы продолжаем заниматься этим вопросом и сообщим о любых изменениях, как только появится новая информация.

Что известно на сегодняшний день:

1. С такими же проблемами сталкиваются облачные провайдеры и хостинги по всей России.

2. Причина не на стороне наших серверов или сетей, а на стороне внешней инфраструктуры связи.

Создавать тикеты по этой проблеме малоэффективно, так как решение находится вне наших компетенций.

По этому вопросу находимся в плотном контакте с регулятором.

🛑 Фиксируем DDoS на локации SPB и MSK. Атаку отражаем и мониторим ситуацию.