⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Работы по восстановлению системы охлаждения в дата-центре продолжаются.

За простой в зоне ams-1 за 23, 26 и 27 мая будет сделан перерасчет после полного восстановления площадки.

Следующее обновление — через час или раньше, если изменится статус.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Работа панели управления восстановлена — нагрузка стабилизирована, оптимизации применены.

В дата-центре работы продолжают инженеры вендора системы кондиционирования.

Следующее обновление — к 18:00 мск. Ориентируемся к этому времени на старт работ по запуску площадки.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Новый чиллер доставлен в дата-центр. Сейчас инженеры занимаются установкой и подключением оборудования.

Работы на площадке продолжаются. После завершения монтажа и проверок перейдем к следующему этапу восстановления сервисов.

Следующее обновление — по статусу запуска и результатам проверок.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Инженеры площадки Qupra начали поэтапный запуск оборудования. На текущий момент часть систем уже поднята.

Наша команда приступила к проверке инфраструктуры, запуску коммутации и сетевых сервисов. Следующий этап — запуск нод и дальнейшее восстановление.

По результатам проверок и восстановительных работ выпустим апдейт.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Сетевая связность в ams-1 восстановлена. Инженеры продолжают поэтапное восстановление сервисов.

Следующее обновление — через час или раньше, если изменится статус.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Продолжаем поэтапно поднимать сервисы в ams-1. На данный момент подняли 53% всех сервисов. После запускаем фикс зависших статусов в панели управления.

Ориентир на полное завершение работ — 1-2 часа.

Следующее обновление — после закрытия инцидента. По итогам отчета площадки выпустим постмортем.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Большая часть сервисов в ams-1 уже работает в штатном режиме. Осталось поднять около 600 серверов.

Параллельно дочищаем зависшие статусы в панели управления. Скоро — финальный апдейт о закрытии инцидента.

✅ Инцидент закрыт
Зоны: ams-1
Тип: ❗️ Major

Все VDS запущены. Сервисы в зоне ams-1 работают исправно, инфраструктура стабильна.

Сейчас часть пользователей сталкивается с недоступностью подключения к инфраструктуре при использовании сетей российских операторов связи. При этом наши собственные сети и серверы работают штатно, без ограничений.

Недоступность затрагивает не всех и проявляется по-разному в зависимости от оператора связи, региона и браузера. Судя по имеющимся у нас данным, под него попадает лишь часть трафика — поэтому для одних пользователей всё работает в обычном режиме, а другие могут видеть ошибки подключения или сложности с доступом.

Вероятная причина — изменения в настройках технических средств противодействия угрозам (ТСПУ). Проводим диагностику и держим связь с профильными службами, чтобы установить причины такого поведения.

Признаки проблемы: таймаут подключений по SSH/RDP, недоступность протоколов HTTP/HTTPS/ICMP на сервере. Они актуальны при условии, что вы не используете средства обхода блокировок — это нарушает правила платформы (пункт 1.18): https://st.timeweb.com/cloud-static/legal-info/platform-rules.pdf

Если симптомы совпадают — не нужно создавать тикеты в поддержку. Мы продолжаем заниматься этим вопросом и сообщим о любых изменениях, как только появится новая информация.

Что известно на сегодняшний день:

1. С такими же проблемами сталкиваются облачные провайдеры и хостинги по всей России.

2. Причина не на стороне наших серверов или сетей, а на стороне внешней инфраструктуры связи.

Создавать тикеты по этой проблеме малоэффективно, так как решение находится вне наших компетенций.

По этому вопросу находимся в плотном контакте с регулятором.

🛑Аварийное переключение маршрутов в локациях FRA и AMS, с 8:30 по 8:40 мск.
На время работ могла наблюдаться сетевая недоступность в указанных локациях.

✅ Работы завершены в 8:40 мск, время недоступности составило 10 минут.
Локации Амстердам и Франкфурт работают в штатном режиме.

🛑 Наблюдаются проблемы с управлением облачными серверами в локации Москва.
Действия в панели управления временно недоступны.
Сами серверы доступны.

Инженеры занимаются восстановлением.

🛑 Сетевая недоступность в Нидерландах
Зоны: ams-1
Тип: ❗️ Major

Фиксируем сетевую недоступность в Нидерландах.
Инженеры занимаются восстановлением.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Проблема находится на стороне дата-центра Qupra.
Ноды уже запущены, однако из-за проблем с системой охлаждения мы пока не можем вывести их под полную нагрузку.

Мы находимся в постоянной коммуникации с инженерами дата-центра и следим за ситуацией.

Следующий апдейт — через 1 час.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Ситуация постепенно стабилизируется. Поэтапно возвращаем сервисы в работу и продолжаем восстановление инфраструктуры.

Ориентировочное время работ — 2 часа. Следующий апдейт пришлем через 1 час.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Продолжаем поэтапно поднимать сервисы в ams-1. На данный момент подняли 90% всех сервисов.

Следующий апдейт — через 1 час.

⚠️ Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Большая часть сервисов в ams-1 уже работает в штатном режиме.

Инженеры продолжают точечное восстановление отдельных сервисов.

Следующий апдейт — через 1 час.

✅ Инцидент закрыт
Зоны: ams-1
Тип: ❗️ Major

Восстановление завершено. Сервисы в ams-1 работают в штатном режиме.

🛑 Сетевая недоступность в Нидерландах
Зоны: ams-1
Тип: ❗️ Major

Фиксируем сетевую недоступность в Нидерландах.
Проблема находится на стороне дата-центра Qupra.
Инженеры занимаются восстановлением.