Технические работы

🛑 Вся зона будет недоступна ~5 —15 минут.
🌐 Зона и время: Польша, 20.08.2024 с 13:00 до 15:00 по МСК
⚒ Причина: партнер в Польше будет проводить аварийные работы на уровне сети.

Технические работы

🛑 Недоступность сети по причине аварийных работ со стороны провайдера
🌐 Зона и время: Польша, 20.08.2024 с 13:00 до 15:00 по МСК
✅ Проблема решена

🛑 Сетевая недоступность;
🌐 Зоны: NL;
⚒ Проблема: Наблюдаем недоступность серверов в Нидерландах, инженеры погружены в выявление проблемы и ее решение.

2 сентября с 00:00 до 01:00 мск наши инженеры будут менять маршрутизацию сети для релиза BGP.

В этот период может пропасть сеть — суммарно до 5 минут в Нидерландах и Польше, и до 30 секунд в других локациях.

🛑 Частичная сетевая недоступность;
🌐 Зона: KZ;
⚒ Проблема: Наблюдали недоступность серверов в KZ C ~01:48 до 1:52, инженеры провели работы.
Сейчас проблем уже не должно быть.
✅ Проблема решена

🛑 Недоступность сети
🌐 Зона: SPB, MSK

При обновлении правил на сетевом оборудовании возникли проблемы. Производим откат изменений

🛑 Недоступность сети
🌐 Зона: SPB, MSK

Откат изменения произведен, сервисы восстановятся веерно в ближайшее минуты

🛑 Недоступность сети
🌐 Зона: SPB, MSK

✅ Работа сети восстановлена, все сервисы доступны.
Затронуло часть стоек в SPB, MSK на BGP сетях.

Начало инцидента: 11:22:01 по мск
Решение инцидента: 11:49:17 по мск

Расширим алгоритм тестирования с целью предотвращения подобных инцидентов

🛑 Аварийные работы на трассе Амстердам - СПб

Обрыв трассы в Европе. Время устранения обрыва до 5 часов. Могут появиться задержки и замедления. Сетевые инженеры перераспределяют трафик на время аварийных работ.

🛑 Сетевая недоступость панели управления Timeweb Cloud

Страница панели управления https://timeweb.cloud/my/ может быть временно недоступна

Начало инцидента: 01:28 по мск
Решение инцидента: 02:21 по мск

✅ Работа панели управления восстановлена

🛑 Временно отключили работу с образами

Во всех локациях, кроме Польши, будут недоступны создание и загрузка новых образов, а также удаление и скачивание уже созданных. Ориентировочно до 5 ноября. Списания за образы на этот период остановлены.

Включили создание и загрузку новых образов в Москве и Санкт-Петербурге.

🛑 Авария на трассе Амстердам - СПб

Могут появиться задержки и замедления. Сетевые инженеры перераспределили трафик до момента устранения аварии.

✅ Авария на трассе Амстердам - СПб устранена.

Актуальный статус по оборудованию в Нидерландах

Начинаем работы по вводу в эксплуатацию, состоящие из 3 этапов:

1 этап. Вывод из эксплуатации текущего телекоммуникационного узла, с переключением магистралей, апстримов, пирингов и клиентской нагрузки на новый набор оборудования. Мы здесь

Планируем завершить до 10 февраля.

2 этап. Подключение серверов фильтрации: будут подключаться оптическими кроссировками в порты нашего сетевого оборудования, после чего будут настроены сенсоры и интегрирована существующая система защиты, с переносом нагрузки из кластера СПб.

Тут ждем модули, ориентируемся на поставку до 15 февраля. Плюс время на установку.

3 этап. Расширение каналов. Мы расширим трассу до дата-центра в несколько раз, позволяя предоставлять больше высокоскоростных услуг. Точные даты будут понятны после завершения первых двух этапов.

🛑 Функция создания и управления балансировщиками, базами данных и кластерами Kubernetes в Москве и Санкт-Петербурге временно недоступна по техническим причинам. Не переживайте, скоро включим обратно.

✅ Возможность создания и управления балансировщиками, базами данных и кластерами Kubernetes в Москве и Санкт-Петербурге восстановлена.

🛑 Часть виртуальных серверов могут создаваться с ошибками или дольше обычного. Уже исправляем.

✅ Проблема решена
В 16:15 по МСК проблема устранена нашими инженерами. Все сервисы работают штатно.

22 апреля 2025 г. произошел сбой в работе баз данных PostgreSQL во всех регионах. Проблема фактически началась около 14:40, была обнаружена в 15:10 и полностью устранена к 15:40. Общее время инцидента составило 1 час.

Причиной стало добавление нового расширения PostgreSQL, вызвавшее массовый перезапуск серверов из-за нестрогого порядка выполнения задач в Salt. Другие типы баз данных не пострадали.

Алерт не сработал своевременно, так как мониторинговая система интерпретировала перезапуски как часть штатного процесса обновления. Примем меры по улучшению системы мониторинга и настройке строгого порядка задач в Salt.

🔴 Технический инцидент с libvirt

В связи с внеплановым обновлением libvirt самопроизвольно выключился 1% виртуальных серверов. Наши инженеры уже включают их.

❗Текущий статус:
- Выясняем причины сбоя libvirt
- Постепенно включаем серверы. Ожидаем восстановление их работы в течение 15 минут.

Подробности о причинах будут в течение часа.

✅ Работа серверов полностью восстановлена в 19:50 мск