✅ Работа инфраструктуры в Москве полностью восстановлена

Мы завершили обновление программного обеспечения на всех узлах кластера хранения. Все системы работают в штатном режиме, показатели производительности и latency вернулись к целевым значениям.

В данный момент мы завершаем точечные настройки сетевых сессий. У части пользователей могут наблюдаться временные затруднения с подключением по SSH.

Наши специалисты уже занимаются этим вопросом, доступ будет восстановлен в ближайшее время.

Чуть позже будет детальный технический разбор.

Мы локализовали проблему с частичным отсутствием доступа по SSH и зависанием части виртуальных машин. Для их возвращения в строй инженерам необходимо провести перезагрузку нескольких нод в Москве.

Суммарное время работ составит до 2 часов, и до 15-20 минут для конкретных виртуальных машин в рамках этого окна.

✅ Массовые перезагрузки нод завершены. Сейчас работаем точечно — проверяем подключение и корректную работу виртуальных машин.

Параллельно исправляем зависшие статусы сервисов в панели управления. На доступность это не влияет.

Разбор инцидента опубликуем позднее.

Фиксируем массовые сообщения о недоступности сервисов Telegram (включая api.telegram.org).

Симптомы
• Ошибки подключения (timeout) при обращении к Bot API.
• Нестабильная работа интеграций и уведомлений через Telegram-ботов.
• Задержки в обновлении статусов в веб-версии мессенджера.

Данная проблема не связана с работами на стороне Timeweb Cloud и наблюдается у большинства провайдеров и дата-центров.

Рекомендуем временно использовать альтернативные каналы уведомлений, если ваши бизнес-процессы завязаны на Telegram API.

Постмортем инцидента в зоне MSK-1 (09.04-10.04)

Подготовили подробный разбор инцидента с дисковой подсистемой. Детали, таймлайн и принятые меры по ссылке ниже.

Подробный технический разбор →

Коротко о причинах
• Ошибка СХД спровоцировала reboot loop узлов хранения. Рекурсивные перезагрузки вызвали оверлоад шины данных.
• Зависание процессов виртуальных машин на уровне гипервизоров, I/O wait и сетевая недоступность из-за блокировки системных процессов ОС.

Что сделано
• Внедрены сценарии каскадных отказов в протоколы тестирования.
• Запущен подбор альтернативных СХД для диверсификации рисков.
• Автоматизирован сброс сессий гипервизора при зависшем I/O.

⚠️ Модернизация зарубежной инфраструктуры: локация Амстердам

Сегодня проведем срочную модернизацию сетевого сегмента в Европе. Обновление оборудования позволит повысить отказоустойчивость международных каналов и обеспечить стабильную работу при высоких нагрузках.

Старт работ: сегодня в 11:45 мск
Длительность: до 30 мин

Влияние на сервисы:

• Временная недоступность сервисов в Амстердаме на период перезагрузки
• В остальных локациях возможно снижение скорости из-за автоматического перестроения маршрутов

Инфраструктура в РФ работает в штатном режиме. О завершении работ тоже проинформируем.

Работы полностью завершены. Работоспособность серверов в Амстердаме восстановлена в 12:00 мск.

На данный момент восстанавливается трафик: могут наблюдаться задержки в работе панели и сервисов.

✅ Работы завершены, сетевой трафик восстановился. Сервисы и панель управления работают исправно.

🛑 Аппаратная проблема на роутере в Амстердам.

Сетевые инженеры занимаются восстановлением.

✅ Работы завершены, сетевой трафик восстановился. Сервисы работают в штатном режиме.

🛑 Возникли технические неполадки во время проведения работ с базой данных.

В личных кабинетах может отображаться нулевой баланс. Также может не отображаться список сервисов. Инженеры уже занимаются решением проблемы.

В течение 10 минут ожидаем запуск остановленных сервисов.

Создание новых сервисов сейчас недоступно.

Производим постепенный запуск остановленных сервисов. Планируемое время восстановления — 1 час.

Дополнительно уведомим о завершении.

Работа сервисов, созданных до начала инцидента, полностью восстановлена.

Было задето: 3927 аккаунтов
Даунтайм: с 20:05 по 22:45 мск

Сейчас мы фокусируемся на том, чтобы вернуть возможность создания новых ресурсов и поправить отображение баланса.

Инженеры продолжают работу до полного устранения неполадок. Разбор инцидента будет отдельно.

Получили апдейт от инженеров — было затронуто 4514 аккаунтов.

Сейчас разбираемся с зависшими статусами в панели управления.

✅ Вернули корректное отображение баланса в панели управления.

Создание новых сервисов и изменение конфигурации текущих работают в штатном режиме.

Разбор инцидента с балансами и блокировкой аккаунтов 4 мая

Что произошло
4 мая во время плановых работ с базой данных возникла техническая ошибка. В 19:45 мск была запущена миграция, которая из-за асинхронного выполнения в продакшн-среде привела к некорректному отображению балансов.

Последствия
В 20:00 система биллинга зафиксировала «нулевые балансы» и автоматически инициировала блокировку аккаунтов за неуплату. Автоматика приостановила процесс на отметке ~4500 аккаунтов.

Статус
К 5 мая в 00:36 мск все аккаунты разблокированы, корректность балансов восстановлена.

Всем затронутым пользователям будет начислена индивидуальная компенсация в ближайшее время.

Что меняем
Биллинг переводится в режим техосблуживания на время плановых и аварийных работ — отменяются любые блокирующие действия с аккаунтами. Также изменили пороговые значения для ложных блокировок и добавили временной лаг между решением и фактической блокировкой.

🛑Проблема с сетевой доступностью
Зоны: ams-1
Тип: ❗️ Major

Зафиксирована недоступность части сервисов в зоне ams-1. Инженеры изучают масштаб затронутых компонентов и работают над восстановлением.

Следующий апдейт — через 30 минут.

⚠️Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

Подтверждённая причина — проблемы с электропитанием в дата-центре. Для дальнейших действий по восстановлению необходима диагностика оборудования на месте: инженер уже выехал на площадку, ожидаемое прибытие — в течение часа.

Следующий апдейт — в течение 2 часов.

⚠️Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

После прибытия инженера на площадку и проведённой диагностики электропитания работы по восстановлению были запущены. На текущий момент фиксируем положительную динамику — доступность сервисов в зоне ams-1 начала восстанавливаться.

Продолжаем контролировать ситуацию на месте. Следующий апдейт — через час.

⚠️Обновление по инциденту
Зоны: ams-1
Тип: ❗️ Major

На текущий момент восстановлено около 85% виртуальных машин в зоне ams-1. По оставшимся нодам ведётся индивидуальный разбор: инженеры диагностируют причины, по которым они не вернулись в работу автоматически после восстановления электропитания, и поэтапно вводят их в строй.

Следующий апдейт — через час.