Неполадки затронули сервисы в локации AMS. Временно аффект мог затронуть локацию SPB, а также работу AI-агентов.

Сейчас работа всех сервисов восстанавливается.

✅ Работа сервисов восстановлена, трафик вернулся в нормальным значениям.

Причиной стал программно-аппаратный сбой на маршрутизаторе, который привел к ошибке в работе сети. Сейчас сбой устранён.

⚠️ Временные задержки в работе дисковой подсистемы

В данный момент часть виртуальных машин в Москве может работать с повышенными задержками (latency).

Причина: выявлены программные несоответствия в работе подсистемы хранения.

В настоящий момент инженеры проводят оптимизацию работы СХД.

⚙️ Апдейт по работам в Москве

Продолжаем поэтапный ввод исправлений для подсистемы хранения.

Обновлено 4 из 8 сегментов инфраструктуры. На модернизированных сегментах фиксируем стабилизацию нагрузки и возвращение latency к нормативным значениям.

Ожидаемое время завершения всех работ — в течение 2-2.5 часов.

✅ Работа инфраструктуры в Москве полностью восстановлена

Мы завершили обновление программного обеспечения на всех узлах кластера хранения. Все системы работают в штатном режиме, показатели производительности и latency вернулись к целевым значениям.

В данный момент мы завершаем точечные настройки сетевых сессий. У части пользователей могут наблюдаться временные затруднения с подключением по SSH.

Наши специалисты уже занимаются этим вопросом, доступ будет восстановлен в ближайшее время.

Чуть позже будет детальный технический разбор.

Мы локализовали проблему с частичным отсутствием доступа по SSH и зависанием части виртуальных машин. Для их возвращения в строй инженерам необходимо провести перезагрузку нескольких нод в Москве.

Суммарное время работ составит до 2 часов, и до 15-20 минут для конкретных виртуальных машин в рамках этого окна.

✅ Массовые перезагрузки нод завершены. Сейчас работаем точечно — проверяем подключение и корректную работу виртуальных машин.

Параллельно исправляем зависшие статусы сервисов в панели управления. На доступность это не влияет.

Разбор инцидента опубликуем позднее.

Фиксируем массовые сообщения о недоступности сервисов Telegram (включая api.telegram.org).

Симптомы
• Ошибки подключения (timeout) при обращении к Bot API.
• Нестабильная работа интеграций и уведомлений через Telegram-ботов.
• Задержки в обновлении статусов в веб-версии мессенджера.

Данная проблема не связана с работами на стороне Timeweb Cloud и наблюдается у большинства провайдеров и дата-центров.

Рекомендуем временно использовать альтернативные каналы уведомлений, если ваши бизнес-процессы завязаны на Telegram API.

Постмортем инцидента в зоне MSK-1 (09.04-10.04)

Подготовили подробный разбор инцидента с дисковой подсистемой. Детали, таймлайн и принятые меры по ссылке ниже.

Подробный технический разбор →

Коротко о причинах
• Ошибка СХД спровоцировала reboot loop узлов хранения. Рекурсивные перезагрузки вызвали оверлоад шины данных.
• Зависание процессов виртуальных машин на уровне гипервизоров, I/O wait и сетевая недоступность из-за блокировки системных процессов ОС.

Что сделано
• Внедрены сценарии каскадных отказов в протоколы тестирования.
• Запущен подбор альтернативных СХД для диверсификации рисков.
• Автоматизирован сброс сессий гипервизора при зависшем I/O.

⚠️ Модернизация зарубежной инфраструктуры: локация Амстердам

Сегодня проведем срочную модернизацию сетевого сегмента в Европе. Обновление оборудования позволит повысить отказоустойчивость международных каналов и обеспечить стабильную работу при высоких нагрузках.

Старт работ: сегодня в 11:45 мск
Длительность: до 30 мин

Влияние на сервисы:

• Временная недоступность сервисов в Амстердаме на период перезагрузки
• В остальных локациях возможно снижение скорости из-за автоматического перестроения маршрутов

Инфраструктура в РФ работает в штатном режиме. О завершении работ тоже проинформируем.

Работы полностью завершены. Работоспособность серверов в Амстердаме восстановлена в 12:00 мск.

На данный момент восстанавливается трафик: могут наблюдаться задержки в работе панели и сервисов.

✅ Работы завершены, сетевой трафик восстановился. Сервисы и панель управления работают исправно.

🛑 Аппаратная проблема на роутере в Амстердам.

Сетевые инженеры занимаются восстановлением.

✅ Работы завершены, сетевой трафик восстановился. Сервисы работают в штатном режиме.

🛑 Возникли технические неполадки во время проведения работ с базой данных.

В личных кабинетах может отображаться нулевой баланс. Также может не отображаться список сервисов. Инженеры уже занимаются решением проблемы.

В течение 10 минут ожидаем запуск остановленных сервисов.

Создание новых сервисов сейчас недоступно.

Производим постепенный запуск остановленных сервисов. Планируемое время восстановления — 1 час.

Дополнительно уведомим о завершении.

Работа сервисов, созданных до начала инцидента, полностью восстановлена.

Было задето: 3927 аккаунтов
Даунтайм: с 20:05 по 22:45 мск

Сейчас мы фокусируемся на том, чтобы вернуть возможность создания новых ресурсов и поправить отображение баланса.

Инженеры продолжают работу до полного устранения неполадок. Разбор инцидента будет отдельно.

Получили апдейт от инженеров — было затронуто 4514 аккаунтов.

Сейчас разбираемся с зависшими статусами в панели управления.

✅ Вернули корректное отображение баланса в панели управления.

Создание новых сервисов и изменение конфигурации текущих работают в штатном режиме.

Разбор инцидента с балансами и блокировкой аккаунтов 4 мая

Что произошло
4 мая во время плановых работ с базой данных возникла техническая ошибка. В 19:45 мск была запущена миграция, которая из-за асинхронного выполнения в продакшн-среде привела к некорректному отображению балансов.

Последствия
В 20:00 система биллинга зафиксировала «нулевые балансы» и автоматически инициировала блокировку аккаунтов за неуплату. Автоматика приостановила процесс на отметке ~4500 аккаунтов.

Статус
К 5 мая в 00:36 мск все аккаунты разблокированы, корректность балансов восстановлена.

Всем затронутым пользователям будет начислена индивидуальная компенсация в ближайшее время.

Что меняем
Биллинг переводится в режим техосблуживания на время плановых и аварийных работ — отменяются любые блокирующие действия с аккаунтами. Также изменили пороговые значения для ложных блокировок и добавили временной лаг между решением и фактической блокировкой.