Коллеги, добрый день!

Сообщаем, что 14 июня с 19:05 у части пользователей наблюдалась проблема с недоступностью следующих сервисов:

🔦 Личный кабинет MULTIFACTOR
🔦 Мобильное приложение MULTIFACTOR
🔦 Веб-аутентификация, страница «Access»

Причина инцидента:

В 19:05 на стороне провайдера NGENIX произошёл сбой инфраструктуры балансировщика. При анализе трафика выявлено, что один из маршрутов CDN возвращал timeout-ошибки, в то время как альтернативный работал штатно. За время инцидента у части пользователей возникли проблемы с частичной доступностью сервисов. При этом не было повышенного фона ошибок по приложениям, так как проблема началась до них.

Принятые меры:

1⃣В 21:15 открыта заявка № 25222 в NGENIX.
2⃣В 21:39 было произведено переключение Sub-/Pub-сервисов в обход NGENIX напрямую, что позволило восстановить работу админ-панели и возобновить пуш-уведомления для пользователей у которых наблюдались неполадки.
3⃣В 23:43 было произведено переподключение всех приложений обратно к NGENIX.
4⃣В 23:50 все сервисы восстановили штатную работу.

Вывод и дальнейшие действия:

Причина инцидента – критичный сбой на стороне провайдера NGENIX. Мы проводим переговоры с NGENIX о причинах инцидента и гарантиях его неповторения. Планируем провести дополнительные тесты отказоустойчивости и улучшение средств мониторинга для более быстрого реагирования.

С уважением, команда МУЛЬТИФАКТОР.