MULTIFACTOR: сервисный канал
1.31K subscribers
2 photos
1 file
17 links
В данном канале вы сможете отслеживать плановые работы и внештатные ситуации.

Официальный канал МУЛЬТИФАКТОР:
https://t.me/multifactor_news
Download Telegram
В настоящее время наблюдаем неполадки в работе сервиса.

Мы работаем над устранением проблемы и ожидаем восстановления работы в штатном режиме.

Приносим извинения за причиненные неудобства.
Добрый день.
Работа сервиса восстановлена.
Просим Вас проверить работоспособность, и вернуться с обратной связью. Приносим извинения за неудобство.
Коллеги, до настоящее время наблюдаем неполадки в работе сервиса.

Мы работаем над устранением проблемы и ожидаем восстановления работы в штатном режиме.

Приносим извинения за причиненные неудобства.
Добрый день.
Работа сервиса восстановлена.
Просим Вас проверить работоспособность, и вернуться с обратной связью.
Об инциденте, и его решении будет отдельное сообщение.
Приносим извинения за неудобство.
30 июля 2025 года с 12:30 до 13:41 наблюдалась частичная доступность на сервисах API (api.multifactor.ru) и Admin (admin.multifactor.ru). При обращении к API и Admin возвращалась ошибка «500».

Что было:

- Проблемы у пользователей при прохождении двухфакторной аутентификации
- Нестабильный доступ в админ-панель
- Сложности аутентификации через Телеграм-бот

Причина:

Причиной послужил глобальный сбой на основном ЦОДе Ростелекома в подсистеме СХД, в результате чего возникли проблемы на стороне серверов баз данных.

Хронология событий:

12:30 – Зафиксированы массовые ошибки «500» при обращении к API
12:35 – Инициировано переключение на резервный ЦОД. Произведена переконфигурация реплик базы данных
12:40 – Произведено переключение на резервный ЦОД. Работы API, Admin восстановлена
13:00 – Вследствие временного восстановления ЦОДа Ростелеком автоматически производится переключение на основной ЦОД
13:10 – ЦОД РТК снова становится недоступным, инженеры полностью исключают данную площадку и переключают трафик на резерв
13:20 – Произведено переключение на резервный ЦОД. Инженеры восстанавливают работу Телеграм-бота, Radius Adapter
13:40 – Переключение завершено, API и Админ-панель работают стабильно

Полная недоступность: 12:30-12:40, 13:10-13:20

Что было сделано:

- Произведено переключение трафика на резервный ЦОД
- Исключено влияние «флапающего» основного ЦОДа в Ростелеком
- Работоспособность всех сервисов системы MULTIFACTOR полностью восстановлена. Ждём восстановления ЦОДа в Ростелеком
- Проведён анализ логов и подтверждено отсутствие потерь данных

Итог:

Инцидент был устранён. На данный момент команда МУЛЬТИФАКТОР активно ведёт работу над улучшением механизма балансировки трафика между ЦОДами.

Приносим извинения за доставленные неудобства и благодарим за понимание.
В настоящее время наблюдаем неполадки в работе сервиса.

Уже работаем над устранением проблемы и ожидаем восстановления работы в штатном режиме.
Работа сервиса восстановлена.
1 августа 2025 года с 8:30 до 9:22 у части пользователей наблюдалась проблема с возвращением со страницы Access запрашиваемый ресурс.

Влияние на сервисы:
- Проблемы у пользователей при прохождении двухфакторной аутентификации
- Нестабильный доступ в ЛК

Причина инцидента:
Некорректная работа одного из экземпляров сервиса Access после перезагрузки сервера вследствие работ в ДЦ.

Хронология событий:

8:36 - Первое обращение от поддержки с описанием проблемы
8:45 - Анализ проблемы и логов дежурным
8:50 - Проверка работы и блокировок со стороны NGENIX
9:20 - Перезагрузка сервисов Access
9:22 - Получено подтверждение корректной работы сервиса от пользователей, а также выявлены причины

Частичная недоступность:
3:05 - 9:20

Принятые меры:

- Перезагружен сервис Access
- Проведён анализ логов и подтверждено отсутствие потерь данных

Вывод и дальнейшие действия:

Инцидент был устранён. Выявлено некорректное поведение. Для избежания подобных проблем в дальнейшем будут проведены работы на инфраструктурных сервисах.
Важное уведомление для пользователей мобильного приложения Multifactor (iOS версии)

В текущей версии 1.6.8 обнаружена проблема с отображением внешних аккаунтов (OTP-генератор). Аккаунты сохранены в системе, но временно не отображаются в приложении.

По возможности воздержитесь от обновления до версии 1.6.8, если используете OTP-генератор.

Проблема устранена в версии 1.6.9, аккаунты вернутся. В ближайшее время обновление станет доступно в App Store. Следите за выходом новой версии — она появится после проверки со стороны платформы.
5 августа с 3:30 у части пользователей наблюдалась проблема с подтверждением запроса доступа.

Влияние на сервисы:
- Проблема у пользователей при прохождении двухфакторной аутентификации
- Нестабильный доступ в ЛК

Причина инцидента:
В 3:30 на подсистеме резервного кластера наблюдались проблемы в части сетевой СХД. Произошел рестарт одной из нод шины данных. При этом не наблюдалось повышенного фона ошибок по приложениям.

Принятые меры:

В 4:30 было произведено переподключение приложений к ноде шины данных и работа была восстановлена для всех пользователей.

Вывод и дальнейшие действия:
Мы запускаем кластер шины данных в другой зоне доступности. В течение дня проведем необходимые тесты.

5 августа в период с 23:00 до 00:00 будут проводиться технические работы с облаком MULTIFACTOR
Возможна частичная недоступность до 5 минут.

Технические специалисты переведены в режим постоянного мониторинга для обеспечения стабильной работы ключевых сервисов MULTIFACTOR.
Работы завершены в 00:26, сервис работает в штатном режиме.
В данный момент наблюдаем недоступность сервиса отправки смс для подтверждения второго фактора.
Работа смс сервисов восстановлена.
Просим вас проверить корректность работы сервиса.
В данный момент наблюдаем некорректную работу сайта https://multifactor.ru/.
Уже работаем над устранением проблемы и ожидаем восстановления работы в штатном режиме в ближайшее время.
На текущий момент наблюдаем недоступность сервисов:
Мобильное приложение Multifactor.
API.

Работаем над устранением проблемы и ожидаем восстановления работы в штатном режиме в ближайшее время.
Работа сервисов восстановлена.
Сегодня, 2 сентября наблюдались следующие проблемы:

15:15 - 16:10 недоступность сайта multifactor.ru
16:18 - 16:58 недоступность подтверждения пуша в мобильном приложении.
16:18 - 17:30 проблемы с входом SSO \ ADFS \ KeyCloak.

Влияние на сервисы:

- Невозможность авторизации и работы в мобильном приложении.
- Не приходили ссылки на регистрацию второго фактора с почты.
- Нарушение работы интеграций (адаптеров), использующих API.

Причина инцидента:

В 15:15 была зафиксирована масштабная DDoS-атака. Для ее отражения наш партнер (Ngenix) применил строгое правило фильтрации с JS-челленджем для всего входящего трафика. Данное правило негативным образом повлияло на взаимодействие с API: мобильное приложение и адаптеры не могли пройти JS-челлендж.

Принятые меры:

Было создано и применено отдельное правило фильтрации для API, исключающее JS-челлендж. Работа сервисов была полностью восстановлена.

Вывод и дальнейшие действия:

Проводится анализ инцидента для оптимизации правил фильтрации и недопущения подобных ситуаций в будущем.

Сейчас мы попрежнему находимся под DDoS-атакой, технические специалисты находятся в режиме постоянного мониторинга и предпринимают все необходимые действия для обеспечения стабильной работы ключевых сервисов.
16 октября с 20:00 до 21:00 по МСК будут проводиться технические работы на сервисе MULTIPUSHED.
Производим обновление в части базы данных.

Во время работ возможна частичная недоступность/медленная работа сервиса. Период нестабильной работы - не более 5 минут.

Затрагиваемые сервисы - MULTIFACTOR, MULTIPUSHED.
Обращаем ваше внимание на единичные ошибки, в работе ряда сервисов МУЛЬТИФАКТОР. Некоторые пользователи могут столкнуться с проблемами при входе через облачный Radius.

Наша команда в курсе ситуации и работает над её решением. Мы ожидаем нормализации работы в скором времени.

Спасибо за ваше терпение!
Работа сервисов восстановлена.
30 октября с 20:00 до 22:00 по МСК будут проводиться технические работы на сервисе MULTIFACTOR.

Производим переход на новую распределённую шину данных.

Во время работ возможна частичная недоступность/медленная работа сервиса. Период нестабильной работы – не более 15 минут.