Коллеги, в период с 12:30 наблюдаем некорректную балансировку трафика (4%) и блокирование части запросов нашим облачным провайдером. Мы предприняли необходимые действия для устранения проблем блокировки и балансировки.

Наблюдаем проблему с уходом трафика на другой ДЦ, уже ведем работы по восстановлению.
Приносим извинения за неудобства.

Работа сервиса восстановлена.

Сообщаем о важном обновлении системы управления доступом на основе IP-адресов в личном кабинете MULTIFACTOR, которое будет доступно с понедельника 16.06.2025 г.

Ключевые изменения в политике доступа

В рамках улучшения безопасности и удобства управления доступом мы оптимизировали логику применения IP-ограничений запроса второго фактора.

Основные изменения

• Приоритет запрещающих политик. Теперь запрещающие политики обладают наивысшим приоритетом, что соответствует лучшим практикам безопасности.

• Приоритет созданных вами групп выше, чем у группы по умолчанию («All_Users»).

• IP-политики применяются только к ресурсам, которые разрешены групповой политикой.

• Ранее системная группа «All_Users» могла переопределять доступ, заданный для пользовательских групп. Сейчас администраторы могут отключить доступ к ресурсам группе «All_Users» (системная группа) и гибко настроить доступы на основании групп пользователя.

Совместимость политик

- Если для ресурса настроены ограничения по группам, то запрещающие правила суммируются, что исключает конфликты политик.

- Кроме того, запрещающие политики имеют наивысший приоритет.

Преимущества обновления

✓ Более предсказуемая логика работы IP-фильтрации.
✓ Гибкость в настройке доступов для разных групп.

Рекомендуем проверить настройки доступа в личном кабинете MULTIFACTOR и при необходимости скорректировать их с учётом новых изменений.

В настоящее время наблюдаем неполадки в работе Push уведомлений для Telegram и мобильного приложения Multifactor, а также облачного radius адаптера.

Мы работаем над устранением проблемы и ожидаем восстановления штатного функционирования.

Приносим извинения за неудобства.

Коллеги, работа сервиса восстановлена!

В 13:20 на одном из наших кластеров произошёл сбой сетевого характера, поэтому облако MULTIFACTOR обсуживалось резервным контуром.

Время переключения на резерв составило 2 минуты.

В период с 13:22 по 14:14 облако MULTIFACTOR полностью  функционировало, за исключением  Телеграм-бота и облачного радиуса.

К 14:14 были произведены необходимые операции для восстановления сетевой связанности внутри ЦОД.

Приносим свои извинения за доставленные неудобства.

В настоящее время наблюдаем неполадки в работе сервиса.

Мы работаем над устранением проблемы и ожидаем восстановления работы в штатном режиме.

Приносим извинения за причиненные неудобства.

Добрый день.
Работа сервиса восстановлена.
Просим Вас проверить работоспособность, и вернуться с обратной связью. Приносим извинения за неудобство.

Коллеги, до настоящее время наблюдаем неполадки в работе сервиса.

Мы работаем над устранением проблемы и ожидаем восстановления работы в штатном режиме.

Приносим извинения за причиненные неудобства.

Добрый день.
Работа сервиса восстановлена.
Просим Вас проверить работоспособность, и вернуться с обратной связью.
Об инциденте, и его решении будет отдельное сообщение.
Приносим извинения за неудобство.

30 июля 2025 года с 12:30 до 13:41 наблюдалась частичная доступность на сервисах API (api.multifactor.ru) и Admin (admin.multifactor.ru). При обращении к API и Admin возвращалась ошибка «500».

Что было:

- Проблемы у пользователей при прохождении двухфакторной аутентификации
- Нестабильный доступ в админ-панель
- Сложности аутентификации через Телеграм-бот

Причина:

Причиной послужил глобальный сбой на основном ЦОДе Ростелекома в подсистеме СХД, в результате чего возникли проблемы на стороне серверов баз данных.

Хронология событий:

12:30 – Зафиксированы массовые ошибки «500» при обращении к API
12:35 – Инициировано переключение на резервный ЦОД. Произведена переконфигурация реплик базы данных
12:40 – Произведено переключение на резервный ЦОД. Работы API, Admin восстановлена
13:00 – Вследствие временного восстановления ЦОДа Ростелеком автоматически производится переключение на основной ЦОД
13:10 – ЦОД РТК снова становится недоступным, инженеры полностью исключают данную площадку и переключают трафик на резерв
13:20 – Произведено переключение на резервный ЦОД. Инженеры восстанавливают работу Телеграм-бота, Radius Adapter
13:40 – Переключение завершено, API и Админ-панель работают стабильно

Полная недоступность: 12:30-12:40, 13:10-13:20

Что было сделано:

- Произведено переключение трафика на резервный ЦОД
- Исключено влияние «флапающего» основного ЦОДа в Ростелеком
- Работоспособность всех сервисов системы MULTIFACTOR полностью восстановлена. Ждём восстановления ЦОДа в Ростелеком
- Проведён анализ логов и подтверждено отсутствие потерь данных

Итог:

Инцидент был устранён. На данный момент команда МУЛЬТИФАКТОР активно ведёт работу над улучшением механизма балансировки трафика между ЦОДами.

Приносим извинения за доставленные неудобства и благодарим за понимание.

В настоящее время наблюдаем неполадки в работе сервиса.

Уже работаем над устранением проблемы и ожидаем восстановления работы в штатном режиме.

Работа сервиса восстановлена.

1 августа 2025 года с 8:30 до 9:22 у части пользователей наблюдалась проблема с возвращением со страницы Access запрашиваемый ресурс.

Влияние на сервисы:
- Проблемы у пользователей при прохождении двухфакторной аутентификации
- Нестабильный доступ в ЛК

Причина инцидента:
Некорректная работа одного из экземпляров сервиса Access после перезагрузки сервера вследствие работ в ДЦ.

Хронология событий:

8:36 - Первое обращение от поддержки с описанием проблемы
8:45 - Анализ проблемы и логов дежурным
8:50 - Проверка работы и блокировок со стороны NGENIX
9:20 - Перезагрузка сервисов Access
9:22 - Получено подтверждение корректной работы сервиса от пользователей, а также выявлены причины

Частичная недоступность:
3:05 - 9:20

Принятые меры:

- Перезагружен сервис Access
- Проведён анализ логов и подтверждено отсутствие потерь данных

Вывод и дальнейшие действия:

Инцидент был устранён. Выявлено некорректное поведение. Для избежания подобных проблем в дальнейшем будут проведены работы на инфраструктурных сервисах.

Важное уведомление для пользователей мобильного приложения Multifactor (iOS версии)

В текущей версии 1.6.8 обнаружена проблема с отображением внешних аккаунтов (OTP-генератор). Аккаунты сохранены в системе, но временно не отображаются в приложении.

По возможности воздержитесь от обновления до версии 1.6.8, если используете OTP-генератор.

Проблема устранена в версии 1.6.9, аккаунты вернутся. В ближайшее время обновление станет доступно в App Store. Следите за выходом новой версии — она появится после проверки со стороны платформы.

5 августа с 3:30 у части пользователей наблюдалась проблема с подтверждением запроса доступа.

Влияние на сервисы:
- Проблема у пользователей при прохождении двухфакторной аутентификации
- Нестабильный доступ в ЛК

Причина инцидента:
В 3:30 на подсистеме резервного кластера наблюдались проблемы в части сетевой СХД. Произошел рестарт одной из нод шины данных. При этом не наблюдалось повышенного фона ошибок по приложениям.

Принятые меры:
В 4:30 было произведено переподключение приложений к ноде шины данных и работа была восстановлена для всех пользователей.

Вывод и дальнейшие действия:
Мы запускаем кластер шины данных в другой зоне доступности. В течение дня проведем необходимые тесты.

5 августа в период с 23:00 до 00:00 будут проводиться технические работы с облаком MULTIFACTOR
Возможна частичная недоступность до 5 минут.

Технические специалисты переведены в режим постоянного мониторинга для обеспечения стабильной работы ключевых сервисов MULTIFACTOR.

Работы завершены в 00:26, сервис работает в штатном режиме.

В данный момент наблюдаем недоступность сервиса отправки смс для подтверждения второго фактора.

Работа смс сервисов восстановлена.
Просим вас проверить корректность работы сервиса.

В данный момент наблюдаем некорректную работу сайта https://multifactor.ru/.
Уже работаем над устранением проблемы и ожидаем восстановления работы в штатном режиме в ближайшее время.

На текущий момент наблюдаем недоступность сервисов:
Мобильное приложение Multifactor.
API.

Работаем над устранением проблемы и ожидаем восстановления работы в штатном режиме в ближайшее время.