Мы заметили, что ответы могут приходить чуть медленнее обычного. Уже работаем над улучшением скорости и скоро вернём привычный темп.

Восстановительные работы окончены, набираем скорость 🥏

Кроме этого, в связи с инцидентом, предоставляем скидку 10% на пополнение по промокоду SLOW

В предновогодней суете не заметили некоторых визуальных проблем в обновлении.

Учли вашу обратную связь в комментариях и в боте поддержки - в следующем обновлении сделаем информацию более нативно понятной.

Кстати, если в нашем UI / UX есть еще какие то неочевидные части - напишите об этом в комментариях!

Наблюдаются проблемы с ОФД, временно отключено пополнение, сервис работает в штатном режиме.

Проблемы решены, оплата работает в штатном режиме

Зафиксирована DDOS атака, ведем восстановление

Upd. Работа восстановлена

Наблюдаем нарастающие проблемы с деградацией трафика. Решаем проблему

Последние несколько дней сервис был крайне нестабилен. Мы наблюдаем недоступность или "замедление" трафика к IP адресам некоторых зарубежных дата центров.

Сейчас проблема должна быть решена. В качестве компенсации, мы снизили цены на сервисе на 20%, такая скидка будет действовать для всех на протяжении 72 часов начиная с этой минуты.

Так же, в качестве компенсации мы дарим промокод на скидку при пополнении в 10% - 4KF4V

Наблюдаются проблемы с доступом к Облачным БД нашего провайдера Selectel

Стал недоступен Redis сервер, БД пока доступна, но сайт Селектела стремительно падает.

Информации от поддержки пока нет, следим за развитием событий.

Временно отключена оплата из-за выявления критической ошибки со стороны сервиса Т-Чеки.

Сейчас мы находимся в процессе переезда на другой интернет эквайринг, а также ищем временное решение проблемы для текущей ситуации

Платежи снова работают в штатном режиме, приносим извинения за неудобство.

О ситуации: В ходе аудита бухгалтерии было выявлено, что Т Банк не отправлял ни единого чека в систему АУСН, хотя формировал чеки для клиентов и брал полноценную комиссию за это.

При выявлении проблемы, поддержка Т Банка сказала что АУСН не поддерживается в полном размере, и мы должны были каждый чек вручную загружать в ЛК АУСН. Такая картина наблюдалась 2 месяца.

Обратившись в ФНС, нам сообщили что так делать нельзя - возможно задвоение информации и прочие технические проблемы.

Нами было принято решение отказаться от Т-Экваиринга в принципе. Сейчас платежи работают через сервер ЮКасса.

В связи с ситуацией, мы даем скидку 15% по промокоду BYEBYETINK на пополнение.

А теперь давайте о хороших новостях:

Последние дни наша небольшая команда тех. специалистов из трех человек активно работала над решением критических проблем сервиса, а также над добавлением нового функционала:

• Разработана полноценная тикет система для отдела поддержки Личном кабинете
С ростом аудитории оказывать поддержку через ТГ стало невозможно, а также замедление ТГ создавало дополнительные проблемы. Поэтому теперь поддержка оказывается сразу напрямую внутри личного кабинета. Ключевые данные и логи пользователя автоматически передаются агенту поддержки что значительно сокращает время решения проблемы по сравнению с ботом в телеграмме.

• Ускорили прогрузку логов и прочей статистики. Для этого мы перенесли логи с PostgreSQL на ClickHouse. Теперь даже для самых наших крупных клиентов, чья нагрузка составляет миллионы запросов в сутки, работа логов будет намного плавнее.

• Сменили ДЦ, изменили архитектуру сервиса, сейчас сервис работает в трех копиях. Так же было решено переезжать с Селектела после проблем с их облачным кластером БД.

В планах развернуть еще один кластер в Новосибирске / Иркутске для большей стабильности.

• А также рефакторинг бэкенда, и исправление ошибок.

Что сейчас в работе:

• Поддержка работы с видео моделями (пока что Sora-2)
• Расширение модельного ряда
• Улучшение и доработка онлайн чата.

Также мы работаем над функционалом для юридических лиц:

• Возможность регистрации как юр лицо
• Автоматическое формирование счета на оплату и зачисление баланса.

Штош. Литры кофе для нашей технической команды обернулись боком и мы немного упали.

Сейчас попытаемся разобраться в ситуации и поднять резервный сервер, пока основная часть команды спит.

upd. Сервер снова включен. Причина была в Redis сервере.

ИИ отчет по инциденту:

Что случилось В ночь с 10 на 11 марта мы провели плановое обновление инфраструктуры — перенос баз данных и кэш-сервера на новую платформу. В результате ошибки при миграции кэш квот и пользовательских данных не был перенесён корректно. Это привело к деградации: операции со счётом и квотами пользователей начали периодически завершаться с ошибками.

Ситуацию усугубил последующий сбой на стороне хостинг-провайдера — кэш-сервер дважды падал в течение дня. Во время второго отказа (с ~22:30 до ~23:25 МСК) сервис работал в деградированном режиме: запросы проходили, однако дашборд не отображал статистику.

Что мы сделали

В 12 марта в 09:44 МСК сервис был полностью перезапущен
Все компоненты работают в штатном режиме
Ведётся расследование причин нестабильности на стороне провайдера
Что будет сделано дальше

Добавим автоматический мониторинг и алерты на ключевые компоненты
Улучшим процедуру миграции данных, чтобы исключить подобные ситуации
Проработаем резервный сценарий на случай отказа провайдера

Наблюдаем проблему с подключением облачной бд

О проблеме уже знаем - команда занята ремонтом.

Сервис вернулся в рабочее состояние

Команда занимается изучением инцидента

В связи с стремительным ростом курса доллара мы вынуждены пересмотреть наш обменный курс. К сожалению, с оставаться с нашим старым курсом уже становится невозможно.

Актуальный курс на сайте = 79 рублей.

Курс будет обновлен через неделю - 26 марта, по актуальному курсу на этот день.

Последние дни наблюдаем перебои в работе API, проблема комплексная, ведем расследование.

О причинах сказать не можем в целях безопасности, если кратко - мы ловили «мусорные запросы» в огромном количестве которые перегружали уже вышестоящие каналы провайдеров.

Также усложнила ситуация пиковая нагрузка в последние дни - 1800 запросов в минуту, что превратило проблему в снежный ком, уронив нас, а потом и наших партнеров.

Есть ещё проблемы из-за агрессивного вмешательства ТСПУ, но здесь информации крайне мало. Проблема здесь больше из-за CF, но мы также работаем над механизмами и способами стабилизации проблемы.

Наша команда применила исправления, и расширила внутренний мониторинг, продолжаем следить за ситуацией.

Приносим извинения за доставленные неудобства.