Наблюдаются проблемы с ОФД, временно отключено пополнение, сервис работает в штатном режиме.

Проблемы решены, оплата работает в штатном режиме

Зафиксирована DDOS атака, ведем восстановление

Upd. Работа восстановлена

Наблюдаем нарастающие проблемы с деградацией трафика. Решаем проблему

Последние несколько дней сервис был крайне нестабилен. Мы наблюдаем недоступность или "замедление" трафика к IP адресам некоторых зарубежных дата центров.

Сейчас проблема должна быть решена. В качестве компенсации, мы снизили цены на сервисе на 20%, такая скидка будет действовать для всех на протяжении 72 часов начиная с этой минуты.

Так же, в качестве компенсации мы дарим промокод на скидку при пополнении в 10% - 4KF4V

Наблюдаются проблемы с доступом к Облачным БД нашего провайдера Selectel

Стал недоступен Redis сервер, БД пока доступна, но сайт Селектела стремительно падает.

Информации от поддержки пока нет, следим за развитием событий.

Временно отключена оплата из-за выявления критической ошибки со стороны сервиса Т-Чеки.

Сейчас мы находимся в процессе переезда на другой интернет эквайринг, а также ищем временное решение проблемы для текущей ситуации

Платежи снова работают в штатном режиме, приносим извинения за неудобство.

О ситуации: В ходе аудита бухгалтерии было выявлено, что Т Банк не отправлял ни единого чека в систему АУСН, хотя формировал чеки для клиентов и брал полноценную комиссию за это.

При выявлении проблемы, поддержка Т Банка сказала что АУСН не поддерживается в полном размере, и мы должны были каждый чек вручную загружать в ЛК АУСН. Такая картина наблюдалась 2 месяца.

Обратившись в ФНС, нам сообщили что так делать нельзя - возможно задвоение информации и прочие технические проблемы.

Нами было принято решение отказаться от Т-Экваиринга в принципе. Сейчас платежи работают через сервер ЮКасса.

В связи с ситуацией, мы даем скидку 15% по промокоду BYEBYETINK на пополнение.

А теперь давайте о хороших новостях:

Последние дни наша небольшая команда тех. специалистов из трех человек активно работала над решением критических проблем сервиса, а также над добавлением нового функционала:

• Разработана полноценная тикет система для отдела поддержки Личном кабинете
С ростом аудитории оказывать поддержку через ТГ стало невозможно, а также замедление ТГ создавало дополнительные проблемы. Поэтому теперь поддержка оказывается сразу напрямую внутри личного кабинета. Ключевые данные и логи пользователя автоматически передаются агенту поддержки что значительно сокращает время решения проблемы по сравнению с ботом в телеграмме.

• Ускорили прогрузку логов и прочей статистики. Для этого мы перенесли логи с PostgreSQL на ClickHouse. Теперь даже для самых наших крупных клиентов, чья нагрузка составляет миллионы запросов в сутки, работа логов будет намного плавнее.

• Сменили ДЦ, изменили архитектуру сервиса, сейчас сервис работает в трех копиях. Так же было решено переезжать с Селектела после проблем с их облачным кластером БД.

В планах развернуть еще один кластер в Новосибирске / Иркутске для большей стабильности.

• А также рефакторинг бэкенда, и исправление ошибок.

Что сейчас в работе:

• Поддержка работы с видео моделями (пока что Sora-2)
• Расширение модельного ряда
• Улучшение и доработка онлайн чата.

Также мы работаем над функционалом для юридических лиц:

• Возможность регистрации как юр лицо
• Автоматическое формирование счета на оплату и зачисление баланса.

Штош. Литры кофе для нашей технической команды обернулись боком и мы немного упали.

Сейчас попытаемся разобраться в ситуации и поднять резервный сервер, пока основная часть команды спит.

upd. Сервер снова включен. Причина была в Redis сервере.

ИИ отчет по инциденту:

Что случилось В ночь с 10 на 11 марта мы провели плановое обновление инфраструктуры — перенос баз данных и кэш-сервера на новую платформу. В результате ошибки при миграции кэш квот и пользовательских данных не был перенесён корректно. Это привело к деградации: операции со счётом и квотами пользователей начали периодически завершаться с ошибками.

Ситуацию усугубил последующий сбой на стороне хостинг-провайдера — кэш-сервер дважды падал в течение дня. Во время второго отказа (с ~22:30 до ~23:25 МСК) сервис работал в деградированном режиме: запросы проходили, однако дашборд не отображал статистику.

Что мы сделали

В 12 марта в 09:44 МСК сервис был полностью перезапущен
Все компоненты работают в штатном режиме
Ведётся расследование причин нестабильности на стороне провайдера
Что будет сделано дальше

Добавим автоматический мониторинг и алерты на ключевые компоненты
Улучшим процедуру миграции данных, чтобы исключить подобные ситуации
Проработаем резервный сценарий на случай отказа провайдера

Наблюдаем проблему с подключением облачной бд

О проблеме уже знаем - команда занята ремонтом.

Сервис вернулся в рабочее состояние

Команда занимается изучением инцидента

В связи с стремительным ростом курса доллара мы вынуждены пересмотреть наш обменный курс. К сожалению, с оставаться с нашим старым курсом уже становится невозможно.

Актуальный курс на сайте = 79 рублей.

Курс будет обновлен через неделю - 26 марта, по актуальному курсу на этот день.

Последние дни наблюдаем перебои в работе API, проблема комплексная, ведем расследование.

О причинах сказать не можем в целях безопасности, если кратко - мы ловили «мусорные запросы» в огромном количестве которые перегружали уже вышестоящие каналы провайдеров.

Также усложнила ситуация пиковая нагрузка в последние дни - 1800 запросов в минуту, что превратило проблему в снежный ком, уронив нас, а потом и наших партнеров.

Есть ещё проблемы из-за агрессивного вмешательства ТСПУ, но здесь информации крайне мало. Проблема здесь больше из-за CF, но мы также работаем над механизмами и способами стабилизации проблемы.

Наша команда применила исправления, и расширила внутренний мониторинг, продолжаем следить за ситуацией.

Приносим извинения за доставленные неудобства.

Сетевые проблемы в ДЦ хостинг провайдера:

"Добрый день. В настоящий момент наблюдаются временные сетевые проблемы, рекомендуем ожидать восстановления, приносим извинения за неудобства."

upd. Восстановили работу сайта и API.

В связи с продолжительной нагрузкой на API, c 20 апреля размер базовой скидки будет уменьшен с 15 до 5% от официальных цен на модели.

Данное решение было принято для улучшения стабильности работы и снижения кол-ва перебоев.

Размер скидки на всех спец предложениях также будет пересмотрен пропорционально изменению размера базовой скидки.

Последние дни фиксируем деградацию работы дешевого канала Gemini.

К сожалению проблема масштабная - канал дешевого доступа к моделям работает с перебоями у нашего провайдера, сейчас работа восстановлена, но проблемы все еще могут встречаться.

Для большей стабильности добавили в Плюс дополнительные резервные каналы для тех, кому критична повышенная стабильность.

В целом цены еще сложно сдерживать, так как растут расходы на, средства получения доступа (Спасибо РКН за помощь бизнесу в РФ, глубокий поклон). При том чем больше пользователей - тем больше нагрузка на эти самые "средства", у которых трафик тоже тарифицируется.

Пока держимся как можем, но чем сильнее будут регулировать зарубежный трафик, тем сильнее придется нам индексировать цены вверх, закладывая расходы на все это дело.

Добавили в тестовом режиме поддержку gpt-image-2 в NeuroAPI

Пока модель доступна только в рамках тарифного плана Плюс, добавим в Стандарт когда на рынке появится больше вариантов получения доступа.

В нашем встроенном чате модель также появится позже.

Модель совершено не быстрая, время генерации на наших тестах достигало до 300 секунд.

Сегодня столкнулись с недоступностью одного их ключевых провайдеров доступа. Из за чего доступ в рамках тарифов Стандарт был недоступен.

Как оказалось, один из наших партнеров принял решение о закрытии бизнеса из-за нарастающего давления на рынке API ресейла и выключил доступ.

OpenAI, Anthropic и другие компании сейчас сильно урезают свои льготы для корпоративных ресейлеров, как и ряд других компаний, по причине нехватки ресурсов для инференса. К сожалению, все это в конечном итоге выражается в ухудшении стабильности льготных вариантов доступа.

В такой ситуации на рынке, и с учетом наших российских реалий, нам все сложнее и сложнее пытаться удержать и стабильность, и дешевые цены.

Поэтому, к сожалению, тариф Стандарт переходит на режим работы "как есть", это единственный способ не повышать цены на нем. То есть, в рамках данного тарифного плана мы не можем гарантировать аптайм и адекватную скорость ответа.

Для коммерческих и бизнес задач, а также для продакшена мы рекомендуем тариф Плюс, в рамках которого мы не используем льготных нестабильных каналов доступа к API.

РКН начал замедлять Alibaba CDN - уже деградировал доступ ко всем китайским моделям включая DeepSeek.

На следующей неделе будем думать над новыми механизмами стабилизации доступа - но пока картинка печалит.