Фиксируем повторную DDoS атаку...
—
Observing repeat DDoS attack...

Наблюдаем сетевую недоступность услуг в Германии. Инженеры датацентра уже изучают.
UPD: Проблемы у вышестоящего оператора связи, который обслуживает трафик в NL и DE.
—
Observing network disruption in Germany. Datacenter engineers are already working investigating.
UPD: Uplink carrier having issues, who provides connectivity services in NL and DE.

По информации от поставщика услуг датацентра причина в ограничении доступа к стойкам без предупреждения. Предварительная причина - юридическая. Разбираемся.
Приносим извинения за предоставленные неудобства.
—
According to the datacenter service provider, the issue was caused by an unexpected restriction of access to the racks. The preliminary reason appears to be legal. We are investigating.
We are sorry for the inconvenience provided.

На данный момент нет большого количества новостей.
Готовимся к переезду в другой датацентр. Краткая история: поставщика услуг преследует новостной фон, из-за которого датацентр решил в одностороннем порядке ограничить доступ к оборудованию. Насколько видим, несколько других хостинг-провайдеров также столкнулись с этим.
Для всех услуг будет добавлена компенсация как только запустим все услуги.
—
We don’t have a lot of news here yet.
Preparing for a migration to another data center. Brief background: the service provider is dealing with negative press coverage, due to which the data center decided to unilaterally restrict access to the equipment. As we can some other hosting providers are also dealing with the same issue.

Compensation will be added to all services as soon as we start all services in both regions.

Затрагивает только NL и DE. Другие локации не относятся к поставщику.
—
Affects only NL and DE regions. Other locations are not related to the datacenter services provider.

Наблюдается недоступность услуг в Финляндии. Уже получили подтверждение от датацентра, инженеры занимаются решением.
—
There is a service outage in Finland. We have already received confirmation from the data center, and engineers are working to fix.

Запускаем сервисы в Финляндии. Причина: повышенная нагрузка электропитания в датацентре. Коллеги уже запланировали увеличение общей мощности.
Компенсация будет начислена для всех услуг в течение 24 часов.
Приносим извинения за предоставленные неудобства.
—
Starting services in Finland. Reason: increased power load at the data center. Colleagues have already planned an increase in total capacity.
Compensation will be credited for all services within 24 hours.
Sorry for the inconvenience.

Получили уведомление о том, что вывоз оборудования запланирован на начало рабочей недели. После вывоза будет произведена установка в другом датацентре.
После подключения и проверки работы всех систем будет произведена компенсация для всех пользователей в локациях NL и DE.
Добавим сразу 1 месяц с актуализацией даты продления.
Приносим извинения за предоставленные неудобства.
—
We received notice that the equipment migration is scheduled for the beginning of the workweek. After migration, the equipment will be installed in another data center.
Once everything is connected and all systems have been checked, compensation will be provided to all users in the NL and DE locations.
We will add 1 month immediately, with the renewal date updated accordingly.

Немного обновлений: позавчера запустили порядка 40% услуг в Германии. Сегодняшней ночью ожидается полный запуск всех серверов в DE.
Нидерланды в процессе, остался последний вопрос с сетевой частью после переезда. IP адреса и данные не затронуты.
—
A few updates: the day before yesterday we brought up around 40% of services in Germany. Tonight we expect a full launch of all servers in DE.

The Netherlands is in progress — there’s one last task remaining on the networking side after the move. IP addresses and data are unaffected.

100% услуг в Германии запущены после переезда в другой датацентр. До начисления компенсаций операции в личном кабинете (старт/стоп и тд) пока что не будут выполнять какие-либо действия с самой услугой.
—
All services in Germany are back online after the migration to a new data center. Until compensations are credited, dashboard actions (start/stop, etc.) will not take effect for now.

Запускаем все сервисы в локации Нидерланды. Наибольшая часть услуг уже запущена.
—
Starting all services located in Netherlands. Most of them already started.

Начислили компенсации для всех услуг в NL и DE. Помимо компенсации за время простоя мы начислили +1 месяц для всех услуг (да, за наш счет).

Из-за резкого выключения питания нашли некорректную работу компонентов на 2 вычислительных узлах в NL, поэтому если Ваш сервер ещё не поднялся, то это как раз связано с этим. Мы уже в процессе замены и начислим дополнительную компенсацию.
—
Compensation has been credited for all services in NL and DE. In addition to the downtime compensation, we have credited +1 month for all services (yes, on us).
Due to the abrupt power outage, we found components malfunctioning on 2 compute nodes in NL, so if your server hasn't come back online yet, this is exactly the reason. We're already in the process of replacing them and will credit additional compensation.

Рассказываем что произошло в NL/DE или "приключение на 20 минут, вошли и вышли".
- 2 июня: с разницей в 30 минут отключаются локации. Никакой ясности нет, явно что-то не так;
- К вечеру получаем сообщение, что датацентр nLighten по собственной инициативе обесточил всё оборудование и заблокировал доступ к серверным шкафам. Деталей очень мало;
- Деталей по-прежнему очень мало. Спустя несколько дней получаем сообщение, что процесс сдвинулся с мертвой точки, планируют назначение даты выгрузки оборудования;
- С 15 июня происходит выгрузка, миграция в другой датацентр;
- Сотрудники нового поставщика, к которому мы перевезли оборудование, не были готовы к проведению большого количества работ, что вызвало длительную задержку. В связи с этим было принято решение экстренно ехать сначала во Франкфурт-на-Майне, а затем и в Нидерланды для завершения работ своими силами.
20ого числа прибыли в Нидерланды, забрали нужные компоненты со склада и прямой дорогой отправились во Франкфурт. Дорога заняла примерно 5 часов на машине с минимальными остановками. В ночь с 20 на 21 июня запустили все сервисы в Германии как и обещали.
- Обратный маршрут был в Нидерланды. Согласовали пропуск в датацентр, подготовили все необходимое и также оперативно завершили работы с выявлением сломавшихся компонентов из-за резкого выключения питания и последующим запуском всех вычислительных узлов.
- Более 10 часов перелетов, 1500 километров дороги для финального решения всего инцидента.

Что стало причиной: доподлинно неизвестно, предварительно это беспрецедентное решение руководства сети датацентров nLighten на фоне заявлений журналистов про компанию Mirhosting, которая занимается сопровождением IT-инфраструктуры. К слову, Mirhosting на всем протяжении безупречно выполняли поставленные задачи и отличались высокими компетенциями. Сложно назвать произошедшее чем-то кроме поспешно сделанных решений, которые повлекли за собой последствия.

- Потери данных? Все данные за исключением одного гипервизора в полной сохранности. По нему все ещё ведется работа.
- Компенсации: начислено 22 дня + 1 полный месяц для всех услуг Германии и 25 дней + 1 полный месяц для всех услуг в Нидерландах.
- Выводы из всей истории: беспрецедентная непростая ситуация, по которой сложно было принять правильные решения ввиду абсурдности и очень малого количества деталей произошедшего. Потихоньку будем формировать дополнительные площадки в тех же странах, чтобы дать возможность создать услугу на разных площадках, но в той же стране.

Была проблема в Финляндии, по предварительной информации связана с грозой. Запускаем все сервисы.
Приносим извинения за неудобства.
—
Observed an issue in Finland, initially reported by datacenter as related to thunderstorm. Restarting all services.
Sorry for the inconveniences.

HI-CPU 9950X в Финляндии. Скоро.
—
HI-CPU 9950X in Finland. Soon.

UP, возможно что-то со стороны сетевого оборудования у вышестоящего оператора.
—
UP, probably caused by network hardware issues of the uplink provider.