IT_WORKS | ORG
21 subscribers
61 photos
48 videos
67 links
It works!

SQL.RU
Форум: https://nosql.ru/forum/
Форум: https://resql.ru/forum/

Группа: t.me/it_works_org_grp

Общение участников SQL.RU, NoSQL.RU, ReSQL.RU
Download Telegram
Перезагрузки серверов. Недоступность форумов примерно час
Что-то сломалось где-то. Оба сервака недоступны. Где-то в пол пятого, наверное.
Что-то с Интернетом. Сервера недоступны.
Что-то еле шевилится форум. Что опять то.
После 12 где-то, может позже, буду всё выключать и включать заново. Непонятная проблема с I/O. Почти никуда не могу зайти на виртуалки, только через консоль гипервизора.
Технические работы на серверах форумов в выходные дни.

Запланирована миграция на новые серверы:
1. 1 - 2 января - резервное копирование виртуальных машин и архивов. Основная сложность - нужно скопировать ВМ в несколько мест, что долго, так как они сравнительно большие. Влияния на сервис не ожидается.
2. с 3 января непосредственно миграция 2-х серверов поочерёдно. Параллельно миграция с RAID5 на RAID10. Все процедуры деструктивны для данных. Если все запустится с первого раза, то опять же, основная сложность - обратное копирование ВМ. 3 января планируется перенести 1 сервер.
3. Если не возникнет сложностей с пунктом 2, то далее перенос 2-го сервера.

Таким образом, недоступность форумов с 3 января. Точные сроки восстановления работоспособности сказать не могу.

Чек лист:
1-2 января
- резервное копирование ВМ на СХД и локально скачать себе, и архивов (дампы БД, данные, конфигурации)
С 3 января
- перевод форумов в архивный режим, выключение виртуалок. Резервное копирование двух ВМ: сервер приложений и СУБД (для сохранения данных за 1 - 2 января) на СХД
- переставляем диски из первого сервера в новый сервер
- включаем гипервизор, смотрим, что работает и что не работает. Ошибки в логах, доступность сети, iLO, интерфейс управления. Тестовый старт виртуалок и проверка работоспособности.
- удаляем виртуалки с первого сервера, удаляем сторэдж
- перегружаемся, удаляем том RAID5 и создаём том RAID10
- создаём сторэдж в гипервизоре
- восстанавливаем с СХД виртуалки и проверяем работоспособность
- аналогичные действия со вторым сервером
- общая проверка работоспособности и донастройка под новые ресурсы
- возвращение сервисов в работу

При необходимости дополню и скорректирую чек-лист. С 3 января информировать буду в Телеграмме.
Мне нужно рестартовать СУБД для:
- сброса счётчиков статусных значений Маши
- включения тумблера performance_schema = ON для выявления запроса, создающего временные таблицы в памяти

После включения тумблера, предполагаю, деградацию производительности, так как Маша начнёт логировать запросы.
Применяю патч 2.0.60. Пока на двух форумах, архивный дедофорум и ресруль. Заодно, может, оптимизацию проведу. Мне нужно, чтобы на форумах никого не было, так что придётся врубить ослуживание. По времени - хз, сколько оптимизация будет. + там в птче запрос к БД на удаление кое-чего, он не быстрый. Ну заложим до 2 часов дня.