👋 Как "навсегда" превратилось в 8 гигабайт... МылоРу обнуляет олдфагов.

Вспоминаю лохматый 2013 год... интернет был без ТСПУ, трава зеленее, доллар по 32, биток по 700, а МаилРу (в приступе щедрости) раздавала халявнай 1 ТБ в облаке. Бесплатно. И главное - НАВСЕГДА 🦻. Акция так и называлась... "Бесплатно и навсегда". Многие из нас тогда заполняли облако семейными архивами, образами и бэкапами.

И вот, несколько дней назад "НАВСЕГДА" наступило. Теперь бесплатный терабайт превращается... в дефолтные 8 ГБ. У потерпевших есть три месяца, чтобы выкачать свой терабайт обратно на локалхост, ну или занести в кассу за подписку косарь в первый год, два со второго 🤑

На всё это ТП тычет в лицуху (EULA), пункт 6.4.1... Лицензиар вправе в любое время изменять содержание сервиса.

Как метко подметили: "Ну так обещали в Mail.ru Group, а сейчас это уже VK".
Грамотно. Это как Сбер - когда надо праздновать юбилей, им 185 лет, а как спросишь про сгоревшие советские вклады - какие вклады, мы вообще другой банк! 🐒

Так что вспомним одну из главных заповедей нашего ИТ... твои данные существуют только там, где ты их физически контролируешь.

Типичный 🥸 Сисадмин

Быстро поднятое, упавшим не считается? 😬

Типичный 🥸 Сисадмин

🚨 Как один из крупнейших хостеров Рунета отстрелил себе сеть (и заодно DNS). Тотальный блэкаут Beget.

Утро понедельника для тысяч бизнесов и эникеев по всей стране началось с массового алёрта. Beget, который годами славился топовым аптаймом и ламповой поддержкой, совершил жесткое, неконтролируемое погружение на дно.

Около 2-3 ночи (МСК) у провайдера начинает сыпаться сеть. Сначала деградируют базы данных MySQL, затем отваливается панель управления, а к 8 утра легло абсолютно ВСЁ. Виртуальный хостинг, VPS, почта, панель управления, биллинг и DNS-серверы.

Саппорт открестился от хацкеров, вирусов, кинетических прилетов по ЦОДу и происков РКН:

Проблема носит комплексный характер и затрагивает все уровни архитектуры. Инженеры выполняют ручную настройку инфраструктуры непосредственно в дата-центрах.

Вероятнее всего это суицид SDN или фатальная ошибка маршрутизации. Кто-то глубокой ночью решил накатить небольшой патч 🎩 на автоматизацию SDN или обновить конфигурацию BGP на core-роутерах. В итоге скрипт отработал так хорошо, что маршрутизаторы отрезали сами себя и всю сеть от внешнего мира.
Удаленный доступ отвалился. Единственный способ всё починить - физически ехать в ЦОД, брать монитор + клаву + тележку, втыкаться в стойки руками и откатывать конфиги терминал за терминалом. Отсюда и отсутствие таймингов на восстановление.

Куча контор, которые держали сами сайты на сторонних дедиках в Европе или Selectel, сегодня лежат. Потому как домены они делегировали на NS-сервера Бегета. ДНС умер - маршрутизация до живых серверов остановилась ⚰️

Также мелькает инфа, что параллельно лихорадит Честный Знак. Совпадение? Когда падает инфра такого масштаба, каскадный эффект и перестроение маршрутов могут положить соседние узлы обмена трафиком.

Инженерам Beget желаю запаса кофэ, валерьянки и прямых рук 🤙

Типичный 🥸 Сисадмин

Кстати, этот факап вскрыл архитектурный урок ценой в миллионы...

Куча админов пишут примерно следующее... "У меня есть бэкапы. У меня есть резервный сервер. Но я ничего не могу сделать!" 😱

Все яйца в одной корзине.

Домены превратились в SERVFAIL. Физически не возможно переписать A-записи и направить трафик на резервный сервер. Клиенты в заложниках.

Типичный 🥸 Сисадмин

Мораль... разносите инфру. Просто раскидать NS по двум провайдерам - костыль, который лишит защиты от дудоса и утопит в рассинхроне записей. По уму DNS-зону держим на чистом Anycast DNS (в облаке Яндекса/VK 🙂 или у регистратора), фильтрацию трафика втыкаем поверх через CNAME, а бэкапы сливаем в изолированное S3-облако в другом георегионе (+физически под стол крайний случай). Тогда падение любого сервиса быстрофиксится одним переключением записи.

Если круче, имхо, то это уже ультра интерпрайз уровень с большими бюджетами.

Типичный 🥸 Сисадмин

К новому году небольшая премия накапливается ☕️
#предложка

Типичный 🥸 Сисадмин

#предложка
Нафармил за неделю аутсорса

Типичный 🥸 Сисадмин

"ну чтоб не выпадало" 🏥

Типичный 🥸 Сисадмин

👨‍🦳 Beget признал масштабный взлом.

Утром я грешил на пьяного девопса и кривой скрипт BGP. Беру свои слова назад... реальность оказалась куда прозаичнее - произошло уничтожение инфраструктуры извне.

Beget выкатил апдейт:

В ночь на 2 ноября наша инфраструктура подверглась массированной кибератаке... Настоящим ООО «Бегет» уведомляет клиентов о возникновении обстоятельств непреодолимой силы (форс-мажора) в соответствии с п. 3 ст. 401 ГК РФ

🟢 Дедики - поднялись.
🟡 NS-серверы обещают поднять в ближайшие часы.
🔴 Бэкапы и данные. Beget пишет: "Нам доступны ФАЙЛОВЫЕ резервные копии ПОДАВЛЯЮЩЕГО БОЛЬШИНСТВА ресурсов".

Во-первых, "подавляющего большинства", значит ли что чьи-то данные уже улетели в Вальхаллу с концами?
Во-вторых, "файловые". Про базы данных MySQL умолчали 🤔

Бегет отчитался, что поднял выделенные серверы (Dedicated), которые находились без их администрирования. Это подтверждает теорию, что проломили именно Control Plane - управляющую инфраструктуру, биллинг и гипервизоры. Походу те, кто брал голое железо и не пускал туда админов хостера, отделались легким испугом и отвалом сети.

Правило 3-2-1 написано кровью, и сегодня она пролилась рекой 🩸

Типичный 🥸 Сисадмин

А рили, что дыра в безопасности для ИТ-компании является форс-мажором? 🤔

Количество пофикшенных CVE в релизах ядра (сурс)

Linux / Линукс 🥸

Классика 🙂

Типичный 🥸 Сисадмин

Кнопка питания сломалась через 14 лет... быстрофикс 😎
#предложка

Типичный 🥸 Сисадмин

Сев на этот стул, можно познать дзен 👨‍🦳

Типичный 🥸 Сисадмин

👮‍♂️ Цифровая продразвёрстка...

Опубликован свежий Указ № 802, судя по всему происходит переход в режим ручного управления вычислительными мощностями Рунета.

Все частные коммерческие ДЦ теперь обязаны зарезервировать 10% своих площадей и вычислительных мощностей. По требованию новой подкомиссии владелец ЦОДа обязан отдать это железо государству. Тайминг на передачу 24 часа. Платить за аренду будут не по рыночному прайсу, а по предельному тарифу, который обозначит подкомиссия.

Еще бигтеху разрешили временно юзать вычислительные мощности за пределами РФ, в дружественных странах, но сделать это можно только по решению подкомиссии и согласованием ФСБ.

Таже назначена тотальная инвентаризация. Минцифры поручено провести учет свободных площадей и мощностей во всех частных ЦОДах страны. Каждый юнит будет учтён.

Типичный 🥸 Сисадмин

🔥 Пошли вторые сутки с момента падения инфры Beget.

Взгляните на график связности AS198610 (BEGET-AS)... выглядит кардиограмма пациента ⚰️ Это означает тотальное анальное огораживание. Инфру изолировали от внешнего мира на физическом уровне. И тут два стула... либо хацкеры грохнули ядро сети, либо сами админы дернули рубильник.

В паблике ВК Бегета счет идёт на тысячи комментов. Саппорт довольно плотно отвечает скриптом "Точных сроков нет, мы не отвлекаем инженеров, надеемся на понимание".

Сводка с полей вк:

🟢 NS-серверы частично и с дикими лагами, но начали отвечать. Те у кого сайты крутились на сторонних дедиках, а на Бегете висели только DNS-зоны, постепенно возвращаются в онлайн.
🔴 Домены. Панель управления (cp.beget.com) выдает 502 Bad Gateway. Если домен зарегистрирован через Beget, то ты в ловушке. Вы не можете ни поменять A/NS-записи, ни запросить AuthInfo-код для трансфера. Сотни админов сидят с готовыми локальными бэкапами, развернутыми на других хостингах, но физически не могут пустить на них трафик 😭
🟡 Почта работает в режиме зомби. В веб-морду пускает, SMTP/IMAP то поднимаются, то ложатся, старых писем в ящиках нет.
🔴 VPS и Shared-хостинг мертвы.
🔴 И самое страшное, что про бд MySQL/PostgreSQL саппорт продолжает молчать, упоминая только про наличие файловых копий.

Отдельный пожар полыхает вокруг ссылки саппорта на 401 статью ГК РФ (форс-мажор из-за кибератаки). Юристы уже всплыли в комментах. Доказать в суде, что дырявый периметр IT-компании или отсутствие изолированного контура управления - это "стихийное бедствие непреодолимой силы", будет... весьма увлекательно.

Домен у Бегета + NS у Бегета + VPS у Бегета + автоматические бэкапы на диске Бегета

А ведь такая архитектура казалась удобной, монолитной и дешевой... многие сейчас познают прелести единой точки отказа.

Типичный 🥸 Сисадмин

⚰️ Beget подтвердил уничтожение инфраструктуры.

Утренняя теория про смерть Control Plane подтвердилась на 100%, цитата:

Кибератака с получением доступа к управляющему контуру всей архитектуры и последующим запуском обнуляющих скриптов.

Хакеры всё вайпнули.

🔴 Облачная инфраструктура (VPS, S3, Kubernetes) - УНИЧТОЖЕНА.

В облачной инфраструктуре все данные были утрачены. К сожалению, бинарные бэкапы VPS полностью утеряны.

🟡 Виртуальный хостинг жив, но в коме.
Обещают спасти почти 100% сайтов. Но есть нюанс... чтобы поднять хостинг, нужно вручную проверить более 1000 серверов на предмет закладок, бэкдоров и рут-китов.

🟢 Дедики выжили.
Если брали голое железо и не пускали туда админов хостера, то скрипт с вайпом до вас не дотянулся. Сервера уже в сети.

🟢 Для доменов и DNS подняли костыль.
Выкатили отдельную emergency-панель (domains.beget.ru), где можно сменить DNS-записи (A, MX, TXT) и направить трафик на другие хостинги. Буквально час назад туда добавили и международные домены (раньше были только .ru/.рф).

Также Бегет пишет:

Мы видим, что попыток скачать данные не было... НО мы рекомендуем сменить все пароли и ключи доступа

Типичный 🥸 Сисадмин

Я паутил, паучу и буду паутить
#предложка

Типичный 🥸 Сисадмин