Ещё и первое сломал 🤙

Типичный 🥸 Сисадмин

🔮 В одной из прошлых контор у нас творилась мистика... стабильно в районе 17:55 серваку могло поплохеть, но рандомно - сервер мог упасть, а мог и не упасть. Но чаще всё-таки падал.

Разгадка оказалась максимально аналоговой. Выяснилось - вечером начальник в серверной переодевался из костюма в джинсы и рубаху. Костюм на плечиках вешал на такие удобные ручки по бокам сервака. Пиджак плотным слоем перекрывал приток воздуха для железа, которое стояло в стойке чуть ниже. И если начальнег в этот день никуда не спешил и натягивал джинсы слишком медленно, то серв улетал по перегреву 🔥
#предложка

Типичный 🥸 Сисадмин

Когда ну очень хочешь стол для работы стоя 🤩

моя кибердека

У меня такое было на дешёвых свитчах каких-то - при физическом переподключении они херили кеш таблицы ARP, и связи не было, пока от роутера не проходил регулярный опрос по протоколу ARP.
#предложка

Типичный 🥸 Сисадмин

🔥 Прилетело по ДЦ VK под Питером... пятый пошел.

Речь идет о легендарном ЦОДе в Ленобласти, который строили еще при Дурове в начале десятых. Этот ДЦ знаменит тем, что именно туда когда-то привезли магистральный маршрутизатор Cisco ASR 9000 с серийным номером 001 - первую в мире коммерческую инсталляцию этой железки. Здесь физически крутятся медиа-хранилища, кэширующие прокси, стриминг VK Музыки и инфра VK Cloud.

На ЦОД совершена атака, сервисы доступны в обычном режиме.

Мониторинг NetBlocks зафиксировал, что связность автономной системы VK проседала со 100% до 56% от обычного уровня. Одновременно с этим пользователи массово жаловались, что в ВК отвалилась отправка сообщений, посыпались профили, треки в VK Музыке встали на буферизацию... локальный CDN умер, и клиентам пришлось тянуть кэш из других регионов, перегружая оставшиеся магистрали.

Напомню, что примерно неделю назад Яндекс, хороня свои сгоревшие зоны доступности, рассылал клиентам:

Эвакуируйтесь к проверенным партнерам, в том числе в VK Cloud

Представьте лицо админа, который только перетащил базу из Сасово на серверы VK, и в воскресенье утром обнаружил, что резервная гавань сама принимает участие в турнире по пожарной безопасности 😶

Типичный 🥸 Сисадмин

🚨 АХТУНГ, ГОСПОДА АДМИНЫ!

В популярнейшей панели VMmanager 6 нарисовалась критическая уязвимость. Первыми под раздачу попали FirstVDS. Злоумышленники пробили инфру хостера и пошли гулять по виртуалкам клиентов, как у себя дома.

Жопень действительно знатная, масштабы пиздеца пока только вырисовываются.

Судя по всему, хакеры получили полный доступ к файловым системам затронутых виртуалок. А это значит, что утекли бд, конфиги, SSH-ключи, API-токены от внешних сервисов и бэкапы.

Главный ахтунг в том, что патча НЕТ. Идентификатора CVE - НЕТ. Дыра есть, эксплойт, судя по всему, гуляет где надо, а VMmanager 6 крутится далеко не только у FirstVDS. Так что если ваш хостер сидит на шестой ветке этой панели, то вы под ударом.

План спасения:

1️⃣ Чекните почту и тикеты. FirstVDS уже рассылает письма счастья тем, чьи ноды точно зацепило. Если письма нет - выдыхать рано. Хостер сам говорит, что это значит лишь то, что пока следов на вашем серве не нашли.

2️⃣ Считайте, что ваша виртуалка скомпрометирована. Меняйте пароли от рута, обновляйте SSH-ключи, перевыпускайте API-токены от облаков, тг-ботов, платежек и баз данных.

3️⃣ Разумно снимать свежие дампы и лить их на внешнее независимое хранилище (S3, другой хостер, домашний NAS - пофиг). Если храните бэкапы на соседнем диске того же хостера - вы сами знаете, кто вы.

4️⃣ Курите логи. Ищите любые левые коннекты, непонятные процессы в top/htop и странные кронджобы.

Достаем бубны.

Типичный 🥸 Сисадмин

Оригинал письма.

Типичный 🥸 Сисадмин

Терминал для возрождения Фидонета 😬

Типичный 🥸 Сисадмин

👽 Вечерний философский оффтоп. Как мексиканский нейрофизиолог пытался хакнуть гипервизор вселенной.

Был такой мексиканский доктор наук Хакобо Гринберг. И в лохматых 80-90-х годах он выкатил теорию, суть которой: наш мозг в текущей архитектуре это просто тонкий клиент. Он физически не видит реальный мир. Он лишь принимает входящий зашифрованный трафик из некой глобальной матрицы, пропускает через кривые био-драйвера и рендерит в голову привычное нам восприяние с физикой, цветом и звуком. Всё вокруг нас это результат работы локального компилятора.

И отсюда Гринберг сделал логичный вывод... если переписать конфиги восприятия и снять ограничения по частоте работы мозга, можно получить root реальности 👾

В один прекрасный день декабря 1994 года ученый просто выпал из сети. Либо чувак всё-таки подобрал эксплойт, достучался до ядра и вышел из песочницы... либо архитектры матрицы забанили его за несанкционированный пентест и попытку эскалации привилегий.

А глядя на то, куда мы катимся сегодня - становится не менее крипово. Мы сами прямо сейчас пилим матрицу внутри своей матрицы.

Рано или поздно аппаратный зазор опять пропатчат, релиз выкатят в прод, и мы опять забудем, на каком слое абстракции находимся.

З.Ы. Рискнули запустить эксплойт, если бы нашли баг в физике? Или лучше сидеть в уютной песочнице?

Типичный 😎 Сисадмин

👨‍🦳 Легаси...

Тысячи лет назад древний человек просто натянул первый слой абстракции... придумал сказки, мифы и богов, чтобы хоть как-то задокументироваться и не сойти с ума от хаоса вокруг. Потом объявили эти костыли истиной, а исходники утеряли - сказки подменили истину. Поверх сказок накатили деньги, власть, мораль и интерфейсы... получилась обёртка на обёртке, докер внутри виртуальной машины, запущенной в эмуляторе.

Затем захардкодили всё это в фундамент мышления и теперь живём по этим кривым скриптам. Чистое легаси, прям как в обычной средней ИТ-конторе... фикс прижился, документацию потеряли, а авторы костыля давно умерли или уволились.

Живём на десятом уровне абстракции внутри бага, который все считают фичей.

Типичный 👨‍🔬 Сисадмин