🤙 Ручное управление отменяется... в Yandex Cloud легла сама консоль (во всех зонах разом)

В 13:58 Яндекс выкатил новое оповещение: "Частичная недоступность сервисов Yandex Cloud Console".

Затронуты сразу все зоны: ru-central1-e, a, b, d.

Походу управляющий контрол-плейн захлебнулся под лавиной запросов 🤔

Типичный 🥸 Сисадмин

БУДУЩЕЕ. СЛУЧИЛИСЬ ТЕ САМЫЕ СОБЫТИЯ
@
ТЫ УШЕЛ В ЛЕС И ПИТАЕШЬСЯ КОРЕНЬЯМИ, ЗАБЫВ КАК ВЫГЛЯДИТ JSON
@
ДРОНЫ-ОХОТНИКИ ПАТРУЛИРУЮТ ЛЕС ДНЯМИ И НОЧАМИ, НО ИХ ОПТИКА И ЛИДАРЫ ТЕБЯ НЕ ВИДЯТ
@
ТЫ ИДЕАЛЬНЫЙ СУРВИВАЛИСТ, ТЫ ПОЗНАЛ ДЗЕН И СЛИЛСЯ С ПРИРОДОЙ
@
И ТУТ ТВОИ УМНЫЕ ЧАСЫ XIAOMI, КОТОРЫЕ ТЫ ЗАБЫЛ СНЯТЬ 5 ЛЕТ НАЗАД И У КОТОРЫХ ВНЕЗАПНО ОТ ТЕПЛА ТЕЛА ОЖИЛА БАТАРЕЙКА...
@
...НАХОДЯТ ПРОЛЕТАЮЩИЙ МИМО ДРОН ПО БЛЮТУС ЛОУ ЭНЕРДЖИ
@
...И СЛИВАЮТ ЕМУ ТВОЮ ГЕОЛОКАЦИЮ, ПУЛЬС И КАЧЕСТВО СНА ЗА ПОСЛЕДНИЕ 40 000 ЧАСОВ В ОБМЕН НА ОБНОВЛЕНИЕ ПРОШИВКИ
@
ПОЛУЧАЕШЬ РАКЕТОЙ ПРЯМО В ДУПЛО
@
А ПОТОМУ ЧТО ПРАВИЛА ЛИЦЕНЗИОННОГО СОГЛАШЕНИЯ НУЖНО БЫЛО ЧИТАТЬ

Типичный 🙂 Сисадмин

🌎 Яндекс к ночи на воскресенье...

🟢Веб-консоль Yandex Cloud Console оживили, кнопки снова нажимаются.

🔴Зона ru-central1-b мертва без изменений... третьи сутки подряд. Первая линия поддержки Яндекса мутировала в советский распределитель дефицита 👾. Инженеры вручную читают каждый тикет и в индивидуальном порядке решают, кому выдать ядра и объемы диска, а кто потерпит.

Утром мы перешли на полностью ручное управление квотами на вычислительные ресурсы и диски. Специалисты технической поддержки разбирают каждую ситуацию вручную...

Следующий сеанс связи отложен до полудня воскресенья.

Типичный 🥸 Сисадмин

💥 Эпоха суверенного облака ВСЁ? Третий пошел... Владимирский дата-центр Яндекса остановлен после прилета.

Еще недавно мы мрачно шутили, что у Яндекса остался последний серьезный нетронутый оплот во Владимире и если прилетит туда - наступит цифровой каменный век? Шутка прожила ровно 48 часов. В воскресенье утром появляется алёрт:

...дата-центр Яндекса во Владимире поврежден атакой БПЛА, его работа ПОЛНОСТЬЮ остановлена.

Сасово (ru-central1-b) сгорело в четверг, Калугу (ru-central1-d) ополовинило в пятницу, Владимир (ru-central1-a) заглушен в воскресенье. Три опорных дата-центра национального бигтеха за четверо суток ⚰️

А вместе с владимирской площадкой окончательно погас Галушкин - последний из тройки легендарных суперкомпьютеров Яндекса (Червоненкис и Ляпунов пострадали еще в Сасово). Весь топовый суперПКшный флот страны, годами штурмовавший мировой рейтинг TOP500 буквально за выходные выпал.

😱 А самая жопа вот в чем... Яндек пишет:

Оставшуюся конфигурацию ресурсов считаем неустойчивой. Режим работы платформы является аварийным — рекомендуем задействовать любые другие альтернативные планы по аварийному восстановлению

Облако мертво, кворума нет, спасайтесь кто может.

Что сейчас еще трепыхается на остатках мощностей в раненой Калуге и Мытищах... выглядит это как сводка из реанимации:
🟢Базы данных в коме... из-за физической потери двух зон из трех большинство HA-кластеров словили split-brain. Те базы, что чудом не развалились, намертво заблокированы контрол-плейном в режиме ридонли.
🟢S3 Object Storage при смерти... запись новых объектов встала колом, кластер с трудом отдает только старые блобы на чтение.
🟢Кубер... региональные кластеры, чьи мастера etcd хотя бы одной ногой стояли во Владимире или Сасово, превратились в пустоту без возможности восстановления конфигурации.
🟢Каналы поддержки Яндекса… упали сами. Статус-борд обновляется с задержками, тикетница задохнулась, достучаться до инженеров невозможно.

Жопа лютая. Яндекс за 4 дня сложился... 🤙

А сейчас вообще больно... патформа лишилась флагманской AliceAI Pro, распознавания документов OCR, аналитики SpeechSense и векторного Retrieval API - из генеративки на искусственном дыхании остались лишь урезанные легковесные флеш-модели. Стек ИБ выкошен под корень... собственный SIEM, аудит-логи и мониторинг угроз YCDR светятся мертвым красным кружком. Систему больше некому и не на чем даже защищать.

Это тектонический финал целой эпохи. За 96 часов на наших глазах в пыль рассыпался красивый миф о том, что модные микросервисы, георезерв и программные абстракции способны пережить физическое уничтожение наземных ангаров.

З.Ы. В четверг Яндекс учил нас переносить нагрузку в соседние зоны. В пятницу - советовал брать дедики Bare Metal и бежать по промокоду к конкурентам. В воскресенье - признал, что платформа неустойчива и спасения нет.

Кажется, скоро наступит то самое время, о котором я шутил в бугурт-тредах... выдергиваем патчкорды, достаем дискеты и учимся выживать в лесу.

Помянем усопшие кластеры не чокаясь 🍺

Типичный 🥸 Сисадмин

🔥 Рунет уходит в 429 Too Many Requests, а до национализации Яндекса осталось… 3… 2…

Как прозорливо ванговал верный подписчик Михаил еще две недели назад (да даже больше)... "Осталось две недели... вы не слушали!" - всё, пацаны, IT'S OVER. Пророчество сбывается. После того как во Владимире погас последний опорный ДЦ начался инфернальный паралич всего потребительского сектора страны 😭

Взгляните на графики мониторингов... это выглядит как клиническая смерть. За Яндексом в братскую могилу улетела половина розничной экономики:

🟢Яндекс Еда в Москве тупо не показывает рестораны, заказчики сосут лапу, курьеры сидят на бордюрах. Вкусно и тошка с Магнитом синхронно легли рядом.
🟢Такси отваливаются, в Москве, Сибири, Владивостоке, в Армении, Сербии, Беларуси и Казахстане пользователи видят ошибку "001-429: Попробуйте через 5 минут" и пустые серые полигоны вместо карты.
🟢Яндекс Пэй схватил инфаркт, заблокировав доступ к деньгам на кассах. Не работают Fix-Price, Flowwow, фитнесы DDX, Спортс и даже серверы War Thunder с Россельхознадзором.

Вся цифровизация оказалась привязана к трем советским заводам в радиусе трехсот километров от МКАДа. И когда эти три площадки поймали маслины, внезапно выяснилось что ты не можешь ни вызвать колёса, ни хлопнуть бургера, ни сходить в качалку... микросервисы схлопнулись в одну черную дыру.

И на этом фоне вспомним свежий указ №604, который разрешает вводить временное госуправление над объектами КИИ. Повод-то сходится идеально... не осилил защиту от БПЛА, пролюбил киберустойчивость и допустил критический даунтайм.

Как думаете, сколько часов непрерывного паралича нужно, чтобы признать руководство компании "не справившимся с защитой инфраструктуры" и передать Яндекса на баланс какого-нибудь суверенного ФГУПа?

А зима близко... шуршащий наличный кэш и дрова звучат уже не так бредово 😬

Типичный 🥸 Сисадмин

😶 Преставьте... просыпаетесь и видите вот такой статус сервисов у себя в конторе. Ваши действия?

Типичный 🥸 Сисадмин

Запомните этот скриншот, камрады. Могут быть дежавю 🔫

Деньги в безопасности... это главное.

Цифровизация vs дрова.

Типичный 🥸 Сисадмин

🙂 "Все наладится, если железо живое" - оптимисты из комментов.

В комментах под прошлыми постами промелькнула наивная мысль, мол, "сисадмин разошелся, если серверы физически целы, то всё не так плохо, нужно просто время, и всё наладится".

Во-первых, про живое железо. На дворе пошли четвертые сутки аварии (96+ часов даунтайма). В промышленном ДЦ класса Tier III такое время простоя бывает ровно в одном случае - когда площадка физически перестала существовать как функционирующий инженерный объект. Когда на крыше полыхает и рушатся перекрытия, серверы не мирно спят в ожидании ЭЭ. Если в машинный зал не прилетел прямой огонь, туда вполне могло затянуть тонны копоти через вентиляцию фрикулинга, либо стойки от души залило пеной и водой тушения. Для высокоплотной электроники и оптических трансиверов на 400G мелкодисперсная сажа - это приговор ⚰️ ... токопроводящий налет вызывает микроКЗ и коррозию дорожек материнок даже после сушки.

Во-вторых, даже если взять старое железо A100, на которых собирались суперкПК Яндекса, плашки памяти и NVMe. То из-за глобального лютого спроса на ИИ всё подорожало в два, три, пять раз. Фабрики забиты контрактами на годы вперед.

А теперь наложите на этот глобальный дефицит суверенные реалии... санкции, экспортный контроль и серый импорт через тридцать казахских и дубайских прокладок, каждая из которых накручивает свой конский процент за риск. Купить и скрытно привезти тысячи топового железа сейчас не столько дорого - сколько логистически нереализуемо в разумные сроки. Да и рынок б/у энтерпрайза выгребли подчистую... даже если бабло есть, то где взять железо 👎

Поэтому иллюзия, что скоро всё само починится, разбивается о пустоту складов. В любом случае важны реальные данные об ущербе, но их в паблике пока не видно.

Типичный 🥸 Сисадмин

🌎 Новый анонс от Яндекса

Инцидент переименовали в "Недоступность зон Yandex Cloud"... обращаю внимание, что уже во множественном числе. Новых изменений нет, выдача любых дополнительных ресурсов заморожена.

Следующий сеанс связи перенесли на 18:00 по мск.

Типичный 🥸 Сисадмин

Иппона мама 🏥

Когда хотел насладиться моментом с плёночкой, а отклеилось стёклышко.

Типичный 🥸 Сисадмин

👨‍🦳 А ведь завтра наступит понедельник...

За окном незаметно подкрадывается вечер воскресенья. Завтра ровно в девять утра весь этот инфраструктурный факап перекочует в офисы реальных контор... менеджеры приходят на работу, тыкают в ярлыки - а там тишина. У главбуха 👩‍🦰 что-то не открывается, в отделе продаж висит CRM, склад не может выгрузить накладные, S3 не отдает картинки на сайт, платёжки застревают.

Если кто админит среднюю контору, чей бизнес хотя бы наполовину завязан на публичные облака, то не упустите завтрашнее утро. Не надо ждать, пока дирик сам прибежит. Надо самому зайти и на пальцах разложить ему реальность. Что нужен блан Б, что держать весь критический прод у одного внешнего провайдера - игра в рулетку. Что простой в 4 суток обходится конторе дороже, чем любая резервная серверная стойка.

Да, железо сейчас стоит конских денег, но его можно достать, чтобы запилить локальный холодный резерв в собственном офисе, на которыё регулярно (с тестированием) разворачивать актуальные копии критических баз.

В этом всём главный интерес для рядового админ - здоровый сон. Ведь одно дело - сидеть сутками в тикетнице ТП чужого ЦОДа, выпрашивая ядра. И совсем другое... просто в час Хэ подойти к собственной стойке, переключить локальный DNS на офисный тазик и спокойно пойти пить чай, зная, что бухгалтерия выставит счета, а склад всё отгрузит.

Каждая контора уникальна, но ИМХО, начать этот разговор завтра - вопрос важный. Чтобы потом не было мучительно больно пояснять диру, почему его компания легла ⚰️

Конечно же есть и чудо - вдруг к понедельнику всё поднимется, но за понедельником будет новый понедельник 🍺

Типичный 🥸 Сисадмин

Когда всю жизнь топил за физические сервера в конторе и думаешь, что утром в понедельник тебя так будут встречать...

... но никто тебе даже спасибо не скажет 🎩

Типичный 🙂 Сисадмин

Два коммента выше это буквально ветхозаветный срез всего нашего ИТ..

Один доказал свою правоту ценой нервов и репутации душнилы, второй совершил сисадминский подвиг, перетащив терабайты прода между облаками, чтобы в итоге получить контрольный в голову от теории вероятностей ⚰️

Коллективный админский разум улья молча обнимает обоих. Первого - с горькой ухмылкой бывалого эникея, второго с пачкой валидола и вызовом бригады санитаров 👨‍🔬 Ибо нет на свете зрелища прекраснее, чем сисадмин, познавший абсолютную тщетность бытия.

Типичный 🥸 Сисадмин

А вдруг крах облачных монополий наконец-то запустит целительную децентрализацию и вернет к жизни независимый бизнес.

Согласитесь, было довольно лампово в условном 2007 году, где каждый малый бизнес - сам себе ДЦ.

Типичный 🥸 Сисадмин