Когда контора экстренно съезжает из арендованного офиса... ночью 🏃‍♀️
#предложка

Типичный 🥸 Сисадмин

👨‍🦳 Вечерняя порция от Яндекса...

Только к вечеру второго дня в облаке появилась "возможность переносить управляющие компоненты k8s и удалять хосты из зоны ru-central1-b". Всё это время распределенный консенсус etcd и репликации ждали ответа от превратившейся в угли ноды в Сасово, блокируя любые операции по управлению... нельзя было ни сменить конфиг, ни добавить пользователя, ни накатить миграцию.

Яндекс сообщает, что нейросети работают штатно, но добавляет: "сохраняются некоторые особенности работы моделей DeepSeek, связанные с размером контекстного окна". ИМХО, походу кластеры с топовыми ускорителями частично подгорели, видеопамяти под гигантский KV-кэш не хватает, и чтобы сетка не вылетала в аут оф мемори, ей подрезали память на лету. Вчера у тебя была умная модель с длинным контекстом, а сегодня - чуть склеротичный ИИ.

Из позитивного... S3 Object Storage починили и тайминги на запись вернулись в норму. Сторадж перестал задыхаться, а вот разгребать последствия контуженного кворума и общаться с амнезийным дипсиком предстоит еще долго.

Типичный 🥸 Сисадмин

🤖 OPS Talk by Sber: узнай, как AI меняет сопровождение

Собираем инженеров сопровождения, SRE и DevOps, чтобы обсудить, что реально происходит с AI в эксплуатации и какие практики у нас есть уже сегодня.

Вместе со спикерами из Сбера, Т-Банка и СберТеха поговорим про:

🔘AutoHealing и автоматический откат релизов;
🔘AI-агент в observability, который вырос до 10k пользователей;
🔘DB Advisor в PV Kintsugi, или как организовать работу с моделью, чтобы её ошибка не становилась решением инженера;

А еще пообщаемся в непринужденной обстановке после деловой части.

Сбор 19 октября в 18:00 на welcome-кофе
Офис Сбера на Кутузовском 32 + онлайн

Регистрируйся, пока места ещё есть!

👮‍♂️ Ситуация без изменений... отвалившаяся зона ru-central1-b уходит на выходные.

Ночной статус-апдейт от уложился в несколько строк:

Ситуация с доступностью зоны ru-central1-b пока остаётся без изменений. Наши инженеры продолжают круглосуточные работы по устранению последствий инцидента и восстановлению сервисов. Следующий апдейт дадим 10 октября в 12:00 мск.

Взята пауза более чем на 12 часов. И без прочих слов понятно насколько там всё фатально. Чуда не произошло... к исходу вторых суток оживить площадку не удалось даже частично.

Плюс сбоит Алиса:

Часть функций Алисы AI в чате временно недоступна, ответы нейросети могут приходить с задержкой. На станциях возможны паузы перед ответом и перебои в работе некоторых функций, а отдельные устройства умного дома могут работать нестабильно.

Технику Вове и его коллегам в Сасово можно только молча посочувствовать. Вместо ламповой сауны и покатушек на электросамокате по ДЦ им предстоит разгребать железо и восстанавливать то, что вообще подлежит реанимации.

Резервируйтесь, бекапьтесь.

Типичный 🥸 Сисадмин

🌎 Яндекс перешел на ручное распределение квот.

Yandex Cloud переходит на… "полностью ручное распределение квот на вычислительные ресурсы и диски". Автоматическое масштабирование и моментальный деплой отключены, пользователям выделяют минимальные ресурсы для того, чтобы те успели выкачать бэкапы и "перенести их на другие площадки". Следующий сеанс связи перенесли на 20:00 по мск.

Параллельно топ-менеджмент Яндекса выпустил обращение к сотрудникам и юзерам:

ДЦ в Сасово серьезно поврежден и остановлен, калужские модули выведены из строя, назвать хоть какие-то сроки восстановления железа компания не может.

К вечеру пятницы парализовало Яндекс 🚖... "Прямо сейчас заказать такси не получится. Попробуйте минут через пять". А у водителей и курьеров в Яндекс Про отвалился раздел баланса - мужики катали смены вслепую, гадая, дойдут ли им заработанные суммы 🚙

Отдельный памятник современному микросервису... навигация и матчинг лежат, такси вызвать невозможно, но рекламные баннеры пылесосов внизу загружались.

Типичный 🥸 Сисадмин

🤙 Ручное управление отменяется... в Yandex Cloud легла сама консоль (во всех зонах разом)

В 13:58 Яндекс выкатил новое оповещение: "Частичная недоступность сервисов Yandex Cloud Console".

Затронуты сразу все зоны: ru-central1-e, a, b, d.

Походу управляющий контрол-плейн захлебнулся под лавиной запросов 🤔

Типичный 🥸 Сисадмин

БУДУЩЕЕ. СЛУЧИЛИСЬ ТЕ САМЫЕ СОБЫТИЯ
@
ТЫ УШЕЛ В ЛЕС И ПИТАЕШЬСЯ КОРЕНЬЯМИ, ЗАБЫВ КАК ВЫГЛЯДИТ JSON
@
ДРОНЫ-ОХОТНИКИ ПАТРУЛИРУЮТ ЛЕС ДНЯМИ И НОЧАМИ, НО ИХ ОПТИКА И ЛИДАРЫ ТЕБЯ НЕ ВИДЯТ
@
ТЫ ИДЕАЛЬНЫЙ СУРВИВАЛИСТ, ТЫ ПОЗНАЛ ДЗЕН И СЛИЛСЯ С ПРИРОДОЙ
@
И ТУТ ТВОИ УМНЫЕ ЧАСЫ XIAOMI, КОТОРЫЕ ТЫ ЗАБЫЛ СНЯТЬ 5 ЛЕТ НАЗАД И У КОТОРЫХ ВНЕЗАПНО ОТ ТЕПЛА ТЕЛА ОЖИЛА БАТАРЕЙКА...
@
...НАХОДЯТ ПРОЛЕТАЮЩИЙ МИМО ДРОН ПО БЛЮТУС ЛОУ ЭНЕРДЖИ
@
...И СЛИВАЮТ ЕМУ ТВОЮ ГЕОЛОКАЦИЮ, ПУЛЬС И КАЧЕСТВО СНА ЗА ПОСЛЕДНИЕ 40 000 ЧАСОВ В ОБМЕН НА ОБНОВЛЕНИЕ ПРОШИВКИ
@
ПОЛУЧАЕШЬ РАКЕТОЙ ПРЯМО В ДУПЛО
@
А ПОТОМУ ЧТО ПРАВИЛА ЛИЦЕНЗИОННОГО СОГЛАШЕНИЯ НУЖНО БЫЛО ЧИТАТЬ

Типичный 🙂 Сисадмин

🌎 Яндекс к ночи на воскресенье...

🟢Веб-консоль Yandex Cloud Console оживили, кнопки снова нажимаются.

🔴Зона ru-central1-b мертва без изменений... третьи сутки подряд. Первая линия поддержки Яндекса мутировала в советский распределитель дефицита 👾. Инженеры вручную читают каждый тикет и в индивидуальном порядке решают, кому выдать ядра и объемы диска, а кто потерпит.

Утром мы перешли на полностью ручное управление квотами на вычислительные ресурсы и диски. Специалисты технической поддержки разбирают каждую ситуацию вручную...

Следующий сеанс связи отложен до полудня воскресенья.

Типичный 🥸 Сисадмин

💥 Эпоха суверенного облака ВСЁ? Третий пошел... Владимирский дата-центр Яндекса остановлен после прилета.

Еще недавно мы мрачно шутили, что у Яндекса остался последний серьезный нетронутый оплот во Владимире и если прилетит туда - наступит цифровой каменный век? Шутка прожила ровно 48 часов. В воскресенье утром появляется алёрт:

...дата-центр Яндекса во Владимире поврежден атакой БПЛА, его работа ПОЛНОСТЬЮ остановлена.

Сасово (ru-central1-b) сгорело в четверг, Калугу (ru-central1-d) ополовинило в пятницу, Владимир (ru-central1-a) заглушен в воскресенье. Три опорных дата-центра национального бигтеха за четверо суток ⚰️

А вместе с владимирской площадкой окончательно погас Галушкин - последний из тройки легендарных суперкомпьютеров Яндекса (Червоненкис и Ляпунов пострадали еще в Сасово). Весь топовый суперПКшный флот страны, годами штурмовавший мировой рейтинг TOP500 буквально за выходные выпал.

😱 А самая жопа вот в чем... Яндек пишет:

Оставшуюся конфигурацию ресурсов считаем неустойчивой. Режим работы платформы является аварийным — рекомендуем задействовать любые другие альтернативные планы по аварийному восстановлению

Облако мертво, кворума нет, спасайтесь кто может.

Что сейчас еще трепыхается на остатках мощностей в раненой Калуге и Мытищах... выглядит это как сводка из реанимации:
🟢Базы данных в коме... из-за физической потери двух зон из трех большинство HA-кластеров словили split-brain. Те базы, что чудом не развалились, намертво заблокированы контрол-плейном в режиме ридонли.
🟢S3 Object Storage при смерти... запись новых объектов встала колом, кластер с трудом отдает только старые блобы на чтение.
🟢Кубер... региональные кластеры, чьи мастера etcd хотя бы одной ногой стояли во Владимире или Сасово, превратились в пустоту без возможности восстановления конфигурации.
🟢Каналы поддержки Яндекса… упали сами. Статус-борд обновляется с задержками, тикетница задохнулась, достучаться до инженеров невозможно.

Жопа лютая. Яндекс за 4 дня сложился... 🤙

А сейчас вообще больно... патформа лишилась флагманской AliceAI Pro, распознавания документов OCR, аналитики SpeechSense и векторного Retrieval API - из генеративки на искусственном дыхании остались лишь урезанные легковесные флеш-модели. Стек ИБ выкошен под корень... собственный SIEM, аудит-логи и мониторинг угроз YCDR светятся мертвым красным кружком. Систему больше некому и не на чем даже защищать.

Это тектонический финал целой эпохи. За 96 часов на наших глазах в пыль рассыпался красивый миф о том, что модные микросервисы, георезерв и программные абстракции способны пережить физическое уничтожение наземных ангаров.

З.Ы. В четверг Яндекс учил нас переносить нагрузку в соседние зоны. В пятницу - советовал брать дедики Bare Metal и бежать по промокоду к конкурентам. В воскресенье - признал, что платформа неустойчива и спасения нет.

Кажется, скоро наступит то самое время, о котором я шутил в бугурт-тредах... выдергиваем патчкорды, достаем дискеты и учимся выживать в лесу.

Помянем усопшие кластеры не чокаясь 🍺

Типичный 🥸 Сисадмин

🔥 Рунет уходит в 429 Too Many Requests, а до национализации Яндекса осталось… 3… 2…

Как прозорливо ванговал верный подписчик Михаил еще две недели назад (да даже больше)... "Осталось две недели... вы не слушали!" - всё, пацаны, IT'S OVER. Пророчество сбывается. После того как во Владимире погас последний опорный ДЦ начался инфернальный паралич всего потребительского сектора страны 😭

Взгляните на графики мониторингов... это выглядит как клиническая смерть. За Яндексом в братскую могилу улетела половина розничной экономики:

🟢Яндекс Еда в Москве тупо не показывает рестораны, заказчики сосут лапу, курьеры сидят на бордюрах. Вкусно и тошка с Магнитом синхронно легли рядом.
🟢Такси отваливаются, в Москве, Сибири, Владивостоке, в Армении, Сербии, Беларуси и Казахстане пользователи видят ошибку "001-429: Попробуйте через 5 минут" и пустые серые полигоны вместо карты.
🟢Яндекс Пэй схватил инфаркт, заблокировав доступ к деньгам на кассах. Не работают Fix-Price, Flowwow, фитнесы DDX, Спортс и даже серверы War Thunder с Россельхознадзором.

Вся цифровизация оказалась привязана к трем советским заводам в радиусе трехсот километров от МКАДа. И когда эти три площадки поймали маслины, внезапно выяснилось что ты не можешь ни вызвать колёса, ни хлопнуть бургера, ни сходить в качалку... микросервисы схлопнулись в одну черную дыру.

И на этом фоне вспомним свежий указ №604, который разрешает вводить временное госуправление над объектами КИИ. Повод-то сходится идеально... не осилил защиту от БПЛА, пролюбил киберустойчивость и допустил критический даунтайм.

Как думаете, сколько часов непрерывного паралича нужно, чтобы признать руководство компании "не справившимся с защитой инфраструктуры" и передать Яндекса на баланс какого-нибудь суверенного ФГУПа?

А зима близко... шуршащий наличный кэш и дрова звучат уже не так бредово 😬

Типичный 🥸 Сисадмин

😶 Преставьте... просыпаетесь и видите вот такой статус сервисов у себя в конторе. Ваши действия?

Типичный 🥸 Сисадмин

Запомните этот скриншот, камрады. Могут быть дежавю 🔫

Деньги в безопасности... это главное.

Цифровизация vs дрова.

Типичный 🥸 Сисадмин

🙂 "Все наладится, если железо живое" - оптимисты из комментов.

В комментах под прошлыми постами промелькнула наивная мысль, мол, "сисадмин разошелся, если серверы физически целы, то всё не так плохо, нужно просто время, и всё наладится".

Во-первых, про живое железо. На дворе пошли четвертые сутки аварии (96+ часов даунтайма). В промышленном ДЦ класса Tier III такое время простоя бывает ровно в одном случае - когда площадка физически перестала существовать как функционирующий инженерный объект. Когда на крыше полыхает и рушатся перекрытия, серверы не мирно спят в ожидании ЭЭ. Если в машинный зал не прилетел прямой огонь, туда вполне могло затянуть тонны копоти через вентиляцию фрикулинга, либо стойки от души залило пеной и водой тушения. Для высокоплотной электроники и оптических трансиверов на 400G мелкодисперсная сажа - это приговор ⚰️ ... токопроводящий налет вызывает микроКЗ и коррозию дорожек материнок даже после сушки.

Во-вторых, даже если взять старое железо A100, на которых собирались суперкПК Яндекса, плашки памяти и NVMe. То из-за глобального лютого спроса на ИИ всё подорожало в два, три, пять раз. Фабрики забиты контрактами на годы вперед.

А теперь наложите на этот глобальный дефицит суверенные реалии... санкции, экспортный контроль и серый импорт через тридцать казахских и дубайских прокладок, каждая из которых накручивает свой конский процент за риск. Купить и скрытно привезти тысячи топового железа сейчас не столько дорого - сколько логистически нереализуемо в разумные сроки. Да и рынок б/у энтерпрайза выгребли подчистую... даже если бабло есть, то где взять железо 👎

Поэтому иллюзия, что скоро всё само починится, разбивается о пустоту складов. В любом случае важны реальные данные об ущербе, но их в паблике пока не видно.

Типичный 🥸 Сисадмин

🌎 Новый анонс от Яндекса

Инцидент переименовали в "Недоступность зон Yandex Cloud"... обращаю внимание, что уже во множественном числе. Новых изменений нет, выдача любых дополнительных ресурсов заморожена.

Следующий сеанс связи перенесли на 18:00 по мск.

Типичный 🥸 Сисадмин

Иппона мама 🏥

Когда хотел насладиться моментом с плёночкой, а отклеилось стёклышко.

Типичный 🥸 Сисадмин

👨‍🦳 А ведь завтра наступит понедельник...

За окном незаметно подкрадывается вечер воскресенья. Завтра ровно в девять утра весь этот инфраструктурный факап перекочует в офисы реальных контор... менеджеры приходят на работу, тыкают в ярлыки - а там тишина. У главбуха 👩‍🦰 что-то не открывается, в отделе продаж висит CRM, склад не может выгрузить накладные, S3 не отдает картинки на сайт, платёжки застревают.

Если кто админит среднюю контору, чей бизнес хотя бы наполовину завязан на публичные облака, то не упустите завтрашнее утро. Не надо ждать, пока дирик сам прибежит. Надо самому зайти и на пальцах разложить ему реальность. Что нужен блан Б, что держать весь критический прод у одного внешнего провайдера - игра в рулетку. Что простой в 4 суток обходится конторе дороже, чем любая резервная серверная стойка.

Да, железо сейчас стоит конских денег, но его можно достать, чтобы запилить локальный холодный резерв в собственном офисе, на которыё регулярно (с тестированием) разворачивать актуальные копии критических баз.

В этом всём главный интерес для рядового админ - здоровый сон. Ведь одно дело - сидеть сутками в тикетнице ТП чужого ЦОДа, выпрашивая ядра. И совсем другое... просто в час Хэ подойти к собственной стойке, переключить локальный DNS на офисный тазик и спокойно пойти пить чай, зная, что бухгалтерия выставит счета, а склад всё отгрузит.

Каждая контора уникальна, но ИМХО, начать этот разговор завтра - вопрос важный. Чтобы потом не было мучительно больно пояснять диру, почему его компания легла ⚰️

Конечно же есть и чудо - вдруг к понедельнику всё поднимется, но за понедельником будет новый понедельник 🍺

Типичный 🥸 Сисадмин