​​Когда паранойя оправдалась
Случай первый, не совсем админский

Лет эдак несколько назад было несколько случаев типичной социальной инженерии. Звонит, значит, в отдел ИТ весёлый мужик. Говорит: "Здравствуйте, Наталья, да? (алё, мужик, я представилась секунду назад) Я из компании С (родственной компании, с которой у нас и правда близкие отношения), отдел ИТ, мне тут руководство поручило обновить справочную информацию, пришлите мне справочник сотрудников с городскими и мобильными телефонами, должностями". 

Тут надо сделать отступление, справочниками мы такими действительно иногда обменивались и даже иногда служебные мобильные там фигурировали. Но Наташа-подозревака читала Брюса Шнайера, враг не пройдёт. 

"Конечно, пришлите, пожалуйста официальный запрос входящим письмом на Генерального директора, его зарегистрируют, спустят мне и я сразу же вам пришлю!"

Мужик стал давить на всякое:
"Наталья, ну какой Генеральный, вот у вас начальник, Сергей же, да, он в курсе поручения, нам очень срочно надо, поручение моего Самого-самого начальника (называет имя), ваш Гегеральный _имя_ был на совещании вчера, давайте не будем никого напрягать, быстренько сделаем, а письмо я сразу после направлю как полагается, секретарю же, Марии, да?"

"Ок, присылайте письмо на мою почту и в копию моего начальника, если он согласует - пришлю"

"А почту не поскажете?". Тут у меня уже набат. Так как почтовый справочник у них наш подгружен и элементарно по фамилии все ищутся. Что я и сообщаю "в корпоративной почте найдете меня по фамилии".
И тут финиш:
"Наталья, у нас тут офис переезжает, большой ремонт, не все рабочие места подключили, не смогу ваш адрес найти. Вы мне пришлите на ххх@маил.ру".

Я выдавила что-то типа "извините, только на корпоративную почту", мужик пытался ещё что-то сказать, но я трубку повесила. 

Во-первых, действительно такой обмен данными только согласованный и только по корпоративным каналам с защитой (у нас был настроен такой). Никакого маил.ру. Первого хватило бы, но: во-вторых, я в курсе, что у них
а) забанена вся внешняя почта в компании и 
б) корпоративная почта доступна из инета, owa есть.
После краткого анализа: все имена всех упоминаемых начальников и секретарей обеих компаний можно было найти на официальных сайтах. Прям по книжке пытались заболтать знакомыми именами и срочностью, слегка запугать. Всё строго из открытых источников.

Чувак, выполняющий функции безопасника, сидел за соседним столом и следующая моя фраза была "Ща такооой чёрт самоуверенный звонил, ты не поверишь!". После рассказа я пошла ваять предупредительную рассылку по всем пользователям. И посыпался вал звонков "а вдруг им правда телефоны нужны будут, вдруг правда компания С?". Мало кто вдумчиво инструкцию прочитал 😔 Надеюсь, остальные просто не осилисли слить справочник.

Таких звонков была ещё парочка, потом всё успокоилось. Никаких официальных запросов после не поступало.

Щёлкни на картинку и посмотри моё творчество на тему ИБ))

Инструкции
Мне тут безопасник настоятельно посоветовал не рассказывать о методах социальной инженерии, так что вы можете прочитать про них самостоятельно и смоделировать свои ситуации))

Пожалуй, свернём на этом недельку инфобеза

Давайте, что ли, поговорим про инструкции. 
В какой-то момент меня задолбало рассылать персонально каждому инструкцию или указывать, где она лежит и я решила завести справочную систему на работе. И все такие "wiki, давай wiki", а я тогда что подумала: ну кто кроме меня эти инструкции пишет? Примерно никто. Ну и зачем мне вики, переживать что кто-то где-то напишет неправильно, возиться с markup language. И я завела HelpNDoc. Классная, кстати, вещь, чтоб вести в одно рыло, рекомендую. И в pdf умеет сразу выгружать всю справку, да хоть в ePub. 
Жила она долго, а потом мы как-то приросли народом, унификация опять же, другие службы заведи себе wiki, ну и мы тоже пошли по этому пути. Сначала, лет 5 назад, завели одну вики систему, года полтора как переехали на другую. Всем объявили: есть вики, любой может написать! 
Ну и, хм, инструкции всё так же пишу я и иногда мои сотрудники (если я грозно стою с палкой рядом). Только разметка с каждым обновлением уползает к хренам, потом в исходник страшно смотреть. И писать неудобно, прямо скажем, есть вики и получше.

Нужно ли писать инструкции? Да, да и ещё раз да! Моей инструкции по настройке ftp 11 лет и до сих пор туда поглядываю. Вы и не вспомните через год что там где настраивали и подкручивали, чтоб оно работало. Нужно это в первую очередь вам:
а) чтоб самому потом вспомнить
б) чтоб кого-то ткнуть в инструкцию и снять с себя часть работы (или чтоб передать дела)
в) чтоб просто у себя в голове структурировать информацию и что-нибудь прикольное понять

Однажды мне переслали мой же пост с пикабу со словами: вот же классная инструкция, а ты жаловалась, что ничего на эту тему нет. Было приятно)

Я пишу мануалы нескольких видов:
1) Для себя или того, кто в этой теме хорошо понимает. Минимум воды, перечислены основные действия и подводные камни
2) Для адекватных админов: достаточно подробно, но в надежде, что у человека есть базовые понимания как этим пользоваться
3) Для всех админов: то, что рождается из п.2 по результатам выполнения таких инструкций. Люди разные, иногда появляются этапы вроде: "перед попыткой включить сервер, воткнуть шнур питания одним концом в сервер, а другим в электрическую розетку".
Где-то в истории пылится инструкция в шести картинках, которую послали в ответ на вопрос "у прибора не дотягивается шнур до розетки, что делать?"
4) Чтоб передать конкретный процесс кому-то: подробность зависит от уровня того, кому передаю.
5) Для пользователей: минимум условий "если то, то сделайте", максимум картинок, выделение жирным, красным, зелёным и прочими цветами.

Также я автор вводных инструкций по типу "ааа, куда я попал вообще, мне не передали дела, я новенький". Не знаю уж, насколько они мне удаются, но лучше, чем их отсутствие 😊

Вот тебе делать нехрен? Я думаю, это важная часть работы, даже если кто-то так не думает.

Как выстроить классную справочную систему, которую все будут радостно вести, актуализировать (и которая будет правильно структурирована), я всё ещё не знаю. Заниматься графоманией людей обычно не вставляет. И все мои "бу-бу-бу, как обновлять/чинить финтифлюшку если ты в отпуске, напиши хоть пару строк" падают вникуда, но я не прекращаю попыток))
Есть вариант с тем, что система сама себя документирует, эдакий DevOps подход. Но это же не включит в себя реакцию на инциденты, методику диагностики и всё такое. Опять же, к винде не очень применимо, хоть она и переходит на .conf файлы (если я ошибаюсь, ткните, плиз, в пару статей на тему).

Если есть положительный опыт внедрения подобных систем, поделитесь что ли

Рассказ про прикольную систему образования, которая не выжила

Уж на что-что, а на образование я пожаловаться не могу, оно у меня профильное - айтишное. Система была странная, но интересная, вероятно, продвигал её один энтузиаст из руководства кафедры.

Заключалась в следующем:
1) Даётся база. Да, старые надёжные алгоритмы и pascal. Как хранится int. Как выглядит файл. Простые лабы. Таненбаум про операционные системы. Чтоб вообще начать понимать что происходит.

2) по возможности привлекаются работающие специалисты для преподавания: сети, базы данных, этапы разработки. Они передают прям живые знания

3) все после 4 курса начинают преподавать более младшим. Чем интересуешься - тому и учишь. Устроился стажёром - расскажи что узнал. Некоторых выпускников вставляет педагогика и они остаются ещё год-два-три вести лекции, работая при этом где-то. Во-первых, чтоб кого-то учить, надо досконально разобраться самому. Во-вторых, тянется всё модное и свежее

4) привлекаются бывшие выпускники провести курс или лекцию. Тестирование, графика, регулярки perl, python, Qt, админство linux, "как выступать перед публикой", "как работает жидкокристаллический экран", "как работает процессор intel", "как мы сканируем сиськи грудь на томографе"

5) языки программирования и их дополнения в формате "семестр-курс". Тогда (2007-2011) это были Delphi, C (+ lin/win api), C#, C++, MFC (простихосподи, какая хрень), COM (не можешь заснуть - открой книжку по СОМ), Qt, ещё что-то было. На каждом пишем какой-нить проект, его надо выдумать и не забыть написать документацию. Как только прошли клиент-серверные модели, сокеты изучили - так сразу должен быть клиент и сервер на разных языках писаный. Как прошли многопоточноть - должно быть много потоков и чтоб за ресурсы соревновались обязательно. Разделяемая память, семафоры, мьютексы, именованные каналы, вот это всё. И чтоб пользовательский интерфейс не фризился, и чтоб отрисовка не моргала. Один проект на 2-4 студента - обговори протоколы взаимодействия модулей, не подерись в команде.

6) поощрялись нестандартные выполнения заданий и любая движуха в рамках ИТ

7) Сверху отполировать математикой. Матрицы? Считаем матрицы. Криптография? Вычисления в полях Галуа, а давайте напишем AES, а сделайте мне цифровую подпись и чтоб шифрование выбирать. Ряды. Что-там с диффурами и рядами было, я уже не помню. Графы? Значит строим обходы графов. Ну и т.д.

В результате получались более-менее актуальные знания по (тем) современным веяниям, живые практические знания от специалистов, всё это с классической алгоритмической и математической базой. Да, всё по верхам, но углубиться можно было в любую сторону - хоть фундаментальная математика, хоть роботостроение с ардуинками, хоть фронтэнд, хоть бэк, хоть сети, хоть администрирование. Как только появлялись новые популярные штуки - их начинали включать в программу. Предмет при этом мог называться как угодно, самый популярный вариант был "практикум на ЭВМ". За нами младшим уже читали питон глубоко, Го'шечку тоже вроде читали после нас, я уверена, что вские куберы-докеры тоже вовремя подоспели.

Схема выстраивала чудовищно крепкие вертикальные связи. То есть, студенты с первого по шестой курс общались очень плотно. Плюс навык работы на публику какой-никакой тоже все приобретали. 
Не исключаем все сопутствующие высшему образованию предметы: философия, история, физика, анализ и прочее.

Схема держалась лет, наверное, 18-20. К тому моменту как я училась, она стала самоподдерживающейся в плане потока передачи знаний. Не знаю, каков был старт (как учили первых студентов) - не застала. Но держалась она на людях и общем некотором распиздяйстве. Попробуй сейчас скажи, что у вас в пятницу официально 1 пара "практикум на ЭВМ", а неофициально три, после чего коллоквиум до ночи и чтоб сдать зачёт, надо сдать три предмета трём разным людям. Ну это мой вариант, почему всё развалилось, может и иначе было.
Не без недостатков, но, оглядываясь назад и сравнивая с рассказами других, отличная была система!

​​Когда что-то случается
И немножко про деньги

Внезапно, когда в компании много офисов, отделений и т.д. всегда что-то случается. Когда вы видите один офис, то понятно, что у вас раз в год отключат электричество в будний день и это будет событие. А в другой год кабель перекопают к провайдеру и это тоже будет событие. 

Когда ваше количество офисов перевалит за 52 (количество недель в году), то со стороны админа всей сети, вы будете наблюдать такие "события" в среднем раз в неделю. А если офисов так и будет прирастать, то и чаще. Это просто статистика. Да, в эту неделю плановое отключение электричества в Х, в следующую наводнение в Y, потом прорыв канализации над серверной в Z, у D перекопают ковшом кабели от обоих провайдеров, у N пропадет спутниковый интернет из-за бури, а в K электроподстанция сдохнет от обрыва проводов под снегом. Потом у Ростелеком будут проблемы с доступностью всего Дальнего Востока, а РКН в субботу рубанёт на час весь IPSec.

И ничего страшного от этого не случится. Где-то подхватится резервный провайдер, где-то можнно заранее перераспределить работу. А где-то всё внезапно встанет. Если у вас не больница или ракетная часть, и не станция перекачивания говна из канализации, то есть не критичная для жизни инфраструктура, то наблюдается следующая, страшная для юных умов штука:

Иногда делать отказоустойчивую инфраструктуру нерентабельно. Вот так просто, вы затратите на инфраструктуру и её обслуживание больше бабла, чем потеряете при простое пару раз в год на сутки в течение 15 лет, например. (тут надо аккуратнно считать деньги, например, есть репутационные риски, которые тоже выражаются в деньгах).
Поэтому вот иметь ups на 5 минут на случай "мигнуло электричество" рентабельно, а иметь стойку ups на два часа работы и дизель-генератор уже не очень.
Или наоборот, вы будете терять килограммы денег в минуту и дизель-генератор со всем его обслуживанием окупится за пару минут, бывает и так и так.

В общем, мысли две:
1) Когда в большой сети что-то постоянно случается - это нормально. Главное, чтоб в целом не падало. Не стоит страдать от неидеальности мира и незелёного заббикса.
2) Когда вы, просветленный после митапа по построению отказоустойчивой инфраструктуры, приходите на работу и хотите сделать "как в лучших домах" - попробуйте посчитать в деньгах разные развития событий и не расстраивайтесь, если три четверти изменений принято не будет. Врочем, это не значит, что к идеалу не стоит стремиться доступными средствами.

Картинка Васи Ложкина

Немножко про циски и минутка философии

Был случай в одной компании, когда нужно было нежно забрать управление cisco-железками. 

Компания некоторым образом решила разделиться административно на две части и так получилось, что в одной части оставался сервер Tacacs, а в другой железки. Куда делись айтишники, управляющие тем и другим, история умалчивает. Был чей-то логин-пароль с tacacs, была ниточка до него и собственно всё. Задача была забрать управление, пока есть эта зыбкая связь. Чтоб когда ниточка или tacacs исчезнут - не остаться с черными ящиками вместо управляемых железок. 
Конечно, при наличии физического доступа к цискам и консольного кабеля управление забирается в любом (ладно, почти в любом) случае. Но желающих посещать с консольным кабелем несколько географически отдаленных точек отчего-то не наблюдалось.

Сейчас я думаю, что проще было поднять свой tacacs и переключиться на него)

Дальше никакой магии. Пограничные железки были нормальными маршрутизаторами и с них начали забирать управление. Они единственные имели на себе режим отката и это стало спасением.
"configure terminal revert timer x" надёжно нас поддерживал, пока я подбирала такое сочетание параметров aaa, чтоб меня не посылало нахер при попытке сказать conf t (я в во всех опциях aaa и тогда не разбиралась, да и сейчас не так чтобы очень). 

Потом нужно было сделать так, чтоб на всех остальных железках, не имеющих таких механизмов отката, доступ не исчез в процессе (кстати, на cisco asa если кто что знает в плане безопсного применения конфига - подскажите, просвещусь). 
Да, всегда есть живительный ребут. Но ребутаются циски долго, а большие циски очень долго. И в некоторых местах они не имели, ммм, логического дублирования. Ну типа физически железки две, но вот тебе единый control plane. В целом, план "Б" в виде ребута был, но пользоваться им не хотелось. Так что мы на тех пограничных железках гасили в null маршруты в сторону сервера авторизации и смотрели что получилось на остальных железках. Попали-не попали. Права на изменение конфига, соответственно, при этом есть или нет. В общем, было весело и страшно, потому что опыта было по нулям 😅
И да, не верьте утверждению "если у вас есть сессия с правами, то что бы вы ни меняли она останется" - это не так, было и такое, что выкидывало из сессии и сразу писало authorization failed.

Минутка философии.
Я вообще часто пишу "сейчас я думаю, что лучше было бы вот так". Я постоянно узнаю что-то для себя новое. Значит ли это, что тогда не нужно было действовать не имея сегодняшних знаний? Конечно нет! Результат обычно достигнут. Возможно, не оптимально, не по лучшим стандартам, не так как это сделал бы гуру, за время в 15 раз большее, чем этому гуру бы понадобилось. Не страшно. Каждый раз, углубляясь в какую-то айтишную тему, я начинаю понимать, сколько всего я ещё не знаю. 
Делайте то, что можете
так, как можете, 
теми инструментами, что вам доступны.
Это нормально. Никто не учится до состояния гуру, а потом уже идёт работать. Более того, никакая учёба не даст вам тех извращённых задач, которые подкидывает реальность.

А минутку философии продолжим в одной из следующих серий, тут ещё есть что сказать.
Хотела бы я, чтобы мне это рассказали в школе..

Помощь по личным вопросам

Наверное, ко всем админам приходят на работе с личными вопросами. Это не сильно зависит от того эникейщик вы или руководитель отдела - на каждом уровне у вас будет свой круг общения в компании, который будет считать вас ТЫЖ-айтишником. Схемы поведения в этом случае есть разные. Если вы простой сотрудник, то:

Можно отгородиться запросом денег (и в зависимости от настойчивости пользователя: либо отвязаться, либо монетизировать помощь). 

Можно отгородиться "не умею". Да, вот сервер настраивать умею, а приставку выбирать для сына не умею. И лечить винду от вирусов тоже. 

Можно проявить альтруизм и всем помогать за конфетку - тогда сядут на шею. Но и любить тоже будут, возможно вам это важно. А также будут иметь мозг по каждой неисправности после вашей помощи.

В идеальном мире, конечно же, надо выставлять жесткие границы. В реальном мире, во-первых, отказы работают до некоторого уровня "топовости" сотрудника, который к вам придёт. А во-вторых, иногда по мелочи (именно немного и иногда) помогать обычным сотрудникам по личным вопросам от вас не убудет, зато всякие внутренние взаимодействия будут идти легче. Мы не в идеальном мире, тут есть человеческий фактор. Вам тоже не обязаны подсказывать как лучше сформулировать служебку, рассказать, что можно сделать внеочередной заказ на канцелярию, первым уведомить о возможности пройти обучение и т.д.

Отказывать, в свою очередь, стоит культурно и вежливо, типа
"Иван Иваныч, я вечерами учусь всё время, куда мне разбираться в игровых приставках, я могу глянуть рейтинг одним глазком, но ничего не гарантирую, сам не пользовался". 
"Мария Ивановна, я же не могу втыкать ваш зараженный ноутбук в сеть предприятия, можете подкинуть мне домой, я в толкучке метро боюсь раздавить. Там посмотрю, но у меня очень загруженная неделя на работе, может быть в течение месяца. И не гарантирую сохранение данных, всё же не мой профиль. Но вот визитка проверенного центра, они справятся быстрее."

Если вы руководитель, то стоит спросить сотрудников (вдруг кто чувствует в себе великого чинителя от вирусов, любит паять за денежку или горит желанием всем рассказать про х-box). Главное, чтоб работе не вредили эти дополнительные запросы. А если таких любителей не найдется, лучше всего соласться на то, как вы своих сотрудников день и ночь эксплуатируете и они просителям помочь не смогут потому что работают, а вечером думают о работе и даже сны видят о работе. Только вежливо, чтоб это не было прямым посылом в дальние дали. Если же просьба лично к вам, то это уже запросы, опять же, "топовых" сотрудников. Такие просьбы, по опыту, проходят в рамках работы даже не номинально и, соответсвенно, выполняются силами отдела в рабочее время.

Все эти советы "просто скажите, что это не ваша работа" тоже работают, но комфорта в коллективе не добавляют. Тут уж каждый сам выбирает: формализм или человеческие отношения. На мой взгляд, стоит балансировать и не отказываться от человеческого взаимодействия.

Микротик, частное мнение

Инетресно, есть ли более противоречивые железки, чем микротики? Исключительное поделие латвийского гения. Я с ними работала одно время очень плотно (пару лет) и потому выскажу своё видение.

Давайте, что ли, сначала с плюсов:

Он умеет если не всё, то многое, и при этом дешёвый (был). До санкций вы могли приобрести пару железок, умеющих BGP и MPLS, дешевле, чем книжку Олиферов по сетям.

Исключительная гибкость. Кажется, если вы придумаете самую странную задачу, её уже пытались реализовать на микротиках.

Огромное коммьюнити, которое объяснит вам как сделать любое извращение.

Умеренная надёжность и умеренная производительность. Не циска? Ну так посмотри на ценник. Дырки? Зато регулярные обновления. Виснет? Выброси и купи новый.

Скромный ценник на очное обучение. До санкций курс стоил в 5 раз дешевле cisco, а какая в принципе разница на чём пытаться въехать в OSPF и BGP. И микротик в подарок 🎁

Теперь по минусам:

Ужасный, ублюдский, отвратительный интерфейс. Это, конечно, личное мнение. Причём я умею его админить, но радости мне это не доставляет.

К сожалению, те, для кого интерфейс микротика стал первой серьёзной жезезкой, очень плохо переучиваются на что-то адекватное. Опять же, личное наблюдение на нерепрезентативной выборке.

Чтобы воспользоваться плюсами нужны прямые руки и немного знаний с капелькой мозгов. Не имея этого, скорее навредите своей сети.

Стабильная работа недорогих железок на больших объёмах? Скорее нет, чем да. Из 60 закупленных 4 сдохли в течение года.

То есть итого: 
Для малого бизнеса? Конечно! 
Для извращений? Несомненно!
Чтобы заткнуть внезапную дырку, где нужен NAT и ACL? Да! Возьми с полки пирожок микротик.
Для тестов и дебага сетевых проблем? Да, во многих случаях подойдёт.
Для обучения? Скорее да, чем нет. Но лучше не первым устройством.
Для массового домашнего использования? Нет.
Для эникейщика без знаний? Нет.
Для эникейщика со знаниями? Да.
Для массового кровавого энтерпрайза? Нет.
Для удовольствия? Кому как.

Ну и как обычно, это инструмент и он хорош для своих, подходящих ему задач.

​​Давно было

Сейчас на меня иногда нападает старческий бубнёж и желание всё проконтролировать: а ты это сделал, а ты это учёл, а ты на это обратил внимание? Ребята же, с которыми я работала в начале карьеры, обладали здоровым похуизмом и некоторой наивной верой, что у окружающих их айтишников всё в порядке с логикой. Иногда это выливалось в инциденты.

Был случай, когда у нас сдохла прокся в выходные. Интересно, кто-то помнит ещё Forefront TMG? Жил он у нас единственный на десктопном, а не стоечном железе и чутко реагировал на изменение микроклимата в серверной, как я в последствии узнала. Также он любил уйти в ребут и не включиться, лишив всех радости попадания в интернет. Почему все всполошились в субботу уже не помню, та организация не работала круглосуточно. Может быть был отчет у бухгалтерии и они не могли выжить без контакта с налоговой, может ещё что. Я тогда, как не занятый ничем человек, припёрлась в офис, ткнула в серверной кнопку включения, убедилась, что интеренет есть и уехала. Ну да, тепловато было в серверной, но я с улицы даже куртку не снимала, ну тепло и тепло, мало ли, отопление включили. Отписалась, что включила и на этом всё.

В 9 утра понедельника прокся сдохла вновь и кто-то пошел на неё смотреть. Вернулся и спросил: "Наташ, а ты когда в субботу приезжала, кондей работал?". Я говорю: "Не помню, даже не посмотрела. Показалось, что тепло как-то, но решила про это не писать".
Пойдём, говорит, со мной, посмотришь.

Скажем так, металлическая дверь в серверную, конечно, не обжигала, но была неприятно горячая. Воздух был градусов 50, наверное.
На меня грустно посмотрели, мысленно, видимо, попытались избавиться от матюков, и сказали: "Почувствовала, что что-то не так, лучше напиши. А о том, что в серверной тепло сообщай всегда! Сразу! В серверной не должно быть тепло!".

С тех пор мы обзавелись термометром, который шлёт смс-ки, заббиксом, вторым кондеем, что, впрочем, всё равно не спасло нас от пары жарких деньков в серверной в своё время. Были в нашей жизни и вентиляторы, и серваки в кабинете, чтоб серверная не запеклась совсем, даже предложения сгонять за жидким азотом и лить на пол)

Я теперь этот (и не только) инцидент и свою тупизну иногда вспоминаю и на меня нападает это вот старческое бу-бу-бу, хотя я с ним борюсь. Проверь, отпиши, точно всё в порядке? А это в порядке? А то? 
Иногда, не смотря на все меры контроля, проходя мимо серверной, трогаю дверь рукой - не горячая ли? 

На картинке смс от температурного датчика более поздних времён. С температурой (47 - это она).

​​Первая командировка

В первую командировку я уехала спустя месяцев 10 работы. Задача была "присоединить филиал". То есть, нам досталась уже какая-то структура от другой организации и мы её приводим к своим стандартам, ставим свой софт, подключаем к сети и домену, заводим всем учетки и т.д. Ехала я и спец по бухгалтерским прогам, тогда у нас был "Турбо Бухгалтер".

Родители, помятуя проводы в лагерь и общий мой топографический кретинизм, решили проводить меня на вокзал, как я ни отбивалась словами "я уже не маленькая". Не знаю, насколько им полегчало, когда они меня сдали коллеге в виде лысого мужика лет 50, но, по крайней мере, они были уверены, что я не потерялась по пути.

Первое, что я сказала, отделавшись от родителей, было "давай на ты". Второе: "ты пьёшь?". 
"Ну не прямо сейчас же" - разумно ответил коллега и мы поехали.

Нам обещали сервер. Сервер привезти не успели или не захотели. Грустно уточнили, может мы как-нибудь перетопчемся? Мы отказались перетоптаться (договаривались! За две недели!) и нам таки повезли его из соседнего города, всего-то 140км. Ну вернее как, я хлопала глазами, а коллега читал нотацию директору о договорённостях. Я всё же тогда не обладала настойчивостью и наглостью, но кивала и мотала на ус. Пока мы ждали сервак наступила ночь, кто-то сбегал за пивом, за окном было -36 мороза, а в кабинете +30 тепла. Мы вяло ковыряли то, что есть, и травили байки в домашней атмосфере, было здорово)) Сервер таки довезли, я накатила систему и мы пошли по домам.

На второй день я взяла с собой тапочки, ибо внутри офиса было жарево, а про сменку я не подумала. 
В филиале я в первый раз увидела, что витуху можно разделить по парам на разные устройства, а также разводку в виде проводов намотанных на батарею (чтоб по полу не валялись).

Кажется, единственное, что я сделала нормально с первого раза - это подняла контроллер домена. То ли минимальный опыт сказался, то ли там негде косячить было. Настроила сетевой экран и подняла канал не сразу, но победила в результате. Сервер касперского я тоже развернула, потом его раза три перенастраивала с нуля уже удалённо, потому что накосячила везде, где возможно. На самом деле уже не помню, что там ещё настраивалось (возможно, dhcp, шары, виртуалку с нашим софтом, принтерам помню сеть меняли, всё в домен вгоняли), но помню ощущение, что я ещё месяца полтора разгребала результаты своих косяков 😅 Ну, я внедрила, я и разгребла. Зато нормально погрузилась в инфраструктуру филиала.

С коллегой мы культурно выпивали после работы и внезапно сошлись на почве любви к фантастике, в последствии продолжили иногда совместно выбираться в бары по возвращении в Москву. Позже я с ним ещё не раз ездила в командировки и никогда это не были полностью трезвые поездки, мой вопрос в начале был излишним)

Итог: ехала я в командировку не совсем понимая, что меня ждёт. Вообще был новый опыт и хорошо, что с коллегой вместе, который взял на себя переговоры с директором и вот это всё. Косяки были не критичные и разгреблись в процессе работы, зато я почувствовала в себе силы сделать, спланировать, внедрить что-то. 

На картинке "разводка" витухи оттуда

​​Как мы планировали работы по внедрению

Я уже писала на пикабу большой пост про то как мы апгрейдили сеть. Сейчас же опишу подробнее кусочек оттуда.

Задача была внедрить новое сетевое оборудование, плюсом перейти на новую телефонию, новую ip-адресацию, новый vpn, ну и всякого по мелочи. Всё это в примерно 60 филиалах + ЦОД. Пилотные 8 точек были готовы, у нас было чуть меньше 6 месяцев и 52 точки внедрения, задача была не сдохнуть в процессе. Нужен был примерный план операции.

Мы уже ощутили что такое работать три недели с одним выходным, поэтому, чтоб не двинуть кони, нужно было определиться с интервалом. Я прикинула, что каждые третьи выходные в принципе ок, но нужно стремиться к каждым четвёртым (то есть пара выходных раз в месяц условно). Дальше из календаря были выкинуты выходные, входящие в отпуск мой или коллеги. Оставшиеся были разбиты на интервалы по 3-4 недели так, чтобы закончить хотя бы за 3 недели до Нового года.

Получилось 6 дат внедрения. Дальше нужно было разбить 52 филиала на 6. Нам показалось много, мы немного посовещались с руководством и выкинули из списка 2 маленьких филиала, которые можно внедрить в будни (директора согласовали простой). И два маленьких филиала с сильным сдвигом времени от мск, где директор и айтишник согласовали работу "после обеда и до вечера" по местному времени. Оставшиеся надо было разбить на примерно равные по усилиям внедрения.

Что учитывалось:
- размер филиала в рабочих местах
- лояльность и адекватность местного айтишника
- дополнительные сложности (много доп офисов, офис разбит на 4 этажа или вообще на два здания, проблемный* айтишник, плановый ремонт офиса, другие особенности)
- сдивиг часовых поясов (в одну дату нужны и дальние и ближние филиалы, чтоб распределить нагрузку по дню)

Ну вот так, прикинув по жопным ощущениям сложность и раскидав филиалы в табличку по 7-10 штук, всем разослали план и пошли корректировки: отпуск айтишника филиала, сдача отчетности в надзорные органы и т.д. Не хотите в эту дату? Ок, меняем с другим филиалом, но он тоже должен согласиться.

Из интересных наблюдений:
1) Мало кто понимает, что вы в головном офисе одни, а их (филиалов) много, а также что вы не бессмертный пони. Например, стандартная ситуация: звонок из филиала за 5 дней до часа Х с просьбой "а давайте не в эти, а в следующие выходные". Вроде человек видит график, но ему нужно всё равно пояснять, что мы не можем работать три недели без выходных вообще, а также, что оплачивать нам работу на выход в два дополнительных выходных ради одного филиала, который хочет оттянуть, не очень рентабельно.
2) в конце сами собой собираются все проблемные филиалы. Последнее внедрение было тяжелым, потому что, как при сортировке пузырьком, в конец выплыли все самые трешовые. Они постоянно оттягивали, с кем-то менялись и собрались последней кучкой.

После утверждения плана конвейер: накатили железки, выслали, разослали инструкции, сделали подготовку, провели внедрение. Да, у нас был шаблонный конфиг, но нюансы были у каждого свои. Мы не осилили накатить всё оборудование разом и разослать, хотя и хотели. Собственно, разрезанная в процессе внедрения на две части сеть, генерирует нормальное такое количество текучки, которую тоже никто не отменял, поэтому действовали такими волнами.

*Что такое проблемный айтишник? Это тот, который может сгенерировать (плохо)прогнозируемые проблемы:
1) это "мамой клянусь". То есть, вместо собеседования, кто-то из не-ИТ руководства сказал "мамой клянусь, хороший айтишник, сын маминой подруги". Крайне редко из этого получается что-то хорошее. В части внедрения - это рандомное невыполнение инструкций и неправильная оценка затрат времени (как нами, так и им) на ту или иную операцию
2) запойный
3) устраивающий "итальянскую забастовку"

это был пост без морали) просто маааленький кусочек из планирования - как оно происходило на самом деле

Картинка прекрасного автора KotiaForge иллюстрирует моё состояние в начале всего этого))

zabbix и BGP

Я не забыла про канал, просто ваяла большой пост с картинками для пикабу.

Пятница у меня прошла под знаком "ничего не сломай" и я погрузилась немного в zabbix-шаблоны, ибо давно хотелось мониторить как-то состояние BGP на пограничных роутерах. Я в создании шаблонов понимала примерно никак и пришлось много действовать методом научного тыка, сопоставлениея и чуток почитать документации.

Телега не подходит для таких постов с картинками и описанием, поэтому вот ссылка, приятного чтения 😄

"ты делаешь неправильно"

Как только вы начнёте делиться с кем-то тем, что вы делаете на работе, найдутся те, кто вам расскажет, что вы делаете неправильно. Рассмотрим как это может заучать и как на это реагировать:
1) "Все нормальные люди делают вот так, а не так как ты". 
2) "А вот мой способ лучше, потому что"
3) "Надо было изначально делать не так, ошибка в самом начале"
4) "Я бы с такими подходами в организации и не начинал работать, увольняйтесь"

Раньше меня это очень напрягало. Ну как же, я делаю всё не так, не успеваю за прогрессом и вообще какой из меня админ, если я сделала не так как мне тут советуют.

Все, абсолютно все советы посторонних людей не учитывают ваши конкретные нюансы. Это могут быть внутренние регламенты компании, безопасников, регуляция Федеральным законодательством. Это может быть наследие компании, которая создавалась 30 лет назад, наличие или отсутствие бюджета, обязанность делать закупки через тендер, наличие или отсутствие техники и кадров с компетенциями. Может быть географическое и политическое расположение, работа в экстремальных условиях или просто прибабах работадателя. Всё, что угодно. И это всё знаете только вы, а никак не ваш советчик, помните об этом. Вы решаете задачу с вашими конкретными ограничениями и наличными ресурсами. Если задача решена - победа. Бизнесу чаще всего насрать, что это немодно, неоптимально и через жопу.

Другой аспект: все категоричные утверждения из разряда "все, всегда, никогда" имеют сноски и исключения. Знаете же, на первой лекции по программированию говорят "никогда не используй goto". А на втором курсе мы копались в ядре линуха (в реализации функций вроде) и там был goto. Почему? А там, нам сказали, люди понимают, что они делают, поэтому им можно.
Утверждение "всегда дели сеть на VLAN'ы" в общем случае верное. Но надо ли к нему прислушиваться админу организации на 10 компов и 1 сервер? Ага, уже уточняем: "всегда дели на VLAN'ы большую сеть". Насколько большую? Ну, пусть больше /24. Ок, купил админ L2 свичи, а между вланами роутинг осуществляет древний маршрутизатор со 100мб портами и никакущей производительностью. Это будет хорошо или нет? Ускорит ли сеть? Или цель не скорость, а безопасность? Насколько безопасность должна превалировать над скоростью в вашей организации? То есть, "всегда дели сеть больше /24 на vlan'ы, если у тебя есть L3 свич или нормальный роутер" - так что ли? И снова будут уточнения про телефонию, например, про характер трафика. Концепцию, надеюсь, вы поняли.

Нужно ли всегда игноривать советы? Конечно нет, очень часто советуют толковые вещи. Но надо понимать, как это применить конкретно в вашей ситуации. Опять же, если вы уже сделали что-то, что можно было сделать лучше - не надо думать, что ваша работа бесполезна. Вы решили задачу в поставленные сроки имеющимися ресурсами, это нормально. К ресурсам относятся и ваши компетенции, не надо этого стесняться (если бы работодатель очень хотел иметь сотрудника с намного более высокими компетенциями, он бы его нанял). Появилось понимание как улучшить - улучшайте. 

Я бы сказала, мы рассмотрели пункты 1 и 2. Про то, можно ли сразу было делать хорошо 30 лет назад - в следующей серии.

"ошибка в самом начале"
Как продолжение "ты делаешь неправильно"

Сюда же относится "в нормальных компаниях это давно сделано".
Ну например, "в нормальных компаниях давно есть мониторинг", или "в нормальных компаниях давно собираются все логи и анализируется", или "в нормальных компаниях есть эникейщики, которые занимаются юзерами, а админы таким не занимаются". Ну чистая правда же по всем пунктам, да? Не поспоришь. Вопрос, когда компания становится "нормальной"? Вот замутил Вася бизнес со знакомыми по продаже финтифлюшек: 1 магазин и 8 человек общего штата, а за админа у него мальчик на аутсорсе 4 часа в неделю. Думал ли Вася про первую линию поддержки и сбор логов? Ага, 15 раз, ему бы в плюс попытаться выйти. Но вот через 20 лет Василий уважаемый владелец 47 магазинов и кучи мобильных точек продаж в разных регионов РФ. У Василия солидный оборот, есть стойка в ЦОД и ИТ отдел на 30 человек, со своей внутренней разработкой, первая линия поддержки и вот это всё. И вот в каком-то моменте за эти 20 лет были соответсвующие внедрения, кто-то сказал, а что это мы логи не собираем, а что это по ITIL не работаем и т.д.

Компании не рождаются гуглом или макдональдсом, яндексом или росатомом. В момент старта они не думают как сделать по правилам или красиво, они думают о том, как обогнать конкурентов. В процессе дальнейшего роста компании сталкиваются с определенными проблемами и тогда, для их решения, они уже внедряют эти все полагающиеся "нормальным" компаниям вещи.
Компания начинает собирать логи админки не потому что им некуда деть время и мощности, а потому что теперь там не два админа Саша и Маша, а десяток и нужно разбираться, "а кто это нам сделал такую бяку", чтобы выдать соответствующих пиздюлей.

Соответственно, вы можете попасть на такое внедрение в компании или даже сами его инициировать. Значит ли это, что компания плохая, что не этого имеет? Нет, просто она доросла на данном этапе до этого, всё идёт как надо.

Можно ли всё сломать и сделать хорошо? Ну вот допустим у вас есть деньги, люди, компетенции. В более-менее большой компании всё равно нельзя. Максимальный перерыв в работе может быть пара дней по большим праздникам. А вам менять разом все подходы, инфраструктуру, регламенты, люди должны сразу начать по-новому работать и т.д. Слона нужно есть по кусочкам и улучшать поэтапно так, чтобы бизнес не слишком страдал (а вообще-то подразумевается, что бизнесу от улучшений должно хорошеть). 
В части инфраструктуры, если у вас вообще денег столько, что некуда деть, можно построить рядом копию инфраструктуры уже по новым принципам и переезжать плавно на неё. Это требует очень больших денег и желания и встречается настолько редко, что вряд ли вы с этим столкнётесь.

О, ещё вспомнила "нормальные компании нанимают интеграторов и им делают под ключ". Это в сторону админов такой выпад. Совершенно внезапно, тендерная документация и толковое подробное ТЗ для внедрения не берутся из воздуха. Писать это будете тоже вы (ну или ваш начальник с вашей помощью). А потом придут интеграторы и в лучшем случае сделают по ТЗ, в котором вы забыли описать очевидные вещи, потому что навык написания ТЗ тоже не берётся из воздуха. А ещё ТЗ вы с начальником ваяли тоже на основе своих компетенций. 

Вывод то какой? Компании обычно не рождаются со всеми внедренными фичами и классными регламентами. На каком-то этапе им это ещё не нужно. Нет ничего страшного, если вы будете именно тем человеком, который что-то внедрит. Нет также страшного, если вам досталось адское наследие "так исторически сложилось". Да, нужно менять к лучшему, работая с тем, что вам доступно. Компания с этой бякой наследия работает и приносит прибыль, смиритесь, что не всё должно быть идеальным, чтобы работать.

Понимание всех этих вещей не приходит сразу. Каждому нужно попытаться спланировать своё "всё сломаю и сделаю хорошо". Нужно попытаться применить какое-то изменение, поработать с людьми, немного понять про финансы и всякое такое.

​​Учить или не учить?

Внутренние обучения в компании, вебинары для айтишников и для бизнесовых подразделений - надо ли оно? Участвовать ли в движухе? 

Я уже писала про нашу прикольную систему образования в универе. Она позволила прочувствовать всем известную истину: "хочешь в чём-то разобраться, попробуй научить другого". Пока ты не попробуешь объяснить тему тому, кто её не знает, ты сам не поймёшь, насколько плаваешь в вопросе. 

Так что таки да, учить других полезно. Опять же, поднимать ИТ-грамотность среди админов тоже не вредно для общего микроклимата, может и часть работы потом на кого-то можно будет сгрузить 😉

Что касается повышения ИТ-грамотности среди обычных сотрудников - бытует мнение, что это бесполезно. Нет острой необходимости применять полученные знания - нет желания учиться. Был у нас как-то филиал, где админ вечно отсутствовал по состоянию здоровья, так там грамотность сама поднялась семимильными шагами. И скрин сделают, и пинг запустят, и трассировку, и картридж поменяют, и коммутатор воткнут по схеме, если прижмёт.

В молодости меня просто пёрло делиться знаниями со всеми) Так что я вела какие-то вебинары по сетям на работе, рисовала схемы взаимодействия в компании для вовлечения новых админов. Потом за вебинары стали доплачивать и меня ещё больше заштырило, ну типа мне и так нравится, а тут ещё и платят чуток. Потом некоторые несознательные сотрудники прочухали фишку и стали вебинарить 3 раза в неделю. Доплаты сняли и это было как конфетку отобрать, типа что, вам больше не нужно внутреннее обучение? Потом была слишком большая нагрузка, чтоб ещё с подготовкой лекций возиться. И вот, после перерыва, с полгода назад, опять взялась за старое. Сижу, рисую дебильные картинки и думаю, как попроще объяснить работу внутренней системы.

Про наставничество - пока двоякое ощущение. Я не про то, что нужно окуклиться, никого не учить и строить из себя незаменимого, конечно нет! Обучать надо, обучать круто! 
Но столкнулась с тем, что твои усилия по обучению могут просто проваливаться в пропасть, давать ноль отдачи. И если среди студентов это нормально (всегда найдутся те, кому не надо это всё), то на работе, когда занимаешься персонально с человеком - это напрягает. С этим сотрудником расстались полюбовно, его мы тоже не устроили, но я до сих пор не могу понять, это я подход не нашла или вообще, что это было?
С другой стороны, ты не тратишь 3 минуты на заявку, а тратишь 30 на обучение сотрудника. Раз, другой, десятый, читаешь общую лекцию. Потом хуяк, через два месяца у тебя текучка разгреблась в два раза, сотрудник сам справляется. Приятно, однако.

Короткий итог: участие в обучении в качестве преподавателя позволяет вам лучше разобраться в предмете, структурировать свои знания, ну и бонусом даёт иногда поднятие квалификации коллег, что облегчает вам же работу. 

Картинка Васи Ложкина иллюстрирует, что иногда надо не выполнять самому заявки, а учить других их выполнять))

Почему я работаю с 8 утра

На шестом курсе я по субботам вела у второкурсников что-то там линуховое. Ну и всем любопытно, кем они станут, когда доучатся, поэтому пару слов рассказала о том, где работаю. В 9 утра в субботу, ясен перец, все дружно мечтали, как они станут программистами, которые приезжают к часу дня на работу. И тут я такая: "у меня рабочий день с 8, а приезжаю в 7:40 обычно". Народ шевельнулся, проснулся и посмотрел на меня с недоумением. Кто-то выразил общее мнение: "да нахуй так жить, я что, на ИТ пошел учиться, чтоб с 8 работать?".

И тут пара пояснений, почему сложился такой график. Помимо того, что в Москве это удобно - проскочить в метро до толкучки, а по улицам без пробок, такой график диктуется широтой нашей страны. Да, грёбаных 11 часовых поясов. У нас около 20% сотрудников головного офиса в Москве работает с 8 (есть и с 7 графики у совсем отмороженных) чтобы просто хоть как-то пересекаться с Камчаткой, Чукоткой, Сахалином, Магаданом, Хабаровском и т.д. Среди этих 20% Есть примерно половина ИТ инфраструктурщиков. Если на Камчатке сделать график с 9 при этом, получится час пересечения. Иначе всё общение будет перепиской с ожиданием ответа в сутки с каждой стороны - не очень удобно. С менее дальневосточной частью России при этом будет солидное пересчение в 2-4 часа. Да, у нас есть хабы ИТ в других городах, сдвинутых от мск на +2/+6 часов, но решения, так сложилось, обычно принимаются всё-таки в мск и участие сотрудников головного офиса, хотя бы как решающее "делаем так" всё равно требуется.

Ещё, если нужно сделать что-то маленькое, быстрое, но в нерабочее время, удобнее сделать это, приехав на 15 минут пораньше, потому что окончание рабочего дня сильно растянуто. Ну, например, можно переткнуть питание у пользовательского коммутатора в 7:45, особо никто и не заметит. По-хорошему, конечно, так нельзя, но выходить в выходной ради одного коммутатора никому не хочется.

Всяким разделением на сов и жаворонков не страдаю, мне норм вставать и рано и поздно, лишь бы в целом спать достаточно и режим был однотипный (всегда рано или всегда поздно).

Никакой морали, выбирайте себе удобный график работы под себя)

"Ааа, отвалился интернет"

Первое, что делать - это не паниковать. Да, были времена, когда у меня пульс за 160 и руки тряслись от таких известий) 

Тут вообще 4 ситуации (если и правда пропал инет):
1) у вас нет резервного интернета и значит он вам не на столько нужен, чтоб паниковать при его отсутствии
2) резервный интернет есть и он не переключился автоматом (надо понять почему)
3) резервный интернет есть и он тоже не работает
4) резервный интернет есть и он в принципе переключается у вас вручную (значит нечего паниковать, всё ща переключите)

Вообще хочется написать road-map в картинках для своих эникейщиков и сетевиков с этапами диагностики, и я когда-нибудь это сделаю. Порядок вашей диагностики будет во многом зависеть от вашей ситуации. Понятно, что если вместе с интернетом пропало электричество, то стоит проверить щиток на предмет горения синим пламенем и в целом найти электриков. И то что у вас есть UPS на 12 часов не означает, что у оборудования провайдера на чердаке он тоже есть.

Обычно, первое, что я проверяю, а правда ли пропал инет для пользователей? Это займет пару секунд: ping 8.8.8.8, ping ya.ru со своего компа (где вы уверены в правах, политиках и сетевых настройках). Разом проверяете и два разных направления и работу DNS. Вообще по результатам этих команд можно судить о всяком: например, если dns нам ответил (хотя бы то, что адрес он не нашел), то и сетевые настройки на компе в порядке, локалка жива, может и в соседнюю сеть за dns сходили, тогда L3 свич или роутер живы. Или например всё с иинтернетом хорошо, а кто-то просто панику наводит. Или пинг до гугла есть, а у вас просто dns подох в муках.

Дальше простая истина "следуй за трафиком". То есть, проверяем, что пограничный роутер жив и видится с компов. Что с него отвечает тот адрес провайдера, что указан там шлюзом. Дальше уже трассировка с попыткой понять, где трафик теряется.

Тут уже можно звонить провайдеру и оставлять заявку в стиле "инета нет, шлюз ваш с таким-то адресом видится, а дальше тишина" или "инета нет, даже линка нет на интерфейсе в вашу сторону, шлюз не видим, наверное на чердаке чет сдохло у вас".

Что может быть в варианте "резерв есть, а автоматом не переключилось". Ну то есть, мы не берем совсем край, когда вы настроили и не тестировали - там может быть что угодно. Допустим, оно при тестах работало. Возможно, вы не угадали с реперными точками определения "наличия интернета" для переключения. Например, врубили мониторинг на шлюз провайдера. Шлюз видится, а дальше нишиша, роутер считает, что интернет есть. Или включили мониторинг на 8.8.8.8, а гугл ДНС обрыбился вообще в РФ. Он переключает на резерв, а там тоже недоступен 8.8.8.8, переключает обратно - там тоже, и так циклится по кругу. Или, самое хреновое, у вас там 30% потерь, переключение срабатывает, потерь становится 15%, инет возвращается на первого провайдера и там снова становится 30% потерь. Надо определится на каком из провайдеров потери и вырубить его нафиг, посмотреть как оно.

Что может быть, когда разом пропали два провайдера, а электричество в здании есть? Обычно, это экскаватор и рядом лежащие кабели, что ж, не повезло.

Ещё бывают ситуации, когда отвалился кусочек интернета (кто-то накосячил с BGP из крупняков). Если чет непонятное, лезу в тематические чатики. Если это что-то глобальное, там уже идёт обсуждение.

Мы тут не рассматривали что делать, когда инет таки есть, а у пользователя нет. Проблемы могут быть от физических с кабелем до групп доступа (пользователю и не положен интернет).

Для меня в составлении road-map проверки проблема выставить первичный приоритет этапов. Обычно, это с опытом видно. Первым ставить проверку физики глупо, так как это чрезвычайно редкая проблема. С другой стороны, если выдернут провод из компа, глупо проводить другие проверки. С третьей стороны, глупо проверять линк, если в здании уже полчаса нет электричества. В общем, первичный приоритет проверки - это единственное, что меня останавливает от рисования дебильных картинок.

​​"Ааа, всё сломалось!!!"

Я где-то в начале блога писала, не стоит верить таким воплям. Чаще всего сломалось что-нибудь очень нужное, но одно. Ну типа, полегла почта или телефония, или колл-цетр, или crm. Но бывают ситуации, когда реально сломалось всё с точки зрения пользователя: например, отпал ЦОД со всеми сервисами, возможно, легла локалка, ну или классика - нет электричества.

У меня было разок, когда я при глобальном пиздеце запаниковала. Это не кончилось ничем хорошим - проблему общими усилиями решили, но можно было потратить на это гораздо меньше времени и сил. Может как-нибудь расскажу.

Так что первое правило - не паниковать. Расстрелы уже отменили. Дальше надо локализовать проблему. Я обычно параллельно пытаюсь выяснить, а кто чего делал: возможно к пиздецу привели чьи-то действия и их достаточно откатить. То есть, кто-то тыкал провода в серверной, баловался с firewall или монтировал UPS - понятно хоть будет куда смотреть. Да-да, план критических изменений.. мы сейчас про то как решать, а не как предотвращать. Это всё будет потом.

Мой, не самый обширный, надо сказать, опыт подсказывает, что или "никто ничего не делал" или это что-то делала как раз я. 

Никакого чек-листа первичных проверок у меня нет, так как глобальный пиздец всегда разный и сценарии не повторяются. Если это отдельный сервис - локализуется он быстро. Тыкаю палочкой во все подозрительные места и смотрю на отклик. У меня всегда открыт RDP до ЦОДа, если он не отвалился, значит не так всё плохо. Телефония, почта, что-то ещё, пара-тройка быстрых проверок покажет, где искать. Попутно нагружаю сотрудников рядом (своего и соседнего отдела) на более глубокие проверки. Типа позвони нам на город, позвони себе на мобилу, проверь какой номер определился, позвони на 8800, отправь письмо на внешку, ответь на письмо и т.д. Если кто-то локализовал проблему в своём сервисе, также нагружает тестами меня и окружающих: зайди туда, проверь это, сделай поиск, посмотри со внешки.

Если это всё же большой писец - также локализуем большими кусками: один глаз в телегу с мониторингом от заббикса, что там по сообщениям (они вообще были?), вторым глазом начинаем откидывать: локалка? Нет, живая. Каналы в ЦОД? Все или только у нас? Инет при этом есть? На пограничный роутер ЦОД могу попасть? BGP выглядит здоровым? Не строятся туннели? Ядро доступно? Может, сдохла VMWare? СХД? Есть новости про пожар в ЦОД?
Если локалка: на свичи попасть могу? Не развалился стек? STP события были? Не могу попасть на свич - ногами в серверную. Лампочки моргают как бешеная дискотека? Нахуй первый стек из ядра, минуту ждём. Полегчало? Нет? Нахер второй стек из ядра, минуту ждём, попутно ищем человека, который притащит в серверную ноутбук. Чтоб проверить вариант "полегчало" не только по лампочкам.

Важный момент: ваши коллеги и руководство должны понимать, что вы заняты решением проблемы. Мой начальник, в случае, если я занималась проблемой, полностью брал удар пользователей на себя. Он говорил, что мы как раз заняты решением, успокаивал ТОП-менеджмент, поил коньячком валерьянкой и не давал меня побить всем жаждущим крови. Потом будут разборы кто, что и почему. Сейчас не дёргать каждые 2 минуты "ну как там?", не знаниматься обвинениями. Выяснение кто что делал - только в рамках попыток понять как это откатить.

Ммм, чем больше компания, тем меньше вероятность глобальных проблем - всё-таки всё обмазывается отказоустойчивостью. Но тем более глобальным будет пиздец, когда пушной зверёк обойдёт все барьеры failover'a и всё-таки случится.

Надо попробовать озаботиться списком проверок на энергонезависимом носителе (на листочке со скотчем). Возможно, он когда-нибудь спасёт кого-то от паники.

Картинка показывает как не надо делать))

Что бы вам такого ближе к технической части, а не к философии рассказать..

Что-то не спокойно мне, что у линуксовых серверов доступ в инет зачастую открыт для установки пакетов. Подумала, что нам нужен эдакий аналог WSUS для Debian. Решила поднять локальное зеркало репозиториев, подумала, ну будет там гигов триста, на 10, 11 и 12 debian вместе взятые. Сегодня руки дошли сделать. Ага, выньте положьте 731 гиг. 

Расстроилась, остановила закачку, ушла домой думать. Пожаловалась мужу, что не сложилось, надо что-то другое делать. Конкретные пакеты по списку качать не хочется: и забудут что-нибудь обязательно, и зависимостей там будет масса, которые не учесть. Оказалось, он слышал, что есть штука, которая служит проксёй для серверов внутри, при первом поиске пакета засасывает его из инета и дальше у себя сохраняет/кэширует. Nexus называется. Буду пробовать. А о чём вы беседуете за варкой борща?

Зачем нужен vlan
Не только за этим, но как пример

Было это в те далёкие времена, когда у нас не было управляемых коммутаторов, да и вообще была одна сеть на всё, тогда ещё /24 хватало.

Было у нас несколько белых IP адресов, а провод от провайдера был один. И так случилось, что 5-портового TP-Link, в который мы этот провод втыкали и разводили по устройствам, не хватило. Ну а я что, я ж знала, что можно две разные сети воткнуть в неуправляемый свич и каждая сеть будет видеть норм себя. Ну да, будет по всем портам ходить широковещательный трафик от всех. Да что там той сети с белыми адресами, 6 хостов всего добавится, правда? (про другую сторону я как-то не думала тогда) И мы воткнули в общую сеть хвостик от провайдера. Всё заработало, всё было хорошо. Покупка мелкого свича на 8 портов что-то затянулась, так и мы и жили до одного момента.

Часиков в 10 утра потерял сеть комп Генерального директора (закон подлости: он первым терял сеть при любых проблемах). Мы пошли чесать репу и тут потерял сеть второй комп. И третий. Глянули настройки, компы не получают адрес по dhcp. А у кого lease не протух - у того всё ОК. Ну, вердикт понятен - dhcp помер. Захожу на него, а он живой. У него просто кончились адреса 😳 Я сделала хлоп-хлоп глазами, мысленно перекрестилась и грохнула все лизы. Моргнула, а адреса снова кончились. Я завороженно повторила, результат не изменился. 
Имена устройств были прикольные, мне минуты три понадобилось, чтобы осознать ситуацию, вспомнить, что провод провайдра торчит в нашу сеть и понять, что от них утекли dhcp запросы из какого-то сегмента. Наша сеть немножко по L2 соединилась с сетью провайдера, а тут, вот удача, наш DHCP торчит. Дальше мы выдернули провод из нашей сети для верности, всё резко успокоилось, я финально грохнула все лизы на dhcp. Мы перетасовали устройства так, чтоб хватило изначального отдельного коммутатора (выключили себе wi-fi в кабинете). Позвонили провайдеру и рассказали чудесные новости. Ну посидели полчасика без интернета, тогда вообще ни о чём. Зато я резко прочувствовала, зачем людям VLAN нужны. 

А nexus sonatype из вчерашнего поста ничего так, заработал

​​Упс с UPS

Как-то мы аж втроём приехали в филиал с инспекцией. Регион был проблемный, айтишники были проблемные, в общем, там было где разгуляться с аудитом, с внедрением и даже с персональным обучением.

После задушевного заглядывания в глаза местному админу с вопросом "почему у тебя 50 новеньких ИБП 8 месяцев лежат на складе, а 90% компов работают без упсов при том, что электричество отключают в среднем 2 раза в неделю?" с нами по-тихому поделились проблемой тоже связанной с электричеством.

А именно: серверный UPS вообще нихрена не держит при отключении электричества. В нём даже сменили аккумы, вот прям на прошлой неделе, а лучше не стало.
Отдельной строкой что там вообще творилось с электропитанием: здание стояло возле железной дороги и электричество периодически мигало при проезжающем мимо поезде. Это помимо плановых отключений от железнодорожников, которые тоже пару раз в месяц баловались работами на сети в будни. Решились проблемы только с переездом офиса в другое место, но это было значительно позже описываемых событий.

Итак "упс не держит". Периодически впечатывая ладонь в лицо 🤦‍♂️ мы позадавали вопросы о подключении его к локальной сети (зачем?), сбора ошибок (зачем, мы купили аккумы же?), рассчетной нагрузке (ну типа норм же, ну мы не считали, но так подумали) и калибровке после утановки новых батарей (правда я тоже тогда только узнала, что надо калибровать).

Ок, подключили веб-морду, откалибровали батарейки. Но командировка не резиновая, а дергать электричество в здании негуманно, чтоб посмотреть что происходит.
Пошли глазами на ИБП смотреть. Стали считать питание - не сошлось с количеством оборудования. Стойка у стены, провода питания уходят вглубь. В середине стойки было свободно юнитов 15, которые образовывали дырку технологическое отверстие. Мы переглянулись. Я честно сказала, что я тяжёлая, толстая и электричеством, когда я разломаю жопой упс, меня ёбнет так, что только головешки останутся, а я ещё жить хочу. То ли дело мой лёгкий гибкий начальник в резиновых тапочках. Я даже готова сходить за деревянной шваброй и стоять рядом, чтоб быстро оттащить если что. В общем, он принял на себя удар судьбы, мы раздвинули сопли патчиков и он нырнул. Потом сказал, что нихрена не видно и ввинтился глубже. Снаружи остальсь ноги в резиновах тапочках перпендикулярно стойке. Мы пошевелили электрические провода. Изнутри донеслось "хм, ооо, да ладно?! Блять, ебланы, долбоёбы!". Начальника вытащили за ноги. Он ткнул в соседнюю стойку: "это чьё?". Серверная была общая на две компании и вторая стойка была собственно не наша. В стойке была пара небольших упсов, которые держали сервера соседней компании. И оба упса были воткнуты в наш. С возгласами "да мне похер что там у них упадёт" лишнее вытащили и воткнули в какие-то розетки. Всё кончилось хорошо, UPS стал держать нагрузку рассчетное время, а историю эту до сих пор вспоминаем))

На картинке примерный вид на ноги начальника, только переместите мысленно в середину стойки. Эпичного фото не осталось, свободной рукой я сжимала швабру