"Ааа, отвалился интернет"

Первое, что делать - это не паниковать. Да, были времена, когда у меня пульс за 160 и руки тряслись от таких известий) 

Тут вообще 4 ситуации (если и правда пропал инет):
1) у вас нет резервного интернета и значит он вам не на столько нужен, чтоб паниковать при его отсутствии
2) резервный интернет есть и он не переключился автоматом (надо понять почему)
3) резервный интернет есть и он тоже не работает
4) резервный интернет есть и он в принципе переключается у вас вручную (значит нечего паниковать, всё ща переключите)

Вообще хочется написать road-map в картинках для своих эникейщиков и сетевиков с этапами диагностики, и я когда-нибудь это сделаю. Порядок вашей диагностики будет во многом зависеть от вашей ситуации. Понятно, что если вместе с интернетом пропало электричество, то стоит проверить щиток на предмет горения синим пламенем и в целом найти электриков. И то что у вас есть UPS на 12 часов не означает, что у оборудования провайдера на чердаке он тоже есть.

Обычно, первое, что я проверяю, а правда ли пропал инет для пользователей? Это займет пару секунд: ping 8.8.8.8, ping ya.ru со своего компа (где вы уверены в правах, политиках и сетевых настройках). Разом проверяете и два разных направления и работу DNS. Вообще по результатам этих команд можно судить о всяком: например, если dns нам ответил (хотя бы то, что адрес он не нашел), то и сетевые настройки на компе в порядке, локалка жива, может и в соседнюю сеть за dns сходили, тогда L3 свич или роутер живы. Или например всё с иинтернетом хорошо, а кто-то просто панику наводит. Или пинг до гугла есть, а у вас просто dns подох в муках.

Дальше простая истина "следуй за трафиком". То есть, проверяем, что пограничный роутер жив и видится с компов. Что с него отвечает тот адрес провайдера, что указан там шлюзом. Дальше уже трассировка с попыткой понять, где трафик теряется.

Тут уже можно звонить провайдеру и оставлять заявку в стиле "инета нет, шлюз ваш с таким-то адресом видится, а дальше тишина" или "инета нет, даже линка нет на интерфейсе в вашу сторону, шлюз не видим, наверное на чердаке чет сдохло у вас".

Что может быть в варианте "резерв есть, а автоматом не переключилось". Ну то есть, мы не берем совсем край, когда вы настроили и не тестировали - там может быть что угодно. Допустим, оно при тестах работало. Возможно, вы не угадали с реперными точками определения "наличия интернета" для переключения. Например, врубили мониторинг на шлюз провайдера. Шлюз видится, а дальше нишиша, роутер считает, что интернет есть. Или включили мониторинг на 8.8.8.8, а гугл ДНС обрыбился вообще в РФ. Он переключает на резерв, а там тоже недоступен 8.8.8.8, переключает обратно - там тоже, и так циклится по кругу. Или, самое хреновое, у вас там 30% потерь, переключение срабатывает, потерь становится 15%, инет возвращается на первого провайдера и там снова становится 30% потерь. Надо определится на каком из провайдеров потери и вырубить его нафиг, посмотреть как оно.

Что может быть, когда разом пропали два провайдера, а электричество в здании есть? Обычно, это экскаватор и рядом лежащие кабели, что ж, не повезло.

Ещё бывают ситуации, когда отвалился кусочек интернета (кто-то накосячил с BGP из крупняков). Если чет непонятное, лезу в тематические чатики. Если это что-то глобальное, там уже идёт обсуждение.

Мы тут не рассматривали что делать, когда инет таки есть, а у пользователя нет. Проблемы могут быть от физических с кабелем до групп доступа (пользователю и не положен интернет).

Для меня в составлении road-map проверки проблема выставить первичный приоритет этапов. Обычно, это с опытом видно. Первым ставить проверку физики глупо, так как это чрезвычайно редкая проблема. С другой стороны, если выдернут провод из компа, глупо проводить другие проверки. С третьей стороны, глупо проверять линк, если в здании уже полчаса нет электричества. В общем, первичный приоритет проверки - это единственное, что меня останавливает от рисования дебильных картинок.

​​"Ааа, всё сломалось!!!"

Я где-то в начале блога писала, не стоит верить таким воплям. Чаще всего сломалось что-нибудь очень нужное, но одно. Ну типа, полегла почта или телефония, или колл-цетр, или crm. Но бывают ситуации, когда реально сломалось всё с точки зрения пользователя: например, отпал ЦОД со всеми сервисами, возможно, легла локалка, ну или классика - нет электричества.

У меня было разок, когда я при глобальном пиздеце запаниковала. Это не кончилось ничем хорошим - проблему общими усилиями решили, но можно было потратить на это гораздо меньше времени и сил. Может как-нибудь расскажу.

Так что первое правило - не паниковать. Расстрелы уже отменили. Дальше надо локализовать проблему. Я обычно параллельно пытаюсь выяснить, а кто чего делал: возможно к пиздецу привели чьи-то действия и их достаточно откатить. То есть, кто-то тыкал провода в серверной, баловался с firewall или монтировал UPS - понятно хоть будет куда смотреть. Да-да, план критических изменений.. мы сейчас про то как решать, а не как предотвращать. Это всё будет потом.

Мой, не самый обширный, надо сказать, опыт подсказывает, что или "никто ничего не делал" или это что-то делала как раз я. 

Никакого чек-листа первичных проверок у меня нет, так как глобальный пиздец всегда разный и сценарии не повторяются. Если это отдельный сервис - локализуется он быстро. Тыкаю палочкой во все подозрительные места и смотрю на отклик. У меня всегда открыт RDP до ЦОДа, если он не отвалился, значит не так всё плохо. Телефония, почта, что-то ещё, пара-тройка быстрых проверок покажет, где искать. Попутно нагружаю сотрудников рядом (своего и соседнего отдела) на более глубокие проверки. Типа позвони нам на город, позвони себе на мобилу, проверь какой номер определился, позвони на 8800, отправь письмо на внешку, ответь на письмо и т.д. Если кто-то локализовал проблему в своём сервисе, также нагружает тестами меня и окружающих: зайди туда, проверь это, сделай поиск, посмотри со внешки.

Если это всё же большой писец - также локализуем большими кусками: один глаз в телегу с мониторингом от заббикса, что там по сообщениям (они вообще были?), вторым глазом начинаем откидывать: локалка? Нет, живая. Каналы в ЦОД? Все или только у нас? Инет при этом есть? На пограничный роутер ЦОД могу попасть? BGP выглядит здоровым? Не строятся туннели? Ядро доступно? Может, сдохла VMWare? СХД? Есть новости про пожар в ЦОД?
Если локалка: на свичи попасть могу? Не развалился стек? STP события были? Не могу попасть на свич - ногами в серверную. Лампочки моргают как бешеная дискотека? Нахуй первый стек из ядра, минуту ждём. Полегчало? Нет? Нахер второй стек из ядра, минуту ждём, попутно ищем человека, который притащит в серверную ноутбук. Чтоб проверить вариант "полегчало" не только по лампочкам.

Важный момент: ваши коллеги и руководство должны понимать, что вы заняты решением проблемы. Мой начальник, в случае, если я занималась проблемой, полностью брал удар пользователей на себя. Он говорил, что мы как раз заняты решением, успокаивал ТОП-менеджмент, поил коньячком валерьянкой и не давал меня побить всем жаждущим крови. Потом будут разборы кто, что и почему. Сейчас не дёргать каждые 2 минуты "ну как там?", не знаниматься обвинениями. Выяснение кто что делал - только в рамках попыток понять как это откатить.

Ммм, чем больше компания, тем меньше вероятность глобальных проблем - всё-таки всё обмазывается отказоустойчивостью. Но тем более глобальным будет пиздец, когда пушной зверёк обойдёт все барьеры failover'a и всё-таки случится.

Надо попробовать озаботиться списком проверок на энергонезависимом носителе (на листочке со скотчем). Возможно, он когда-нибудь спасёт кого-то от паники.

Картинка показывает как не надо делать))

Что бы вам такого ближе к технической части, а не к философии рассказать..

Что-то не спокойно мне, что у линуксовых серверов доступ в инет зачастую открыт для установки пакетов. Подумала, что нам нужен эдакий аналог WSUS для Debian. Решила поднять локальное зеркало репозиториев, подумала, ну будет там гигов триста, на 10, 11 и 12 debian вместе взятые. Сегодня руки дошли сделать. Ага, выньте положьте 731 гиг. 

Расстроилась, остановила закачку, ушла домой думать. Пожаловалась мужу, что не сложилось, надо что-то другое делать. Конкретные пакеты по списку качать не хочется: и забудут что-нибудь обязательно, и зависимостей там будет масса, которые не учесть. Оказалось, он слышал, что есть штука, которая служит проксёй для серверов внутри, при первом поиске пакета засасывает его из инета и дальше у себя сохраняет/кэширует. Nexus называется. Буду пробовать. А о чём вы беседуете за варкой борща?

Зачем нужен vlan
Не только за этим, но как пример

Было это в те далёкие времена, когда у нас не было управляемых коммутаторов, да и вообще была одна сеть на всё, тогда ещё /24 хватало.

Было у нас несколько белых IP адресов, а провод от провайдера был один. И так случилось, что 5-портового TP-Link, в который мы этот провод втыкали и разводили по устройствам, не хватило. Ну а я что, я ж знала, что можно две разные сети воткнуть в неуправляемый свич и каждая сеть будет видеть норм себя. Ну да, будет по всем портам ходить широковещательный трафик от всех. Да что там той сети с белыми адресами, 6 хостов всего добавится, правда? (про другую сторону я как-то не думала тогда) И мы воткнули в общую сеть хвостик от провайдера. Всё заработало, всё было хорошо. Покупка мелкого свича на 8 портов что-то затянулась, так и мы и жили до одного момента.

Часиков в 10 утра потерял сеть комп Генерального директора (закон подлости: он первым терял сеть при любых проблемах). Мы пошли чесать репу и тут потерял сеть второй комп. И третий. Глянули настройки, компы не получают адрес по dhcp. А у кого lease не протух - у того всё ОК. Ну, вердикт понятен - dhcp помер. Захожу на него, а он живой. У него просто кончились адреса 😳 Я сделала хлоп-хлоп глазами, мысленно перекрестилась и грохнула все лизы. Моргнула, а адреса снова кончились. Я завороженно повторила, результат не изменился. 
Имена устройств были прикольные, мне минуты три понадобилось, чтобы осознать ситуацию, вспомнить, что провод провайдра торчит в нашу сеть и понять, что от них утекли dhcp запросы из какого-то сегмента. Наша сеть немножко по L2 соединилась с сетью провайдера, а тут, вот удача, наш DHCP торчит. Дальше мы выдернули провод из нашей сети для верности, всё резко успокоилось, я финально грохнула все лизы на dhcp. Мы перетасовали устройства так, чтоб хватило изначального отдельного коммутатора (выключили себе wi-fi в кабинете). Позвонили провайдеру и рассказали чудесные новости. Ну посидели полчасика без интернета, тогда вообще ни о чём. Зато я резко прочувствовала, зачем людям VLAN нужны. 

А nexus sonatype из вчерашнего поста ничего так, заработал

​​Упс с UPS

Как-то мы аж втроём приехали в филиал с инспекцией. Регион был проблемный, айтишники были проблемные, в общем, там было где разгуляться с аудитом, с внедрением и даже с персональным обучением.

После задушевного заглядывания в глаза местному админу с вопросом "почему у тебя 50 новеньких ИБП 8 месяцев лежат на складе, а 90% компов работают без упсов при том, что электричество отключают в среднем 2 раза в неделю?" с нами по-тихому поделились проблемой тоже связанной с электричеством.

А именно: серверный UPS вообще нихрена не держит при отключении электричества. В нём даже сменили аккумы, вот прям на прошлой неделе, а лучше не стало.
Отдельной строкой что там вообще творилось с электропитанием: здание стояло возле железной дороги и электричество периодически мигало при проезжающем мимо поезде. Это помимо плановых отключений от железнодорожников, которые тоже пару раз в месяц баловались работами на сети в будни. Решились проблемы только с переездом офиса в другое место, но это было значительно позже описываемых событий.

Итак "упс не держит". Периодически впечатывая ладонь в лицо 🤦‍♂️ мы позадавали вопросы о подключении его к локальной сети (зачем?), сбора ошибок (зачем, мы купили аккумы же?), рассчетной нагрузке (ну типа норм же, ну мы не считали, но так подумали) и калибровке после утановки новых батарей (правда я тоже тогда только узнала, что надо калибровать).

Ок, подключили веб-морду, откалибровали батарейки. Но командировка не резиновая, а дергать электричество в здании негуманно, чтоб посмотреть что происходит.
Пошли глазами на ИБП смотреть. Стали считать питание - не сошлось с количеством оборудования. Стойка у стены, провода питания уходят вглубь. В середине стойки было свободно юнитов 15, которые образовывали дырку технологическое отверстие. Мы переглянулись. Я честно сказала, что я тяжёлая, толстая и электричеством, когда я разломаю жопой упс, меня ёбнет так, что только головешки останутся, а я ещё жить хочу. То ли дело мой лёгкий гибкий начальник в резиновых тапочках. Я даже готова сходить за деревянной шваброй и стоять рядом, чтоб быстро оттащить если что. В общем, он принял на себя удар судьбы, мы раздвинули сопли патчиков и он нырнул. Потом сказал, что нихрена не видно и ввинтился глубже. Снаружи остальсь ноги в резиновах тапочках перпендикулярно стойке. Мы пошевелили электрические провода. Изнутри донеслось "хм, ооо, да ладно?! Блять, ебланы, долбоёбы!". Начальника вытащили за ноги. Он ткнул в соседнюю стойку: "это чьё?". Серверная была общая на две компании и вторая стойка была собственно не наша. В стойке была пара небольших упсов, которые держали сервера соседней компании. И оба упса были воткнуты в наш. С возгласами "да мне похер что там у них упадёт" лишнее вытащили и воткнули в какие-то розетки. Всё кончилось хорошо, UPS стал держать нагрузку рассчетное время, а историю эту до сих пор вспоминаем))

На картинке примерный вид на ноги начальника, только переместите мысленно в середину стойки. Эпичного фото не осталось, свободной рукой я сжимала швабру

​​Нет облаков, это чей-то компьютер (с)

Мы, ныне старые пердуны за 30, всегда считали, что инфраструктура должна быть своя. Она может стоять в общем ЦОД, конечно, но и у себя в серверной под бочком должно быть хотя бы место для бэкапов. Все эти azure, yandex облака, гугл почта и виртуальный AD смузи-стартаперов вызывали сомнительный хмык. Максимум можно включить в свою инфраструктуру на "пережить пик нагрузки", "перебиться в переезд" или хранить третий бэкап. Если уж облако для работы, то своё, родное, на своих серверах и СХД. Для сколько-нибудь крупной организации своя инфраструктура также дешевле в эксплуатации.

Облако это чей-то компьютер. То есть, конечно, сервер и не один. Но это такое же железо, которое может ломаться, греться, сыпаться, иметь аппаратные баги и так далее - никаких волшебных технологий. Совсем не факт, что вашу облачную инфраструктуру кто-то резервирует достаточно или правильно строит.

Облако это чей-то компьютер. То есть, не ваш. Кто-то ещё имеет к нему физический доступ (и хорошо если не имеет логического). Вы не знаете что там за железо и в каком оно состоянии. Аппаратные проблемы? Ну, попробуйте подебажить или добиться этого от поддержки. Владелец имеет возможность прекратить оказание услуги просто потому что. Даже если вы выиграете потом суд - вашему бизнесу это уже мало поможет. Облачный сервис уронили? Можно только писать в поддержку и ждать, от вас мало что зависит.

После всяких санкций, отмен и уходов мы погладили себя по головке и сказали "мы же говорили". А ещё тайком полюбовались на свой умный дом с сервером на антресолях, который не отключит РКН. Такие вот мы старые динозавры.

​​Хорошо когда сначала читаешь инструкцию

Сегодня чуть не уложила ЦОД. Оказывается, когда включаешь сброс логов с cisco ASA на syslog-сервер по tcp, то аса может выдать сюрприз. Дефолтное поведение при tcp при недоступности syslog-сервера или невозможности записать файл (место кончилось) - обрубить все новые коннекты к asa. Никаких предупреждений, ошибешься так в ip сервера или интерфейсе и привет. 
Спасибо мне, что я сначала читаю инструкции до конца с примечаниями! Отключается поведение командой logging permit-hostdown.

Вот вам понедельничный мотиватор от KotiaForge

Про архивирование логов, рабочее

Сегодня немного технический пост. Если заметили, я не пишу посты в стиле "10 команд, которые должен знать каждый" - этого и без меня достаточно, да и нафиг кому эти команды нужны, если лично у вас нет боли, которую они решают.

В понедельник я настроила наиподробнейший сброс логов с cisco ASA на syslog сервер. В процессе ознакомилась с настройками сислога, влетела в пару мест, не то чтобы я его часто настраивала раньше. На денёк я это дело оставила и получила результат: часовой лог занимает от 1,5 до 4 ГБ в зависимости от времени суток. Я посмотрела на ровный график уменьшающегося на серваке места и приуныла. 

Ну понятно, первый путь пролегал в сторону logrotate. Я изучила возможности конфига и не нашла как досточно простым способом сделать так, чтоб 4 дня почасовых логов было без архивации, а ещё 7 дней, скажем, с архивацией, а ещё более старые удалялись. В общем, поскольку с питоном у меня пока плохо, да и не очень он тут нужен, я снова пришла к bash. Тут очень удачно муж напомнил про zstd - новое слово в архивировании. 

Скрипт в две строчки:
find /var/log/firewall/10.10.10.1/ -name '*.log' -mtime +4 | xargs -I % zstd -c -9 --rm % -o %.zst

find /var/log/firewall/10.10.10.1/ -name '*.zst' -mtime +7 | xargs rm

По дороге пришлось погуглить про xargs (не используйте тут -0, у вас же нет пробелов в имени лог-файлов), но вроде всё на тестовых прогонах работает. Zstd жмет файл с логами на 4,7 гига в 280 метров на уровне сжатия 9, на одном ядре секунд за 10 (субъективно, каюсь, я не засекала). Это я на самом большом попробовала, ещё до разбивки на часовые файлы. Разврхивирует вообще за пару секунд, как мне показалось.

Такая вот штука из практики.
Ипользованы базовые знания: есть такая штука как syslog и logrotate, файлы можно архивировать, команды можно стыковать с помощью pipe.
Использованы базовые навыки: делать файл исполняемым, запихивать его в cron, создавать и удалять файлы.
Остальное гуглёж и тесты.

Это к вопросу "каждый сисадмин должен..". Должен знать, что "так бывает", в половине случаев этого достаточно (впрочем, в другой половине недостаточно).

Реанимирование сайта

Весь вечер пятницы я занималась реанимацией сайта. Последняя запись там была в марте 2018 и пять лет я просто отстёгивала хостеру деньги за домен и за хостинг. 

Там стояла какая-то древняя версия wordpress, которая не смогла обновиться. Ей нужен был новый PHP. Ок, версия PHP выбирается в админке, выбрала новую. Жмакнула обновиться и сайт помер. Спасибо хостингу, на почту пришла ссылка на админку аварийного восстановления. Тема, которая была ранее выбрана то ли не работает с новой версией WordPress, то ли вообще больше не существует. Выбрала другую тему, обновилась, но сайт распидорасило. Слетели все заголовки, списки и половина картинок. Но меня не остановить, я была готова идти до конца!

Проще всего было навесть https, сертификат выпускается и навешивается одной кнопкой. Дальше пришлось вспоминать как вообще что-то делать в WordPress админке, вычищать все кракозябры, восстанавливать списки и ссылки на картинки, чистить меню и всё такое. 

Вообще, где-то в середине процесса я была готова заплатить немножко денег, чтоб кто-нибудь всё сделал за меня, но что я не админ, что ли? В общем, мне стало стыдно, что я не могу победить админку для домохозяек. Так что всё сама восстановила, хотя и плевалась, как я недолюбливаю web.

Сегодня даже осилила пару постов туда залить. 

Зачем мне сайт я и сама особо не знаю, ну может посты проиндексируются и сюда кто-то в итоге забредёт. 
А, ну и сам сайт то: https://virrasha.ru/

​​Про то, как нам 30 серверов привезли

Были времена, когда в отделе нас было немного, а количество не-начальников вообще колебалось от одного до двух. В то далёкое время, когда приезжала машина с картриджами, компами или иной техникой, мы все дружно, всеми наличными айтишниками, шли эту технику разгружать и таскать в офис. Не то чтобы я прям наравне со всеми таскала, грузоподъемность у меня всё ж пониже, чем у парней, но тоже участвовала по мере сил.

Было чудесное утро понедельника. Начальник сидел на планёрке, двое на больничном и один в отпуске. Из айтишников на месте была я. Зазвонил телефон: принимайте доставку, мы приехали. Я подумала "хоть бы картриджи" и спросила: "а что везёте?". Мне жизнерадостно ответили "сервера!". 

Ну что, я спустилась. Посмотрела на грузовик с 30 двухюнитовыми серверами. Доставщики посомтрели на меня "а что, больше никого нет?". Я честно сказала, что никого. Они ещё раз на меня посмотрели. "Ну мы вам выгрузить поможем". Угу, сказала я, погнали. Пока выгружались, я им подписала документы и шлёпнула печать. Пересчитала коробки и они свалили. Выгрузились они на стоянке на улице. Предстоял путь стоянка-дверь-холл-лифт-офис. Чтоб не спёрли, надо было тащить в пределах видимости, так что я начала носить их к входной двери. А коробка такая, что я поднять могу, если прям на вытянутых вниз руках, а нести уже перебежками только. 

На крылечко вышли покурить маркетологи с финансистами. Народ веселился, а хуле, тут такой бесплатный цирк)) где-то к четвертому серверу на крыльцо вышла покурить наш финансовый директор - видимо, планёрка закончилась. Посмотрела на курящих мужиков, на меня. В общем, высказалась в пространство,что девочке надо бы помочь, а то тут корячится. Я тогда честно попыталась сказать, что народ не виноват, не их работа носить коробки, тем более они тут в костюмчиках. Ну потому что это правда, финансисты как бы не грузчиками нанимались, это я тогда эникейщиком была. Но да, я была рада принять помощь, это был один из немногих моментов, когда прям сильно воспользовалась половой принадлежностью. Тогда была уже на всё согласна, только затащите мне эти коробки)) Заодно вызвонила начальника, раз планёрка закончилась, он спустился, присоединился к процессу. А я так, двери придерживала и в лифте кнопку жала. Впятером там народ быстро перетаскал.

Сейчас у нас большой отдел, есть грузовая тележка с колёсиками и некоторое количество эникейщиков, даже служба АХО, которая тоже в грузовых работах участвует. Иногда даже грузчики от доставки сами носят технику. Но были времена, да..

На фото те самые серваки (не все влезли)

А этот технический пост не от меня, но надеюсь вам будет интересно :)

Всем привет, на связи муж Наташки, не то чтобы я админ, но иногда играюсь:

Решил я таки воспользоваться предложением судьбы купить на Avito за недорого пару 16TB дисков Seagate Exos x18 ST16000NM000J, да поставить их в RAID1 в домашний сервер. Диски вроде новые, но гелий наполненные и чёрт пойми почему такие дешёвые (USD 180 за 16 TB 13 октября 2023 года), естественно без чека и у мутного продавца, под гарантию в месяц под честное слово. Три диска и RAID 5 не имеют смысла вообще, на таком объёме ресинк может идти неделями, обратите внимание как тут об этом писали 14(!) лет назад.

Я работаю не в энтерпрайзе, а в геймдеве, мы хардварных рейд контроллеров не закупаем, но наши админы и техдир уже полтора десятка лет активно применяют mdraid в различных конфигурациях и характеризуют его только положительно, особенно ценным оказывается возможность пересобрать этот raid на тотально другом железе.

Ну так вот, решил я почитать всякое про mdraid и набрёл на пост посвежее, 11-летней давности: откуда узнал о write-intent bitmap и, честно говоря, не понял начерта он в зеркале (и всё ещё не понял), но также задумался, что точно не хочу его хранить на самих дисках и превращать одну запись в три, тем более, что у меня уже есть системный SSD, и вообще пересобрать RAID можно и без этого bitmap, так что, если что, его и потерять можно.

Вот тут написано что он не имеет смысла только на 0, а также, что если его выложить на другой диск, то там непременно должна быть ext3, а у меня ext4 на руте. И там же написано как манипулировать с ним при помощи --grow. Пытаясь прочитать всё, что под руку попадётся, нашел ещё и вот это, где говорится о проблемах выноса bitmap на рутовый раздел.

И тут я окончательно запутался, будет ли он создан для моего массива или нет, нужно его выносить на другой диск или нет, можно на ext4 или нет. Все вышеперечисленные ссылки (и другие посты на serverfault и т.п.) ответа на вопрос не дали и я решил посмотреть в man mdadm, а так как я админ не настоящий, я предпочитаю читать из браузера, а не в консоли, поэтому вбил в гугл "man mdadm" и что бы вы думали, первой ссылкой вылазит opennet, а второй этот ман и в них немного отличается раздел про опцию --bitmap, но ни тот, ни другой ничего не говорят о том, какое значение будет использовано по умолчанию. Да и про ext2 и ext3, вдруг это древние письмена. Решил переповерить собственно в моём debian, и вуаля:

Note: external bitmaps are only known to work on ext2 and ext3. Storing bitmap files on other filesystems may result in serious problems.

When creating an array on devices which are 100G or larger, mdadm automatically adds an internal bitmap as it will usually be beneficial. This can be suppressed with --bitmap=none or by selecting a different consistency policy with --consistency-policy.

Из этого уже понятно, что экспериментировать с расположением bitmap файла на ext4 я точно не буду. Что при создании моего массива будет создан internal bitmap. Вопросы всё ещё остались, нужен ли мне вообще bitmap на RAID1? Поможет ли он при восстановлении поле потери питания (ups пока в планах)? Если нужен, наверное придётся отрезать на SSD кусочек под ext3 файлуху и положить его туда. Ну или произошло чудо и в современности internal bitmap просто будет достаточно хорош.

Мораль: читайте ман в консоли в своём дистрибутиве, там может быть больше инфы чем в гугле (но не вся).

Ваш сервер в моей серверной стоять не будет

Был у нас как-то период, кода мы ездили в филиалы с инспекцией без предупреждения. Обычно, отправляли письмо директору о том, что едем, уже при посадке в самолёт (а то и по прилёту на место). Тогда я была не связана семейными узами и с удовольствием махнула на недельку в дальние дали.

Вопросов было много. Из прикольного - нас выгоняли в первый день прям в 17 часов, "филиал закрывается, сдаётся на охрану". На второй день мы поехали по точкам проверять ПО. Дата установки антивируса - вчерашняя :) Мы вообще к филиалам лояльно относимся, но когда на нас в ответ на простые вопросы "вы же отчитались о полной установке в прошлом месяце, как так?" начинают наезжать в стиле "а может дата сбилась, ничего не докажете" - это начинает напрягать. 

С мелкими вопросами разобрались тогда. А теперь к главному блюду: филиал был географически отдалённый и общероссийским счастьем в виде оптики в регионе был обделён. Только спутник, только хардкор. Соответственно, интернет там был очень лимитный, а бэкап БД быстрее и дешевле было отправить по почте на флешке (без шуток, мы данные для слива в общую базу слали почтой России раз в месяц, а обратно засылали дистрибутивы с софтом). У предыдущего админа были соответствующие настройки шейпинга и прокся со списками разрешения, а у нового, которого мы инспектировали, видимо было всё отключено. Да, бывает так, что старый админ уходит и не оставляет инструкций, сейчас с этим боремся определёнными методами, а тогда это был один из первых случаев. 

Месяцем ранее пришел интересный счет на оплату интернета и потому было решено вкатить им что-нибудь, чтобы головной офис мог посмотреть, куда трафик тратится. Заметьте, никого огульно не обвиняли, просто появились вопросы. Ну и я за простые решения, на месте попросила выдать мне рабочую станцию и ваяла прозрачный прокси на базе squid. Удалённо на канале 256-512 килобит, да ещё без содействия админа, это было бы делать сложно. 

И вот сижу я, ваяю конфиг, а админ меня аккуратно спрашивает, а что это вы, Наталья, делаете? Ну я и рассказала, что ща доделаю и посмотрим кто куда в интернет ходит, а потом закроем лишнее. Раз вы этим не занимаетесь. Человек ушел переварить информацию. Вернулся и начал вещать на повышенных тонах, что им такого не надо, что "неизвестно что" он в свою систему ставить не будет и "в моей серверной вашего сервера стоять не будет! Не позволю!". 

Я тогда была скромной девочкой и не могла сказать прямо в лицо "да ты охуел, дядя". Даже сейчас у меня с этим определенные проблемы, хотя матерюсь я в пять раз больше. Показания админа по поводу мониторинга расхода трафика за день поменялись несколько раз: "мы мониторили, был чисто рабочий трафик, но логов не осталось", "мы не мониторили, но все сознательные", "нам не нужно ничего смотреть" и прочее. Также меня отделили от коллеги и попытались завести разговоры на тему "ну мы всё исправим, вы в отчете напишите норм, а мы тут уже почти исправили", которые перемежались угрозами написать на меня какие-то докладные и попытками что-то там предложить со скидкой.

В тот день я как никогда ждала утра в Москве. И в 7 московских утра набирала безопаснику с фразой "да они опухли", после чего от души высказалась про всю эту ситуацию. Меня ещё потом обвиняли, типа зачем сразу безопасник, можно же было на месте решить через руководство)) Зато сразу и сервер ставить можно, и полное содействие окажем, и за трафиком следить хотим, прям не можем дождаться. Кстати, лидировали по объему подбор машин, автофорумы и кулинарные сайты. На время пришлось ввести белые списки.

Внезапно на канал привалило подписчиков! Я рада вас видеть, приходите в комменты, читайте, пишите, ставьте реакции. У меня тут канал про мой опыт от эникейства через админство в сети и немного менеджерство: старые рассказы, которые уже стали байками, немного технического про текущие будни, капельку философии на тему. Возможно, вы не узнаете 100 новых команд в bash, зато прочитаете охуительную историю в пятницу)

Как мы боремся с "ушел и не оставил инструкций"
Надо отметить, с переменным успехом боремся, но всё же

Итак, в предыдущем посте была вскользь задета ситуация, когда админ филиала работал-работал и ушёл, не передав дела. Может, ему замену не успели найти, а может просто плюнуть в лицо уходя хотелось. Ситуации - они разные, мы не про розовых поней. Вопрос, как предотвращать такое?

Надо сказать, что со стороны финансовой мотивации мы сильно ограничены, а моральные пиздюли по телефону имеют эффект только на очень впечатлительных (на меня, например), коих в айти меньшинство. Реально - у админа филиала ноль мотивации что-то документировать, плюс, обычно, он также уверен, что у него нет на это времени. Так что первое, к чему приходит более-менее крупная компания - это стандартизация процессов. Начинаем всё делать одинаково настолько, насколько это возможно. Одинаковые правила именования, создания учеток, выделения прав, одинаковое оборудование и одинаковые способы подключения, один софт и т.д. Да, в угоду стандартизации иногда придется принести отдельное удобство каждого, таков путь.

Просто инструкция "делаем теперь так" не даст вам ничего. 40% выполнят, 40% прочтут инструкцию жопой, 20% забьют хер сразу. Спустя месяц забьют хер уже 60%. Поэтому следом за стандартизацией идут ненавидимые всеми регламенты. Где на 100 страниц мелким шрифтом будет расписано как надо делать. Это чуть-чуть улучшит ситуацию, так как за невыполнение регламента уже можно выдавать какие-то пиздюли (в основном, всё ещё чисто моральные).

Дальше за ручки идут автоматизация (которую любят) и централизация (которую ненавидят регионы). Ну, с автоматизацией понятно. Когда плюс-минус прошла стандартизация, уже можно что-то автоматизировать. Под централизацией понимается замыкание некоторых процессов на компактную рабочую группу. Группу, которая точно знает как надо. Она может быть собрана из участников разных часовых поясов, но всё же является одной структурной единицей. Почему же идёт централизация? Почему у админов регионов отбирают права, почему не дают сделать свой "линукс и скрипты" с шахматами и поэтессами? Собственно именно поэтому. Чтоб не создалось ситуаций, когда ушел и не оставил документации что там как наверчено. А также, чтоб замена админа не требовала "знание debian, python, sql, черта лысого". Проще нанять трёх человек в условной Москве и выдавать им фидбек на месте, говоря, глядя в глаза, "никогда так больше не делай", чем пытаться заставить регионы делать что-то так, как сказали, а не так, как они видят. Плюс складывается какой-то взаимозаменяемый коллектив и своя база знаний (за наполнением который следит начальник). Уход одного не рушит систему.

Да, это довольно грустно для регионов. Если раньше было поле для экспериментов, то теперь лавочка прикрыта. Чуть что задумал - нет прав. Да, мы теряем в гибкости, где-то в удобстве, где-то в скорости, включая скорость реакции. Регламенты все ненавидят (да и мы тоже). Когда-то я верила в более лучший мир, где каждый админ стремится делать хорошо, документирует и не делает так, как сказали не делать. А потом я столкнулась с реальной жизнью.

К сожалению, мы при таком подходе теряем часть хороших кадров в регионах - им скучно. С другой стороны, при наличии возможности, стараемся включать таких сотрудников в те самые группы централизации.

Насчет того, дешевле ли централизация.. спорный вопрос. Деньги - это не только ФОТ, но и затраты на оборудование, разработку, внедрение, обучение, риски простоя, потеря клиентов при потере скорости и т.д. Я не владелец бизнеса, так что про деньги именно с этой стороны пожалуй не буду. В каждом бизнесе своя оценка.

Я знаю, что есть другие пути, по которым может пойти компания, но и выбирают их при других условиях. 

Такие вот отвратительные истории.

Курсы

Любимая работа оплатила мне курсы по выбору, а выбор мой пал на "Python базовый". Ибо чет как-то баш скрипты уже отдают нафталином, да и хочется больше наворотов, все дела. И всё-таки освоить "python для сетевого инженера" тоже нужно. Конечно, труъ админы всё это осваиваивают одним махом, да после работы, в выходные и праздники. Но я после работы последнее время варю борщи, читаю ненаучные книжки, вовремя ложусь спать и веду прочий правильный образ жизни. На крайняк, запись доклада по какой-нибудь сетевой хероборе послушаю. Питон конечно бы освоился, но не в ближайшее время, а тут такая оказия.

Честно говоря, я не ждала от курса чего-то грандиозного и думала, что мне будет скучно и нудно. Но вот этот конкретный курс этой базовой питонячки с этим конкретным преподом попал в мои нужды просто на 146%! 

В описании курса, конечно, написано, что не нужно уметь программировать, чтобы этот курс освоить. Полное враньё, естественно. Как выглядит занятие? Мы проходим быстренько базовые конструкции языка с парой примеров, плюс пару питоновских штучек в тему, потом пишем лабы с их использованием. В лабах простые задачки типа "найти факториал", "проверить, что число простое", "распарсить строку и чёт с ней сделать", ну и так далее. Кто учился в универе - того не удивить. Никто не учит программировать. Да, пару слов скажут как работает for или while, но реально, если вы раньше не писали программы даже на бейсике - этот курс не для вас. Препод, надо отдать должное, пытался пару раз показать как логически разбить задачу на блоки, написать псевдокод и закодить - тому, кто до этого не мог, не особо помогло.

Мне же скорость курса зашла ровно как надо: успеваю за преподом писать примеры, пощупать немного чо-как можно сделать, спросить чего оно у меня в error вываливается (или не вываливается) при определенных действиях. Лабы сделать все со всеми звёздочками сложности + навертеть что-нить сверху интересное, типа проверки пользовательсткого ввода или ещё чего. Меня реально вштырило!

И да, конечно, спасибо универу, у меня шикарное образование. Пишу и слёзы радости вытираю, без сарказма. Больше 10 лет прошло с окончания универа. За эти 10 лет я не программировала вообще. Десяток (ну ладно, три-четыре десятка) скриптиков на баше или powershell не в счёт. Раздумье над самими алгоритмами от 10 секунд до минуты. Да, у меня в башке смесь С и C# - двух языков, на которых я больше всего писала в универе. Они как раз забылись ровно настолько, чтобы помнить "а так вроде можно" и при этом не мешать питонячьему синтаксису уложиться.
После С вообще сплошные приятные сюрпризы. О, оно само работает с длинными числами? О, я могу сюда положить данные разных типов? О, мне не надо выделять память руками?😂

Мне не надо становиться senior python developer, мне надо писать скриптики под мои нужды автоматизации. В принципе, я планирую, что мне этого курса хватит для начала. Сейчас ещё работу с файлами пройдём и будет вообще огонь. Детали обращения к БД и прочие частности уже как раз гуглятся, мне не хватало именно базовой базы. Базы, которая берётся из "открой любую книжку и почитай", да. А ещё закрепи примерами и сделай несколько лабораторных)) Зато тут 5 дней занятий и ты питон программист автоматизатор.

Главное, после курса закрепить боевыми задачками на работе. Тогда имеет шансы не забыться.

​​В поисках голубого кабеля

Ну что, сегодня пятница, время охренительных историй

В давние времена позвонил филиал "у нас не работает интернет". Классная заявка от филиала, где есть отдел ИТ, да? Времена были далеки от унификации и централизации, тогда было "у кого как" и неизвестно кем админится. Айтишники в филиале были.. сложными. Спустя полчаса наводящих вопросов мы выяснили следующее: цисковский коммутатор, куда приходит провод от провайдера, включается, горит какой-то лампочкой и всё. Фишка была в том, что от провайдера приходило в проводе три vlan'a. И провод приходит именно в этот коммутатор. Был роутер cisco2951 (он же роутер телефонии) с тремя портами. Но мы посмотрели тогда - как ни втыкай, как не переделывай сеть - нужно переконфигурить какой-нибудь из оставшихся в живых коммутатор. Управление коммутатором в управляющем влане, влан роутится роутером, а роутер за сдохшим коммутатором. Любые наши попытки переколбасить схему и что-то куда-то переткнуть натыкались на адское взаимодействие с местными. Ну то есть, попытаться что-то куда-то скоммутировать, подключить ноут к живому коммутатору и посмотреть, не попадем ли на него по ssh выливались в полутрочасовую пытку переспрашиваний что, куда, "а как я отключу пользователя от коммутатора" и прочее. 

Решили, ну там же точняк есть консольный кабель. Второй этап нервов с коммутацией мы могли не пережить. Я ещё помню как распаковывала свою 2951 и консоль там была в комплекте, родного голубого цвета.
Дело за малым, втыкаешь консоль, заходишь, делаешь. Хоть по телефону командуй, что вводить, хоть к ноуту удаленно через 3g модем цепляйся. 

Местным поставлена задача найти голубой консольный cisco кабель. Ушли искать. Через час признались, что не знают как он выглядит. Я высылаю им картинку в почту, чтоб посмотрели на ноуте (ну, знаете, эти древние времена без смартфонов с мессенджером у каждого айтишника). Звоню ещё, словами поясняю, что голубой, с одной стоны COM, с другой rj-45. Через час звоню, спрашиваю, ну как там поиски? Нашли говорят, только не голубой, а синий. Хрен с вами, может дальтонизм у них или кабель от hp какого, тоже покатит. Втыкайте говорю, где СОМ есть или через переходник. Воткнули. В системе на ноуте глухо, ничего не определяется. Воюю с дровами. Спрашиваю, точно воткнули? Да, говорят, только у него там с обоих сторон rj-45, но не страшго же, да? 🤦‍♀️

Я тогда побилась головой об стол только. А спустя несколько лет я узнала, что ситуацию с консолью можно было решить. На cisco2951 была консоль mini-usb. Но нам же надо на коммутатор, да? Так вот, можно правильно обжать патчик, воткнуть одним концом в консоль, а вторым в aux (который тоже был на 2951). Немного магии и с того устройства, где порт aux, можно было бы попасть в чужую консоль. Вот вроде похожая статья. Но тогда я такого шаманства не знала. 
Неотложную работу делали с пары компов с модемами. Коммутатор с глюками отправили нам, а новый, на который накатили бэкап, отправили к ним. Заняло это сутки, что ли, может дня полтора.

Самое прикольное: включила на столе глючный свич, а он в консоли английским по черному написал: у меня серийник из одних нулей, вбей правильный (вбила с наклейки), потом дата сбита (вбила), после чего он загрузил свой родной конфиг и ещё 10 лет без сбоев отработал. Дел на две минуты было.

Ну что сказать, весёлое было время)) разброд в сети был, схема сети не предусматривала такой сбой, непорядок (не то чтобы я её тогда строила, что досталось..), работать со сложными людьми я тогда хрентвато умела, да и всякого шаманства поменьше знала.
Через год в филиал пришли новые айтишники, которые предложили "да зачем нам vlan'ы, давайте все удалим, а то чет конфиг сложный". Но это уже совсем другая история, для другой пятницы ;)

фото портов с цискороутера в комплекте