Что бы вам такого ближе к технической части, а не к философии рассказать..

Что-то не спокойно мне, что у линуксовых серверов доступ в инет зачастую открыт для установки пакетов. Подумала, что нам нужен эдакий аналог WSUS для Debian. Решила поднять локальное зеркало репозиториев, подумала, ну будет там гигов триста, на 10, 11 и 12 debian вместе взятые. Сегодня руки дошли сделать. Ага, выньте положьте 731 гиг. 

Расстроилась, остановила закачку, ушла домой думать. Пожаловалась мужу, что не сложилось, надо что-то другое делать. Конкретные пакеты по списку качать не хочется: и забудут что-нибудь обязательно, и зависимостей там будет масса, которые не учесть. Оказалось, он слышал, что есть штука, которая служит проксёй для серверов внутри, при первом поиске пакета засасывает его из инета и дальше у себя сохраняет/кэширует. Nexus называется. Буду пробовать. А о чём вы беседуете за варкой борща?

Зачем нужен vlan
Не только за этим, но как пример

Было это в те далёкие времена, когда у нас не было управляемых коммутаторов, да и вообще была одна сеть на всё, тогда ещё /24 хватало.

Было у нас несколько белых IP адресов, а провод от провайдера был один. И так случилось, что 5-портового TP-Link, в который мы этот провод втыкали и разводили по устройствам, не хватило. Ну а я что, я ж знала, что можно две разные сети воткнуть в неуправляемый свич и каждая сеть будет видеть норм себя. Ну да, будет по всем портам ходить широковещательный трафик от всех. Да что там той сети с белыми адресами, 6 хостов всего добавится, правда? (про другую сторону я как-то не думала тогда) И мы воткнули в общую сеть хвостик от провайдера. Всё заработало, всё было хорошо. Покупка мелкого свича на 8 портов что-то затянулась, так и мы и жили до одного момента.

Часиков в 10 утра потерял сеть комп Генерального директора (закон подлости: он первым терял сеть при любых проблемах). Мы пошли чесать репу и тут потерял сеть второй комп. И третий. Глянули настройки, компы не получают адрес по dhcp. А у кого lease не протух - у того всё ОК. Ну, вердикт понятен - dhcp помер. Захожу на него, а он живой. У него просто кончились адреса 😳 Я сделала хлоп-хлоп глазами, мысленно перекрестилась и грохнула все лизы. Моргнула, а адреса снова кончились. Я завороженно повторила, результат не изменился. 
Имена устройств были прикольные, мне минуты три понадобилось, чтобы осознать ситуацию, вспомнить, что провод провайдра торчит в нашу сеть и понять, что от них утекли dhcp запросы из какого-то сегмента. Наша сеть немножко по L2 соединилась с сетью провайдера, а тут, вот удача, наш DHCP торчит. Дальше мы выдернули провод из нашей сети для верности, всё резко успокоилось, я финально грохнула все лизы на dhcp. Мы перетасовали устройства так, чтоб хватило изначального отдельного коммутатора (выключили себе wi-fi в кабинете). Позвонили провайдеру и рассказали чудесные новости. Ну посидели полчасика без интернета, тогда вообще ни о чём. Зато я резко прочувствовала, зачем людям VLAN нужны. 

А nexus sonatype из вчерашнего поста ничего так, заработал

​​Упс с UPS

Как-то мы аж втроём приехали в филиал с инспекцией. Регион был проблемный, айтишники были проблемные, в общем, там было где разгуляться с аудитом, с внедрением и даже с персональным обучением.

После задушевного заглядывания в глаза местному админу с вопросом "почему у тебя 50 новеньких ИБП 8 месяцев лежат на складе, а 90% компов работают без упсов при том, что электричество отключают в среднем 2 раза в неделю?" с нами по-тихому поделились проблемой тоже связанной с электричеством.

А именно: серверный UPS вообще нихрена не держит при отключении электричества. В нём даже сменили аккумы, вот прям на прошлой неделе, а лучше не стало.
Отдельной строкой что там вообще творилось с электропитанием: здание стояло возле железной дороги и электричество периодически мигало при проезжающем мимо поезде. Это помимо плановых отключений от железнодорожников, которые тоже пару раз в месяц баловались работами на сети в будни. Решились проблемы только с переездом офиса в другое место, но это было значительно позже описываемых событий.

Итак "упс не держит". Периодически впечатывая ладонь в лицо 🤦‍♂️ мы позадавали вопросы о подключении его к локальной сети (зачем?), сбора ошибок (зачем, мы купили аккумы же?), рассчетной нагрузке (ну типа норм же, ну мы не считали, но так подумали) и калибровке после утановки новых батарей (правда я тоже тогда только узнала, что надо калибровать).

Ок, подключили веб-морду, откалибровали батарейки. Но командировка не резиновая, а дергать электричество в здании негуманно, чтоб посмотреть что происходит.
Пошли глазами на ИБП смотреть. Стали считать питание - не сошлось с количеством оборудования. Стойка у стены, провода питания уходят вглубь. В середине стойки было свободно юнитов 15, которые образовывали дырку технологическое отверстие. Мы переглянулись. Я честно сказала, что я тяжёлая, толстая и электричеством, когда я разломаю жопой упс, меня ёбнет так, что только головешки останутся, а я ещё жить хочу. То ли дело мой лёгкий гибкий начальник в резиновых тапочках. Я даже готова сходить за деревянной шваброй и стоять рядом, чтоб быстро оттащить если что. В общем, он принял на себя удар судьбы, мы раздвинули сопли патчиков и он нырнул. Потом сказал, что нихрена не видно и ввинтился глубже. Снаружи остальсь ноги в резиновах тапочках перпендикулярно стойке. Мы пошевелили электрические провода. Изнутри донеслось "хм, ооо, да ладно?! Блять, ебланы, долбоёбы!". Начальника вытащили за ноги. Он ткнул в соседнюю стойку: "это чьё?". Серверная была общая на две компании и вторая стойка была собственно не наша. В стойке была пара небольших упсов, которые держали сервера соседней компании. И оба упса были воткнуты в наш. С возгласами "да мне похер что там у них упадёт" лишнее вытащили и воткнули в какие-то розетки. Всё кончилось хорошо, UPS стал держать нагрузку рассчетное время, а историю эту до сих пор вспоминаем))

На картинке примерный вид на ноги начальника, только переместите мысленно в середину стойки. Эпичного фото не осталось, свободной рукой я сжимала швабру

​​Нет облаков, это чей-то компьютер (с)

Мы, ныне старые пердуны за 30, всегда считали, что инфраструктура должна быть своя. Она может стоять в общем ЦОД, конечно, но и у себя в серверной под бочком должно быть хотя бы место для бэкапов. Все эти azure, yandex облака, гугл почта и виртуальный AD смузи-стартаперов вызывали сомнительный хмык. Максимум можно включить в свою инфраструктуру на "пережить пик нагрузки", "перебиться в переезд" или хранить третий бэкап. Если уж облако для работы, то своё, родное, на своих серверах и СХД. Для сколько-нибудь крупной организации своя инфраструктура также дешевле в эксплуатации.

Облако это чей-то компьютер. То есть, конечно, сервер и не один. Но это такое же железо, которое может ломаться, греться, сыпаться, иметь аппаратные баги и так далее - никаких волшебных технологий. Совсем не факт, что вашу облачную инфраструктуру кто-то резервирует достаточно или правильно строит.

Облако это чей-то компьютер. То есть, не ваш. Кто-то ещё имеет к нему физический доступ (и хорошо если не имеет логического). Вы не знаете что там за железо и в каком оно состоянии. Аппаратные проблемы? Ну, попробуйте подебажить или добиться этого от поддержки. Владелец имеет возможность прекратить оказание услуги просто потому что. Даже если вы выиграете потом суд - вашему бизнесу это уже мало поможет. Облачный сервис уронили? Можно только писать в поддержку и ждать, от вас мало что зависит.

После всяких санкций, отмен и уходов мы погладили себя по головке и сказали "мы же говорили". А ещё тайком полюбовались на свой умный дом с сервером на антресолях, который не отключит РКН. Такие вот мы старые динозавры.

​​Хорошо когда сначала читаешь инструкцию

Сегодня чуть не уложила ЦОД. Оказывается, когда включаешь сброс логов с cisco ASA на syslog-сервер по tcp, то аса может выдать сюрприз. Дефолтное поведение при tcp при недоступности syslog-сервера или невозможности записать файл (место кончилось) - обрубить все новые коннекты к asa. Никаких предупреждений, ошибешься так в ip сервера или интерфейсе и привет. 
Спасибо мне, что я сначала читаю инструкции до конца с примечаниями! Отключается поведение командой logging permit-hostdown.

Вот вам понедельничный мотиватор от KotiaForge

Про архивирование логов, рабочее

Сегодня немного технический пост. Если заметили, я не пишу посты в стиле "10 команд, которые должен знать каждый" - этого и без меня достаточно, да и нафиг кому эти команды нужны, если лично у вас нет боли, которую они решают.

В понедельник я настроила наиподробнейший сброс логов с cisco ASA на syslog сервер. В процессе ознакомилась с настройками сислога, влетела в пару мест, не то чтобы я его часто настраивала раньше. На денёк я это дело оставила и получила результат: часовой лог занимает от 1,5 до 4 ГБ в зависимости от времени суток. Я посмотрела на ровный график уменьшающегося на серваке места и приуныла. 

Ну понятно, первый путь пролегал в сторону logrotate. Я изучила возможности конфига и не нашла как досточно простым способом сделать так, чтоб 4 дня почасовых логов было без архивации, а ещё 7 дней, скажем, с архивацией, а ещё более старые удалялись. В общем, поскольку с питоном у меня пока плохо, да и не очень он тут нужен, я снова пришла к bash. Тут очень удачно муж напомнил про zstd - новое слово в архивировании. 

Скрипт в две строчки:
find /var/log/firewall/10.10.10.1/ -name '*.log' -mtime +4 | xargs -I % zstd -c -9 --rm % -o %.zst

find /var/log/firewall/10.10.10.1/ -name '*.zst' -mtime +7 | xargs rm

По дороге пришлось погуглить про xargs (не используйте тут -0, у вас же нет пробелов в имени лог-файлов), но вроде всё на тестовых прогонах работает. Zstd жмет файл с логами на 4,7 гига в 280 метров на уровне сжатия 9, на одном ядре секунд за 10 (субъективно, каюсь, я не засекала). Это я на самом большом попробовала, ещё до разбивки на часовые файлы. Разврхивирует вообще за пару секунд, как мне показалось.

Такая вот штука из практики.
Ипользованы базовые знания: есть такая штука как syslog и logrotate, файлы можно архивировать, команды можно стыковать с помощью pipe.
Использованы базовые навыки: делать файл исполняемым, запихивать его в cron, создавать и удалять файлы.
Остальное гуглёж и тесты.

Это к вопросу "каждый сисадмин должен..". Должен знать, что "так бывает", в половине случаев этого достаточно (впрочем, в другой половине недостаточно).

Реанимирование сайта

Весь вечер пятницы я занималась реанимацией сайта. Последняя запись там была в марте 2018 и пять лет я просто отстёгивала хостеру деньги за домен и за хостинг. 

Там стояла какая-то древняя версия wordpress, которая не смогла обновиться. Ей нужен был новый PHP. Ок, версия PHP выбирается в админке, выбрала новую. Жмакнула обновиться и сайт помер. Спасибо хостингу, на почту пришла ссылка на админку аварийного восстановления. Тема, которая была ранее выбрана то ли не работает с новой версией WordPress, то ли вообще больше не существует. Выбрала другую тему, обновилась, но сайт распидорасило. Слетели все заголовки, списки и половина картинок. Но меня не остановить, я была готова идти до конца!

Проще всего было навесть https, сертификат выпускается и навешивается одной кнопкой. Дальше пришлось вспоминать как вообще что-то делать в WordPress админке, вычищать все кракозябры, восстанавливать списки и ссылки на картинки, чистить меню и всё такое. 

Вообще, где-то в середине процесса я была готова заплатить немножко денег, чтоб кто-нибудь всё сделал за меня, но что я не админ, что ли? В общем, мне стало стыдно, что я не могу победить админку для домохозяек. Так что всё сама восстановила, хотя и плевалась, как я недолюбливаю web.

Сегодня даже осилила пару постов туда залить. 

Зачем мне сайт я и сама особо не знаю, ну может посты проиндексируются и сюда кто-то в итоге забредёт. 
А, ну и сам сайт то: https://virrasha.ru/

​​Про то, как нам 30 серверов привезли

Были времена, когда в отделе нас было немного, а количество не-начальников вообще колебалось от одного до двух. В то далёкое время, когда приезжала машина с картриджами, компами или иной техникой, мы все дружно, всеми наличными айтишниками, шли эту технику разгружать и таскать в офис. Не то чтобы я прям наравне со всеми таскала, грузоподъемность у меня всё ж пониже, чем у парней, но тоже участвовала по мере сил.

Было чудесное утро понедельника. Начальник сидел на планёрке, двое на больничном и один в отпуске. Из айтишников на месте была я. Зазвонил телефон: принимайте доставку, мы приехали. Я подумала "хоть бы картриджи" и спросила: "а что везёте?". Мне жизнерадостно ответили "сервера!". 

Ну что, я спустилась. Посмотрела на грузовик с 30 двухюнитовыми серверами. Доставщики посомтрели на меня "а что, больше никого нет?". Я честно сказала, что никого. Они ещё раз на меня посмотрели. "Ну мы вам выгрузить поможем". Угу, сказала я, погнали. Пока выгружались, я им подписала документы и шлёпнула печать. Пересчитала коробки и они свалили. Выгрузились они на стоянке на улице. Предстоял путь стоянка-дверь-холл-лифт-офис. Чтоб не спёрли, надо было тащить в пределах видимости, так что я начала носить их к входной двери. А коробка такая, что я поднять могу, если прям на вытянутых вниз руках, а нести уже перебежками только. 

На крылечко вышли покурить маркетологи с финансистами. Народ веселился, а хуле, тут такой бесплатный цирк)) где-то к четвертому серверу на крыльцо вышла покурить наш финансовый директор - видимо, планёрка закончилась. Посмотрела на курящих мужиков, на меня. В общем, высказалась в пространство,что девочке надо бы помочь, а то тут корячится. Я тогда честно попыталась сказать, что народ не виноват, не их работа носить коробки, тем более они тут в костюмчиках. Ну потому что это правда, финансисты как бы не грузчиками нанимались, это я тогда эникейщиком была. Но да, я была рада принять помощь, это был один из немногих моментов, когда прям сильно воспользовалась половой принадлежностью. Тогда была уже на всё согласна, только затащите мне эти коробки)) Заодно вызвонила начальника, раз планёрка закончилась, он спустился, присоединился к процессу. А я так, двери придерживала и в лифте кнопку жала. Впятером там народ быстро перетаскал.

Сейчас у нас большой отдел, есть грузовая тележка с колёсиками и некоторое количество эникейщиков, даже служба АХО, которая тоже в грузовых работах участвует. Иногда даже грузчики от доставки сами носят технику. Но были времена, да..

На фото те самые серваки (не все влезли)

А этот технический пост не от меня, но надеюсь вам будет интересно :)

Всем привет, на связи муж Наташки, не то чтобы я админ, но иногда играюсь:

Решил я таки воспользоваться предложением судьбы купить на Avito за недорого пару 16TB дисков Seagate Exos x18 ST16000NM000J, да поставить их в RAID1 в домашний сервер. Диски вроде новые, но гелий наполненные и чёрт пойми почему такие дешёвые (USD 180 за 16 TB 13 октября 2023 года), естественно без чека и у мутного продавца, под гарантию в месяц под честное слово. Три диска и RAID 5 не имеют смысла вообще, на таком объёме ресинк может идти неделями, обратите внимание как тут об этом писали 14(!) лет назад.

Я работаю не в энтерпрайзе, а в геймдеве, мы хардварных рейд контроллеров не закупаем, но наши админы и техдир уже полтора десятка лет активно применяют mdraid в различных конфигурациях и характеризуют его только положительно, особенно ценным оказывается возможность пересобрать этот raid на тотально другом железе.

Ну так вот, решил я почитать всякое про mdraid и набрёл на пост посвежее, 11-летней давности: откуда узнал о write-intent bitmap и, честно говоря, не понял начерта он в зеркале (и всё ещё не понял), но также задумался, что точно не хочу его хранить на самих дисках и превращать одну запись в три, тем более, что у меня уже есть системный SSD, и вообще пересобрать RAID можно и без этого bitmap, так что, если что, его и потерять можно.

Вот тут написано что он не имеет смысла только на 0, а также, что если его выложить на другой диск, то там непременно должна быть ext3, а у меня ext4 на руте. И там же написано как манипулировать с ним при помощи --grow. Пытаясь прочитать всё, что под руку попадётся, нашел ещё и вот это, где говорится о проблемах выноса bitmap на рутовый раздел.

И тут я окончательно запутался, будет ли он создан для моего массива или нет, нужно его выносить на другой диск или нет, можно на ext4 или нет. Все вышеперечисленные ссылки (и другие посты на serverfault и т.п.) ответа на вопрос не дали и я решил посмотреть в man mdadm, а так как я админ не настоящий, я предпочитаю читать из браузера, а не в консоли, поэтому вбил в гугл "man mdadm" и что бы вы думали, первой ссылкой вылазит opennet, а второй этот ман и в них немного отличается раздел про опцию --bitmap, но ни тот, ни другой ничего не говорят о том, какое значение будет использовано по умолчанию. Да и про ext2 и ext3, вдруг это древние письмена. Решил переповерить собственно в моём debian, и вуаля:

Note: external bitmaps are only known to work on ext2 and ext3. Storing bitmap files on other filesystems may result in serious problems.

When creating an array on devices which are 100G or larger, mdadm automatically adds an internal bitmap as it will usually be beneficial. This can be suppressed with --bitmap=none or by selecting a different consistency policy with --consistency-policy.

Из этого уже понятно, что экспериментировать с расположением bitmap файла на ext4 я точно не буду. Что при создании моего массива будет создан internal bitmap. Вопросы всё ещё остались, нужен ли мне вообще bitmap на RAID1? Поможет ли он при восстановлении поле потери питания (ups пока в планах)? Если нужен, наверное придётся отрезать на SSD кусочек под ext3 файлуху и положить его туда. Ну или произошло чудо и в современности internal bitmap просто будет достаточно хорош.

Мораль: читайте ман в консоли в своём дистрибутиве, там может быть больше инфы чем в гугле (но не вся).

Ваш сервер в моей серверной стоять не будет

Был у нас как-то период, кода мы ездили в филиалы с инспекцией без предупреждения. Обычно, отправляли письмо директору о том, что едем, уже при посадке в самолёт (а то и по прилёту на место). Тогда я была не связана семейными узами и с удовольствием махнула на недельку в дальние дали.

Вопросов было много. Из прикольного - нас выгоняли в первый день прям в 17 часов, "филиал закрывается, сдаётся на охрану". На второй день мы поехали по точкам проверять ПО. Дата установки антивируса - вчерашняя :) Мы вообще к филиалам лояльно относимся, но когда на нас в ответ на простые вопросы "вы же отчитались о полной установке в прошлом месяце, как так?" начинают наезжать в стиле "а может дата сбилась, ничего не докажете" - это начинает напрягать. 

С мелкими вопросами разобрались тогда. А теперь к главному блюду: филиал был географически отдалённый и общероссийским счастьем в виде оптики в регионе был обделён. Только спутник, только хардкор. Соответственно, интернет там был очень лимитный, а бэкап БД быстрее и дешевле было отправить по почте на флешке (без шуток, мы данные для слива в общую базу слали почтой России раз в месяц, а обратно засылали дистрибутивы с софтом). У предыдущего админа были соответствующие настройки шейпинга и прокся со списками разрешения, а у нового, которого мы инспектировали, видимо было всё отключено. Да, бывает так, что старый админ уходит и не оставляет инструкций, сейчас с этим боремся определёнными методами, а тогда это был один из первых случаев. 

Месяцем ранее пришел интересный счет на оплату интернета и потому было решено вкатить им что-нибудь, чтобы головной офис мог посмотреть, куда трафик тратится. Заметьте, никого огульно не обвиняли, просто появились вопросы. Ну и я за простые решения, на месте попросила выдать мне рабочую станцию и ваяла прозрачный прокси на базе squid. Удалённо на канале 256-512 килобит, да ещё без содействия админа, это было бы делать сложно. 

И вот сижу я, ваяю конфиг, а админ меня аккуратно спрашивает, а что это вы, Наталья, делаете? Ну я и рассказала, что ща доделаю и посмотрим кто куда в интернет ходит, а потом закроем лишнее. Раз вы этим не занимаетесь. Человек ушел переварить информацию. Вернулся и начал вещать на повышенных тонах, что им такого не надо, что "неизвестно что" он в свою систему ставить не будет и "в моей серверной вашего сервера стоять не будет! Не позволю!". 

Я тогда была скромной девочкой и не могла сказать прямо в лицо "да ты охуел, дядя". Даже сейчас у меня с этим определенные проблемы, хотя матерюсь я в пять раз больше. Показания админа по поводу мониторинга расхода трафика за день поменялись несколько раз: "мы мониторили, был чисто рабочий трафик, но логов не осталось", "мы не мониторили, но все сознательные", "нам не нужно ничего смотреть" и прочее. Также меня отделили от коллеги и попытались завести разговоры на тему "ну мы всё исправим, вы в отчете напишите норм, а мы тут уже почти исправили", которые перемежались угрозами написать на меня какие-то докладные и попытками что-то там предложить со скидкой.

В тот день я как никогда ждала утра в Москве. И в 7 московских утра набирала безопаснику с фразой "да они опухли", после чего от души высказалась про всю эту ситуацию. Меня ещё потом обвиняли, типа зачем сразу безопасник, можно же было на месте решить через руководство)) Зато сразу и сервер ставить можно, и полное содействие окажем, и за трафиком следить хотим, прям не можем дождаться. Кстати, лидировали по объему подбор машин, автофорумы и кулинарные сайты. На время пришлось ввести белые списки.

Внезапно на канал привалило подписчиков! Я рада вас видеть, приходите в комменты, читайте, пишите, ставьте реакции. У меня тут канал про мой опыт от эникейства через админство в сети и немного менеджерство: старые рассказы, которые уже стали байками, немного технического про текущие будни, капельку философии на тему. Возможно, вы не узнаете 100 новых команд в bash, зато прочитаете охуительную историю в пятницу)

Как мы боремся с "ушел и не оставил инструкций"
Надо отметить, с переменным успехом боремся, но всё же

Итак, в предыдущем посте была вскользь задета ситуация, когда админ филиала работал-работал и ушёл, не передав дела. Может, ему замену не успели найти, а может просто плюнуть в лицо уходя хотелось. Ситуации - они разные, мы не про розовых поней. Вопрос, как предотвращать такое?

Надо сказать, что со стороны финансовой мотивации мы сильно ограничены, а моральные пиздюли по телефону имеют эффект только на очень впечатлительных (на меня, например), коих в айти меньшинство. Реально - у админа филиала ноль мотивации что-то документировать, плюс, обычно, он также уверен, что у него нет на это времени. Так что первое, к чему приходит более-менее крупная компания - это стандартизация процессов. Начинаем всё делать одинаково настолько, насколько это возможно. Одинаковые правила именования, создания учеток, выделения прав, одинаковое оборудование и одинаковые способы подключения, один софт и т.д. Да, в угоду стандартизации иногда придется принести отдельное удобство каждого, таков путь.

Просто инструкция "делаем теперь так" не даст вам ничего. 40% выполнят, 40% прочтут инструкцию жопой, 20% забьют хер сразу. Спустя месяц забьют хер уже 60%. Поэтому следом за стандартизацией идут ненавидимые всеми регламенты. Где на 100 страниц мелким шрифтом будет расписано как надо делать. Это чуть-чуть улучшит ситуацию, так как за невыполнение регламента уже можно выдавать какие-то пиздюли (в основном, всё ещё чисто моральные).

Дальше за ручки идут автоматизация (которую любят) и централизация (которую ненавидят регионы). Ну, с автоматизацией понятно. Когда плюс-минус прошла стандартизация, уже можно что-то автоматизировать. Под централизацией понимается замыкание некоторых процессов на компактную рабочую группу. Группу, которая точно знает как надо. Она может быть собрана из участников разных часовых поясов, но всё же является одной структурной единицей. Почему же идёт централизация? Почему у админов регионов отбирают права, почему не дают сделать свой "линукс и скрипты" с шахматами и поэтессами? Собственно именно поэтому. Чтоб не создалось ситуаций, когда ушел и не оставил документации что там как наверчено. А также, чтоб замена админа не требовала "знание debian, python, sql, черта лысого". Проще нанять трёх человек в условной Москве и выдавать им фидбек на месте, говоря, глядя в глаза, "никогда так больше не делай", чем пытаться заставить регионы делать что-то так, как сказали, а не так, как они видят. Плюс складывается какой-то взаимозаменяемый коллектив и своя база знаний (за наполнением который следит начальник). Уход одного не рушит систему.

Да, это довольно грустно для регионов. Если раньше было поле для экспериментов, то теперь лавочка прикрыта. Чуть что задумал - нет прав. Да, мы теряем в гибкости, где-то в удобстве, где-то в скорости, включая скорость реакции. Регламенты все ненавидят (да и мы тоже). Когда-то я верила в более лучший мир, где каждый админ стремится делать хорошо, документирует и не делает так, как сказали не делать. А потом я столкнулась с реальной жизнью.

К сожалению, мы при таком подходе теряем часть хороших кадров в регионах - им скучно. С другой стороны, при наличии возможности, стараемся включать таких сотрудников в те самые группы централизации.

Насчет того, дешевле ли централизация.. спорный вопрос. Деньги - это не только ФОТ, но и затраты на оборудование, разработку, внедрение, обучение, риски простоя, потеря клиентов при потере скорости и т.д. Я не владелец бизнеса, так что про деньги именно с этой стороны пожалуй не буду. В каждом бизнесе своя оценка.

Я знаю, что есть другие пути, по которым может пойти компания, но и выбирают их при других условиях. 

Такие вот отвратительные истории.

Курсы

Любимая работа оплатила мне курсы по выбору, а выбор мой пал на "Python базовый". Ибо чет как-то баш скрипты уже отдают нафталином, да и хочется больше наворотов, все дела. И всё-таки освоить "python для сетевого инженера" тоже нужно. Конечно, труъ админы всё это осваиваивают одним махом, да после работы, в выходные и праздники. Но я после работы последнее время варю борщи, читаю ненаучные книжки, вовремя ложусь спать и веду прочий правильный образ жизни. На крайняк, запись доклада по какой-нибудь сетевой хероборе послушаю. Питон конечно бы освоился, но не в ближайшее время, а тут такая оказия.

Честно говоря, я не ждала от курса чего-то грандиозного и думала, что мне будет скучно и нудно. Но вот этот конкретный курс этой базовой питонячки с этим конкретным преподом попал в мои нужды просто на 146%! 

В описании курса, конечно, написано, что не нужно уметь программировать, чтобы этот курс освоить. Полное враньё, естественно. Как выглядит занятие? Мы проходим быстренько базовые конструкции языка с парой примеров, плюс пару питоновских штучек в тему, потом пишем лабы с их использованием. В лабах простые задачки типа "найти факториал", "проверить, что число простое", "распарсить строку и чёт с ней сделать", ну и так далее. Кто учился в универе - того не удивить. Никто не учит программировать. Да, пару слов скажут как работает for или while, но реально, если вы раньше не писали программы даже на бейсике - этот курс не для вас. Препод, надо отдать должное, пытался пару раз показать как логически разбить задачу на блоки, написать псевдокод и закодить - тому, кто до этого не мог, не особо помогло.

Мне же скорость курса зашла ровно как надо: успеваю за преподом писать примеры, пощупать немного чо-как можно сделать, спросить чего оно у меня в error вываливается (или не вываливается) при определенных действиях. Лабы сделать все со всеми звёздочками сложности + навертеть что-нить сверху интересное, типа проверки пользовательсткого ввода или ещё чего. Меня реально вштырило!

И да, конечно, спасибо универу, у меня шикарное образование. Пишу и слёзы радости вытираю, без сарказма. Больше 10 лет прошло с окончания универа. За эти 10 лет я не программировала вообще. Десяток (ну ладно, три-четыре десятка) скриптиков на баше или powershell не в счёт. Раздумье над самими алгоритмами от 10 секунд до минуты. Да, у меня в башке смесь С и C# - двух языков, на которых я больше всего писала в универе. Они как раз забылись ровно настолько, чтобы помнить "а так вроде можно" и при этом не мешать питонячьему синтаксису уложиться.
После С вообще сплошные приятные сюрпризы. О, оно само работает с длинными числами? О, я могу сюда положить данные разных типов? О, мне не надо выделять память руками?😂

Мне не надо становиться senior python developer, мне надо писать скриптики под мои нужды автоматизации. В принципе, я планирую, что мне этого курса хватит для начала. Сейчас ещё работу с файлами пройдём и будет вообще огонь. Детали обращения к БД и прочие частности уже как раз гуглятся, мне не хватало именно базовой базы. Базы, которая берётся из "открой любую книжку и почитай", да. А ещё закрепи примерами и сделай несколько лабораторных)) Зато тут 5 дней занятий и ты питон программист автоматизатор.

Главное, после курса закрепить боевыми задачками на работе. Тогда имеет шансы не забыться.

​​В поисках голубого кабеля

Ну что, сегодня пятница, время охренительных историй

В давние времена позвонил филиал "у нас не работает интернет". Классная заявка от филиала, где есть отдел ИТ, да? Времена были далеки от унификации и централизации, тогда было "у кого как" и неизвестно кем админится. Айтишники в филиале были.. сложными. Спустя полчаса наводящих вопросов мы выяснили следующее: цисковский коммутатор, куда приходит провод от провайдера, включается, горит какой-то лампочкой и всё. Фишка была в том, что от провайдера приходило в проводе три vlan'a. И провод приходит именно в этот коммутатор. Был роутер cisco2951 (он же роутер телефонии) с тремя портами. Но мы посмотрели тогда - как ни втыкай, как не переделывай сеть - нужно переконфигурить какой-нибудь из оставшихся в живых коммутатор. Управление коммутатором в управляющем влане, влан роутится роутером, а роутер за сдохшим коммутатором. Любые наши попытки переколбасить схему и что-то куда-то переткнуть натыкались на адское взаимодействие с местными. Ну то есть, попытаться что-то куда-то скоммутировать, подключить ноут к живому коммутатору и посмотреть, не попадем ли на него по ssh выливались в полутрочасовую пытку переспрашиваний что, куда, "а как я отключу пользователя от коммутатора" и прочее. 

Решили, ну там же точняк есть консольный кабель. Второй этап нервов с коммутацией мы могли не пережить. Я ещё помню как распаковывала свою 2951 и консоль там была в комплекте, родного голубого цвета.
Дело за малым, втыкаешь консоль, заходишь, делаешь. Хоть по телефону командуй, что вводить, хоть к ноуту удаленно через 3g модем цепляйся. 

Местным поставлена задача найти голубой консольный cisco кабель. Ушли искать. Через час признались, что не знают как он выглядит. Я высылаю им картинку в почту, чтоб посмотрели на ноуте (ну, знаете, эти древние времена без смартфонов с мессенджером у каждого айтишника). Звоню ещё, словами поясняю, что голубой, с одной стоны COM, с другой rj-45. Через час звоню, спрашиваю, ну как там поиски? Нашли говорят, только не голубой, а синий. Хрен с вами, может дальтонизм у них или кабель от hp какого, тоже покатит. Втыкайте говорю, где СОМ есть или через переходник. Воткнули. В системе на ноуте глухо, ничего не определяется. Воюю с дровами. Спрашиваю, точно воткнули? Да, говорят, только у него там с обоих сторон rj-45, но не страшго же, да? 🤦‍♀️

Я тогда побилась головой об стол только. А спустя несколько лет я узнала, что ситуацию с консолью можно было решить. На cisco2951 была консоль mini-usb. Но нам же надо на коммутатор, да? Так вот, можно правильно обжать патчик, воткнуть одним концом в консоль, а вторым в aux (который тоже был на 2951). Немного магии и с того устройства, где порт aux, можно было бы попасть в чужую консоль. Вот вроде похожая статья. Но тогда я такого шаманства не знала. 
Неотложную работу делали с пары компов с модемами. Коммутатор с глюками отправили нам, а новый, на который накатили бэкап, отправили к ним. Заняло это сутки, что ли, может дня полтора.

Самое прикольное: включила на столе глючный свич, а он в консоли английским по черному написал: у меня серийник из одних нулей, вбей правильный (вбила с наклейки), потом дата сбита (вбила), после чего он загрузил свой родной конфиг и ещё 10 лет без сбоев отработал. Дел на две минуты было.

Ну что сказать, весёлое было время)) разброд в сети был, схема сети не предусматривала такой сбой, непорядок (не то чтобы я её тогда строила, что досталось..), работать со сложными людьми я тогда хрентвато умела, да и всякого шаманства поменьше знала.
Через год в филиал пришли новые айтишники, которые предложили "да зачем нам vlan'ы, давайте все удалим, а то чет конфиг сложный". Но это уже совсем другая история, для другой пятницы ;)

фото портов с цискороутера в комплекте

Зачем мне питон

Понятно, что тот, у кого есть своя боль в автоматизации скажет "да очевидно зачем!". Это пост для остальных. 

Есть у нас колл-центр, работает уж лет 10. Хотела написать "и было с ним всё хорошо", но нет. Было с ним по-разному и появилась новая задача.

Как он в общих чертах работает: человек звонит на номер 8-800-что-то-там, Ростелеком определяет откуда звонок (регион), вешает на него маршрутный номер и передаёт звонок нам. А мы, в зависимости от маршрутного номера, пихаем звонок на операторов соответсвующего региона. Плюс есть несколько городских региональных номеров, которые мы на своей телефонии тоже переадресовываем на колл-центр. Наследие неудачного маркетинга, так сказать.

Когда сервер сдох - там как бы всё понятно, не пропустишь алерты. Или вообще звонков нет - тоже понятно куда смотреть. Но за последний год у Ростелека 3 или 4 раза ломалась логика определения региона. И вот, например, весь Питер начинает приходить с лейблом 'Москва'. Звонки теряются? Да как бы нет. Питерские операторы прикидываются ветошью. А что, звонков нет, очереди нет, kpi зеленеет. И только спустя полчаса становится понятно, что на московских операторов чет нагрузка выросла и начинаем смотреть. Потом 10-15 минут на выяснение что именно не так и сочинение письма в ростелек с описанием и примерами звонков + 40-120 минут реакции от ростелека. Это когда Питер днём был, заметно за полчаса-час. А, допустим, что-то такое случается в 5 утра с Магаданом. Там 10-20 звонков в час, Москва их и не заметит. Или наоборот, весь Дальний Восток после 14 мск и так идет на Москву, потому что там у операторов рабочий день закончен. Оператору в мск пофиг будет там лейбл Москва или Иркутск - так и так его звонок. Заметит только супервизор. 

И встала задача "а как бы нам отслеживать странное". Тут хочешь - не хочешь, а отчетами внутри системы не обойдешься, надо добавить немного логики. Ну я так прикинула, какие метрики надо отслеживать и с чем сравнивать, в общем можно. И в тележку писать, чтоб стильно-модно-молодёжно. Вот сегодня выдалось часа полтора, дружила питон с постгресом. Больше всего времени ушло, чтоб понять как readonly пользака в БД добавить)) получился коннект и select по нужным параметрам. В планах для начала простенькая логика по типу "если 15 минут будним днём нет звонков из Москвы или 60 минут ночью, то что-то нечисто".  Потом можно будет навернуть посложнее "если за последний час звонков меньше на 25% и более, чем минимальное в аналогичный час аналогичного дня за 4 последних недели / или меньше на 35% и более, чем среднее за такой же час такого же дня за 4 последних недели, то происходит странное". Ну и т.д., метрики и проценты по факту можно будет подкрутить.
Вот для этого, в частности, питон мне и нужен. Попробуем, посмотрим.

​​Как я уронила почтовик

Ну что, сегодня пятница и время охуительных историй. Меня тут кулуарно упрекнули, что во всех историях я такая в белом пальто красивая. Ну ещё бы я про себя плохо писала, в своём то блоге))

Шёл четвёртый месяц моей работы и тут один из моих начальников собрался в отпуск. На рыбалку. Без связи. Это сейчас на рыбалке есть смартфон, генератор и сотовая вышка под боком, тогда такого не было. Админил он у нас всё, в том числе и почтовик.

Через несколько дней exchange перестал отправлять и принимать письма. А как бы большой команды и ассортимента спецов по почтовикам тогда в компании не наблюдалось. Я пошла читать логи винды, ошибки екса и вообще медитировать. Только часов через пять я докопалась, что наличие менее 5% свободного места на диске считается за то, что место кончилось и всё встаёт колом. Ну почистила Temp, удалила пару дистрибутивов с диска - хватило это на пару часов работы.

А что на почтовике занимает кучу места помимо базы с письмами? Правильно, логи. Не базы логи, а "кто кому когда, с какой темой отправил письмо и какой у него статус". Вот их то я и грохнула обычным shift+del, а с ними ещё какие-то пару файлов в той же папочке, ага. Места освободилось - куча! А база сказала что-то типа dirty shutdown и подниматься отказалась. Это потом я прочитала, что логи почты нельзя просто так удалять, а надо это делать командой специальной. Понятно, никакого кластера, DAG группы и прочего в те времена у нас не наблюдалось, кажется, 2010 ex ещё такого и не умел. Бэкапа впрочем тоже не было - слишком большой объём, некуда его было бэкапить.

Я жрала конфетки на нервах, иногда хлюпала носом и искала, что же можно с этим сделать (и прикидывала когда меня расстреляют). Все остальные искали со мной, ну или это я со всеми. Нашли в результате правильную последовательность команд, которая инициировала перечитываение БД. На след напала я, но у меня что-то выпало в ошибки, а итоговые команды нашёл чувак, на место которого я пришла работать. Он тогда ушел на начальника ИТ филиала, но был рядом и его тоже привлекли к поискам. Базы перечитывались несколько часов ещё. В результате больше двух суток компания сидела без корпоративной почты: сначала от того, что я не поняла, что место кончилось, потом от одного моего shift+del. 

А чуваку я пива притащила на следующий день, он удивился даже, типа одно дело делаем. 

Никто мне и слова плохого, кстати, не сказал, наоборот сказали молодец, нашла причину, починили вместе. Сильно потом я узнала историю про «я только что потратил 250 000 долларов, преподавая тебе урок, который ты никогда не забудешь. Почему я должен уволить тебя сейчас?»