Учить или не учить?
Внутренние обучения в компании, вебинары для айтишников и для бизнесовых подразделений - надо ли оно? Участвовать ли в движухе?
Я уже писала про нашу прикольную систему образования в универе. Она позволила прочувствовать всем известную истину: "хочешь в чём-то разобраться, попробуй научить другого". Пока ты не попробуешь объяснить тему тому, кто её не знает, ты сам не поймёшь, насколько плаваешь в вопросе.
Так что таки да, учить других полезно. Опять же, поднимать ИТ-грамотность среди админов тоже не вредно для общего микроклимата, может и часть работы потом на кого-то можно будет сгрузить 😉
Что касается повышения ИТ-грамотности среди обычных сотрудников - бытует мнение, что это бесполезно. Нет острой необходимости применять полученные знания - нет желания учиться. Был у нас как-то филиал, где админ вечно отсутствовал по состоянию здоровья, так там грамотность сама поднялась семимильными шагами. И скрин сделают, и пинг запустят, и трассировку, и картридж поменяют, и коммутатор воткнут по схеме, если прижмёт.
В молодости меня просто пёрло делиться знаниями со всеми) Так что я вела какие-то вебинары по сетям на работе, рисовала схемы взаимодействия в компании для вовлечения новых админов. Потом за вебинары стали доплачивать и меня ещё больше заштырило, ну типа мне и так нравится, а тут ещё и платят чуток. Потом некоторые несознательные сотрудники прочухали фишку и стали вебинарить 3 раза в неделю. Доплаты сняли и это было как конфетку отобрать, типа что, вам больше не нужно внутреннее обучение? Потом была слишком большая нагрузка, чтоб ещё с подготовкой лекций возиться. И вот, после перерыва, с полгода назад, опять взялась за старое. Сижу, рисую дебильные картинки и думаю, как попроще объяснить работу внутренней системы.
Про наставничество - пока двоякое ощущение. Я не про то, что нужно окуклиться, никого не учить и строить из себя незаменимого, конечно нет! Обучать надо, обучать круто!
Но столкнулась с тем, что твои усилия по обучению могут просто проваливаться в пропасть, давать ноль отдачи. И если среди студентов это нормально (всегда найдутся те, кому не надо это всё), то на работе, когда занимаешься персонально с человеком - это напрягает. С этим сотрудником расстались полюбовно, его мы тоже не устроили, но я до сих пор не могу понять, это я подход не нашла или вообще, что это было?
С другой стороны, ты не тратишь 3 минуты на заявку, а тратишь 30 на обучение сотрудника. Раз, другой, десятый, читаешь общую лекцию. Потом хуяк, через два месяца у тебя текучка разгреблась в два раза, сотрудник сам справляется. Приятно, однако.
Короткий итог: участие в обучении в качестве преподавателя позволяет вам лучше разобраться в предмете, структурировать свои знания, ну и бонусом даёт иногда поднятие квалификации коллег, что облегчает вам же работу.
Картинка Васи Ложкина иллюстрирует, что иногда надо не выполнять самому заявки, а учить других их выполнять))
Внутренние обучения в компании, вебинары для айтишников и для бизнесовых подразделений - надо ли оно? Участвовать ли в движухе?
Я уже писала про нашу прикольную систему образования в универе. Она позволила прочувствовать всем известную истину: "хочешь в чём-то разобраться, попробуй научить другого". Пока ты не попробуешь объяснить тему тому, кто её не знает, ты сам не поймёшь, насколько плаваешь в вопросе.
Так что таки да, учить других полезно. Опять же, поднимать ИТ-грамотность среди админов тоже не вредно для общего микроклимата, может и часть работы потом на кого-то можно будет сгрузить 😉
Что касается повышения ИТ-грамотности среди обычных сотрудников - бытует мнение, что это бесполезно. Нет острой необходимости применять полученные знания - нет желания учиться. Был у нас как-то филиал, где админ вечно отсутствовал по состоянию здоровья, так там грамотность сама поднялась семимильными шагами. И скрин сделают, и пинг запустят, и трассировку, и картридж поменяют, и коммутатор воткнут по схеме, если прижмёт.
В молодости меня просто пёрло делиться знаниями со всеми) Так что я вела какие-то вебинары по сетям на работе, рисовала схемы взаимодействия в компании для вовлечения новых админов. Потом за вебинары стали доплачивать и меня ещё больше заштырило, ну типа мне и так нравится, а тут ещё и платят чуток. Потом некоторые несознательные сотрудники прочухали фишку и стали вебинарить 3 раза в неделю. Доплаты сняли и это было как конфетку отобрать, типа что, вам больше не нужно внутреннее обучение? Потом была слишком большая нагрузка, чтоб ещё с подготовкой лекций возиться. И вот, после перерыва, с полгода назад, опять взялась за старое. Сижу, рисую дебильные картинки и думаю, как попроще объяснить работу внутренней системы.
Про наставничество - пока двоякое ощущение. Я не про то, что нужно окуклиться, никого не учить и строить из себя незаменимого, конечно нет! Обучать надо, обучать круто!
Но столкнулась с тем, что твои усилия по обучению могут просто проваливаться в пропасть, давать ноль отдачи. И если среди студентов это нормально (всегда найдутся те, кому не надо это всё), то на работе, когда занимаешься персонально с человеком - это напрягает. С этим сотрудником расстались полюбовно, его мы тоже не устроили, но я до сих пор не могу понять, это я подход не нашла или вообще, что это было?
С другой стороны, ты не тратишь 3 минуты на заявку, а тратишь 30 на обучение сотрудника. Раз, другой, десятый, читаешь общую лекцию. Потом хуяк, через два месяца у тебя текучка разгреблась в два раза, сотрудник сам справляется. Приятно, однако.
Короткий итог: участие в обучении в качестве преподавателя позволяет вам лучше разобраться в предмете, структурировать свои знания, ну и бонусом даёт иногда поднятие квалификации коллег, что облегчает вам же работу.
Картинка Васи Ложкина иллюстрирует, что иногда надо не выполнять самому заявки, а учить других их выполнять))
👍6🤔1
Почему я работаю с 8 утра
На шестом курсе я по субботам вела у второкурсников что-то там линуховое. Ну и всем любопытно, кем они станут, когда доучатся, поэтому пару слов рассказала о том, где работаю. В 9 утра в субботу, ясен перец, все дружно мечтали, как они станут программистами, которые приезжают к часу дня на работу. И тут я такая: "у меня рабочий день с 8, а приезжаю в 7:40 обычно". Народ шевельнулся, проснулся и посмотрел на меня с недоумением. Кто-то выразил общее мнение: "да нахуй так жить, я что, на ИТ пошел учиться, чтоб с 8 работать?".
И тут пара пояснений, почему сложился такой график. Помимо того, что в Москве это удобно - проскочить в метро до толкучки, а по улицам без пробок, такой график диктуется широтой нашей страны. Да, грёбаных 11 часовых поясов. У нас около 20% сотрудников головного офиса в Москве работает с 8 (есть и с 7 графики у совсем отмороженных) чтобы просто хоть как-то пересекаться с Камчаткой, Чукоткой, Сахалином, Магаданом, Хабаровском и т.д. Среди этих 20% Есть примерно половина ИТ инфраструктурщиков. Если на Камчатке сделать график с 9 при этом, получится час пересечения. Иначе всё общение будет перепиской с ожиданием ответа в сутки с каждой стороны - не очень удобно. С менее дальневосточной частью России при этом будет солидное пересчение в 2-4 часа. Да, у нас есть хабы ИТ в других городах, сдвинутых от мск на +2/+6 часов, но решения, так сложилось, обычно принимаются всё-таки в мск и участие сотрудников головного офиса, хотя бы как решающее "делаем так" всё равно требуется.
Ещё, если нужно сделать что-то маленькое, быстрое, но в нерабочее время, удобнее сделать это, приехав на 15 минут пораньше, потому что окончание рабочего дня сильно растянуто. Ну, например, можно переткнуть питание у пользовательского коммутатора в 7:45, особо никто и не заметит. По-хорошему, конечно, так нельзя, но выходить в выходной ради одного коммутатора никому не хочется.
Всяким разделением на сов и жаворонков не страдаю, мне норм вставать и рано и поздно, лишь бы в целом спать достаточно и режим был однотипный (всегда рано или всегда поздно).
Никакой морали, выбирайте себе удобный график работы под себя)
На шестом курсе я по субботам вела у второкурсников что-то там линуховое. Ну и всем любопытно, кем они станут, когда доучатся, поэтому пару слов рассказала о том, где работаю. В 9 утра в субботу, ясен перец, все дружно мечтали, как они станут программистами, которые приезжают к часу дня на работу. И тут я такая: "у меня рабочий день с 8, а приезжаю в 7:40 обычно". Народ шевельнулся, проснулся и посмотрел на меня с недоумением. Кто-то выразил общее мнение: "да нахуй так жить, я что, на ИТ пошел учиться, чтоб с 8 работать?".
И тут пара пояснений, почему сложился такой график. Помимо того, что в Москве это удобно - проскочить в метро до толкучки, а по улицам без пробок, такой график диктуется широтой нашей страны. Да, грёбаных 11 часовых поясов. У нас около 20% сотрудников головного офиса в Москве работает с 8 (есть и с 7 графики у совсем отмороженных) чтобы просто хоть как-то пересекаться с Камчаткой, Чукоткой, Сахалином, Магаданом, Хабаровском и т.д. Среди этих 20% Есть примерно половина ИТ инфраструктурщиков. Если на Камчатке сделать график с 9 при этом, получится час пересечения. Иначе всё общение будет перепиской с ожиданием ответа в сутки с каждой стороны - не очень удобно. С менее дальневосточной частью России при этом будет солидное пересчение в 2-4 часа. Да, у нас есть хабы ИТ в других городах, сдвинутых от мск на +2/+6 часов, но решения, так сложилось, обычно принимаются всё-таки в мск и участие сотрудников головного офиса, хотя бы как решающее "делаем так" всё равно требуется.
Ещё, если нужно сделать что-то маленькое, быстрое, но в нерабочее время, удобнее сделать это, приехав на 15 минут пораньше, потому что окончание рабочего дня сильно растянуто. Ну, например, можно переткнуть питание у пользовательского коммутатора в 7:45, особо никто и не заметит. По-хорошему, конечно, так нельзя, но выходить в выходной ради одного коммутатора никому не хочется.
Всяким разделением на сов и жаворонков не страдаю, мне норм вставать и рано и поздно, лишь бы в целом спать достаточно и режим был однотипный (всегда рано или всегда поздно).
Никакой морали, выбирайте себе удобный график работы под себя)
👍7🔥1🤔1
"Ааа, отвалился интернет"
Первое, что делать - это не паниковать. Да, были времена, когда у меня пульс за 160 и руки тряслись от таких известий)
Тут вообще 4 ситуации (если и правда пропал инет):
1) у вас нет резервного интернета и значит он вам не на столько нужен, чтоб паниковать при его отсутствии
2) резервный интернет есть и он не переключился автоматом (надо понять почему)
3) резервный интернет есть и он тоже не работает
4) резервный интернет есть и он в принципе переключается у вас вручную (значит нечего паниковать, всё ща переключите)
Вообще хочется написать road-map в картинках для своих эникейщиков и сетевиков с этапами диагностики, и я когда-нибудь это сделаю. Порядок вашей диагностики будет во многом зависеть от вашей ситуации. Понятно, что если вместе с интернетом пропало электричество, то стоит проверить щиток на предмет горения синим пламенем и в целом найти электриков. И то что у вас есть UPS на 12 часов не означает, что у оборудования провайдера на чердаке он тоже есть.
Обычно, первое, что я проверяю, а правда ли пропал инет для пользователей? Это займет пару секунд: ping 8.8.8.8, ping ya.ru со своего компа (где вы уверены в правах, политиках и сетевых настройках). Разом проверяете и два разных направления и работу DNS. Вообще по результатам этих команд можно судить о всяком: например, если dns нам ответил (хотя бы то, что адрес он не нашел), то и сетевые настройки на компе в порядке, локалка жива, может и в соседнюю сеть за dns сходили, тогда L3 свич или роутер живы. Или например всё с иинтернетом хорошо, а кто-то просто панику наводит. Или пинг до гугла есть, а у вас просто dns подох в муках.
Дальше простая истина "следуй за трафиком". То есть, проверяем, что пограничный роутер жив и видится с компов. Что с него отвечает тот адрес провайдера, что указан там шлюзом. Дальше уже трассировка с попыткой понять, где трафик теряется.
Тут уже можно звонить провайдеру и оставлять заявку в стиле "инета нет, шлюз ваш с таким-то адресом видится, а дальше тишина" или "инета нет, даже линка нет на интерфейсе в вашу сторону, шлюз не видим, наверное на чердаке чет сдохло у вас".
Что может быть в варианте "резерв есть, а автоматом не переключилось". Ну то есть, мы не берем совсем край, когда вы настроили и не тестировали - там может быть что угодно. Допустим, оно при тестах работало. Возможно, вы не угадали с реперными точками определения "наличия интернета" для переключения. Например, врубили мониторинг на шлюз провайдера. Шлюз видится, а дальше нишиша, роутер считает, что интернет есть. Или включили мониторинг на 8.8.8.8, а гугл ДНС обрыбился вообще в РФ. Он переключает на резерв, а там тоже недоступен 8.8.8.8, переключает обратно - там тоже, и так циклится по кругу. Или, самое хреновое, у вас там 30% потерь, переключение срабатывает, потерь становится 15%, инет возвращается на первого провайдера и там снова становится 30% потерь. Надо определится на каком из провайдеров потери и вырубить его нафиг, посмотреть как оно.
Что может быть, когда разом пропали два провайдера, а электричество в здании есть? Обычно, это экскаватор и рядом лежащие кабели, что ж, не повезло.
Ещё бывают ситуации, когда отвалился кусочек интернета (кто-то накосячил с BGP из крупняков). Если чет непонятное, лезу в тематические чатики. Если это что-то глобальное, там уже идёт обсуждение.
Мы тут не рассматривали что делать, когда инет таки есть, а у пользователя нет. Проблемы могут быть от физических с кабелем до групп доступа (пользователю и не положен интернет).
Для меня в составлении road-map проверки проблема выставить первичный приоритет этапов. Обычно, это с опытом видно. Первым ставить проверку физики глупо, так как это чрезвычайно редкая проблема. С другой стороны, если выдернут провод из компа, глупо проводить другие проверки. С третьей стороны, глупо проверять линк, если в здании уже полчаса нет электричества. В общем, первичный приоритет проверки - это единственное, что меня останавливает от рисования дебильных картинок.
Первое, что делать - это не паниковать. Да, были времена, когда у меня пульс за 160 и руки тряслись от таких известий)
Тут вообще 4 ситуации (если и правда пропал инет):
1) у вас нет резервного интернета и значит он вам не на столько нужен, чтоб паниковать при его отсутствии
2) резервный интернет есть и он не переключился автоматом (надо понять почему)
3) резервный интернет есть и он тоже не работает
4) резервный интернет есть и он в принципе переключается у вас вручную (значит нечего паниковать, всё ща переключите)
Вообще хочется написать road-map в картинках для своих эникейщиков и сетевиков с этапами диагностики, и я когда-нибудь это сделаю. Порядок вашей диагностики будет во многом зависеть от вашей ситуации. Понятно, что если вместе с интернетом пропало электричество, то стоит проверить щиток на предмет горения синим пламенем и в целом найти электриков. И то что у вас есть UPS на 12 часов не означает, что у оборудования провайдера на чердаке он тоже есть.
Обычно, первое, что я проверяю, а правда ли пропал инет для пользователей? Это займет пару секунд: ping 8.8.8.8, ping ya.ru со своего компа (где вы уверены в правах, политиках и сетевых настройках). Разом проверяете и два разных направления и работу DNS. Вообще по результатам этих команд можно судить о всяком: например, если dns нам ответил (хотя бы то, что адрес он не нашел), то и сетевые настройки на компе в порядке, локалка жива, может и в соседнюю сеть за dns сходили, тогда L3 свич или роутер живы. Или например всё с иинтернетом хорошо, а кто-то просто панику наводит. Или пинг до гугла есть, а у вас просто dns подох в муках.
Дальше простая истина "следуй за трафиком". То есть, проверяем, что пограничный роутер жив и видится с компов. Что с него отвечает тот адрес провайдера, что указан там шлюзом. Дальше уже трассировка с попыткой понять, где трафик теряется.
Тут уже можно звонить провайдеру и оставлять заявку в стиле "инета нет, шлюз ваш с таким-то адресом видится, а дальше тишина" или "инета нет, даже линка нет на интерфейсе в вашу сторону, шлюз не видим, наверное на чердаке чет сдохло у вас".
Что может быть в варианте "резерв есть, а автоматом не переключилось". Ну то есть, мы не берем совсем край, когда вы настроили и не тестировали - там может быть что угодно. Допустим, оно при тестах работало. Возможно, вы не угадали с реперными точками определения "наличия интернета" для переключения. Например, врубили мониторинг на шлюз провайдера. Шлюз видится, а дальше нишиша, роутер считает, что интернет есть. Или включили мониторинг на 8.8.8.8, а гугл ДНС обрыбился вообще в РФ. Он переключает на резерв, а там тоже недоступен 8.8.8.8, переключает обратно - там тоже, и так циклится по кругу. Или, самое хреновое, у вас там 30% потерь, переключение срабатывает, потерь становится 15%, инет возвращается на первого провайдера и там снова становится 30% потерь. Надо определится на каком из провайдеров потери и вырубить его нафиг, посмотреть как оно.
Что может быть, когда разом пропали два провайдера, а электричество в здании есть? Обычно, это экскаватор и рядом лежащие кабели, что ж, не повезло.
Ещё бывают ситуации, когда отвалился кусочек интернета (кто-то накосячил с BGP из крупняков). Если чет непонятное, лезу в тематические чатики. Если это что-то глобальное, там уже идёт обсуждение.
Мы тут не рассматривали что делать, когда инет таки есть, а у пользователя нет. Проблемы могут быть от физических с кабелем до групп доступа (пользователю и не положен интернет).
Для меня в составлении road-map проверки проблема выставить первичный приоритет этапов. Обычно, это с опытом видно. Первым ставить проверку физики глупо, так как это чрезвычайно редкая проблема. С другой стороны, если выдернут провод из компа, глупо проводить другие проверки. С третьей стороны, глупо проверять линк, если в здании уже полчаса нет электричества. В общем, первичный приоритет проверки - это единственное, что меня останавливает от рисования дебильных картинок.
👍9
"Ааа, всё сломалось!!!"
Я где-то в начале блога писала, не стоит верить таким воплям. Чаще всего сломалось что-нибудь очень нужное, но одно. Ну типа, полегла почта или телефония, или колл-цетр, или crm. Но бывают ситуации, когда реально сломалось всё с точки зрения пользователя: например, отпал ЦОД со всеми сервисами, возможно, легла локалка, ну или классика - нет электричества.
У меня было разок, когда я при глобальном пиздеце запаниковала. Это не кончилось ничем хорошим - проблему общими усилиями решили, но можно было потратить на это гораздо меньше времени и сил. Может как-нибудь расскажу.
Так что первое правило - не паниковать. Расстрелы уже отменили. Дальше надо локализовать проблему. Я обычно параллельно пытаюсь выяснить, а кто чего делал: возможно к пиздецу привели чьи-то действия и их достаточно откатить. То есть, кто-то тыкал провода в серверной, баловался с firewall или монтировал UPS - понятно хоть будет куда смотреть. Да-да, план критических изменений.. мы сейчас про то как решать, а не как предотвращать. Это всё будет потом.
Мой, не самый обширный, надо сказать, опыт подсказывает, что или "никто ничего не делал" или это что-то делала как раз я.
Никакого чек-листа первичных проверок у меня нет, так как глобальный пиздец всегда разный и сценарии не повторяются. Если это отдельный сервис - локализуется он быстро. Тыкаю палочкой во все подозрительные места и смотрю на отклик. У меня всегда открыт RDP до ЦОДа, если он не отвалился, значит не так всё плохо. Телефония, почта, что-то ещё, пара-тройка быстрых проверок покажет, где искать. Попутно нагружаю сотрудников рядом (своего и соседнего отдела) на более глубокие проверки. Типа позвони нам на город, позвони себе на мобилу, проверь какой номер определился, позвони на 8800, отправь письмо на внешку, ответь на письмо и т.д. Если кто-то локализовал проблему в своём сервисе, также нагружает тестами меня и окружающих: зайди туда, проверь это, сделай поиск, посмотри со внешки.
Если это всё же большой писец - также локализуем большими кусками: один глаз в телегу с мониторингом от заббикса, что там по сообщениям (они вообще были?), вторым глазом начинаем откидывать: локалка? Нет, живая. Каналы в ЦОД? Все или только у нас? Инет при этом есть? На пограничный роутер ЦОД могу попасть? BGP выглядит здоровым? Не строятся туннели? Ядро доступно? Может, сдохла VMWare? СХД? Есть новости про пожар в ЦОД?
Если локалка: на свичи попасть могу? Не развалился стек? STP события были? Не могу попасть на свич - ногами в серверную. Лампочки моргают как бешеная дискотека? Нахуй первый стек из ядра, минуту ждём. Полегчало? Нет? Нахер второй стек из ядра, минуту ждём, попутно ищем человека, который притащит в серверную ноутбук. Чтоб проверить вариант "полегчало" не только по лампочкам.
Важный момент: ваши коллеги и руководство должны понимать, что вы заняты решением проблемы. Мой начальник, в случае, если я занималась проблемой, полностью брал удар пользователей на себя. Он говорил, что мы как раз заняты решением, успокаивал ТОП-менеджмент, поилконьячком валерьянкой и не давал меня побить всем жаждущим крови. Потом будут разборы кто, что и почему. Сейчас не дёргать каждые 2 минуты "ну как там?", не знаниматься обвинениями. Выяснение кто что делал - только в рамках попыток понять как это откатить.
Ммм, чем больше компания, тем меньше вероятность глобальных проблем - всё-таки всё обмазывается отказоустойчивостью. Но тем более глобальным будет пиздец, когда пушной зверёк обойдёт все барьеры failover'a и всё-таки случится.
Надо попробовать озаботиться списком проверок на энергонезависимом носителе (на листочке со скотчем). Возможно, он когда-нибудь спасёт кого-то от паники.
Картинка показывает как не надо делать))
Я где-то в начале блога писала, не стоит верить таким воплям. Чаще всего сломалось что-нибудь очень нужное, но одно. Ну типа, полегла почта или телефония, или колл-цетр, или crm. Но бывают ситуации, когда реально сломалось всё с точки зрения пользователя: например, отпал ЦОД со всеми сервисами, возможно, легла локалка, ну или классика - нет электричества.
У меня было разок, когда я при глобальном пиздеце запаниковала. Это не кончилось ничем хорошим - проблему общими усилиями решили, но можно было потратить на это гораздо меньше времени и сил. Может как-нибудь расскажу.
Так что первое правило - не паниковать. Расстрелы уже отменили. Дальше надо локализовать проблему. Я обычно параллельно пытаюсь выяснить, а кто чего делал: возможно к пиздецу привели чьи-то действия и их достаточно откатить. То есть, кто-то тыкал провода в серверной, баловался с firewall или монтировал UPS - понятно хоть будет куда смотреть. Да-да, план критических изменений.. мы сейчас про то как решать, а не как предотвращать. Это всё будет потом.
Мой, не самый обширный, надо сказать, опыт подсказывает, что или "никто ничего не делал" или это что-то делала как раз я.
Никакого чек-листа первичных проверок у меня нет, так как глобальный пиздец всегда разный и сценарии не повторяются. Если это отдельный сервис - локализуется он быстро. Тыкаю палочкой во все подозрительные места и смотрю на отклик. У меня всегда открыт RDP до ЦОДа, если он не отвалился, значит не так всё плохо. Телефония, почта, что-то ещё, пара-тройка быстрых проверок покажет, где искать. Попутно нагружаю сотрудников рядом (своего и соседнего отдела) на более глубокие проверки. Типа позвони нам на город, позвони себе на мобилу, проверь какой номер определился, позвони на 8800, отправь письмо на внешку, ответь на письмо и т.д. Если кто-то локализовал проблему в своём сервисе, также нагружает тестами меня и окружающих: зайди туда, проверь это, сделай поиск, посмотри со внешки.
Если это всё же большой писец - также локализуем большими кусками: один глаз в телегу с мониторингом от заббикса, что там по сообщениям (они вообще были?), вторым глазом начинаем откидывать: локалка? Нет, живая. Каналы в ЦОД? Все или только у нас? Инет при этом есть? На пограничный роутер ЦОД могу попасть? BGP выглядит здоровым? Не строятся туннели? Ядро доступно? Может, сдохла VMWare? СХД? Есть новости про пожар в ЦОД?
Если локалка: на свичи попасть могу? Не развалился стек? STP события были? Не могу попасть на свич - ногами в серверную. Лампочки моргают как бешеная дискотека? Нахуй первый стек из ядра, минуту ждём. Полегчало? Нет? Нахер второй стек из ядра, минуту ждём, попутно ищем человека, который притащит в серверную ноутбук. Чтоб проверить вариант "полегчало" не только по лампочкам.
Важный момент: ваши коллеги и руководство должны понимать, что вы заняты решением проблемы. Мой начальник, в случае, если я занималась проблемой, полностью брал удар пользователей на себя. Он говорил, что мы как раз заняты решением, успокаивал ТОП-менеджмент, поил
Ммм, чем больше компания, тем меньше вероятность глобальных проблем - всё-таки всё обмазывается отказоустойчивостью. Но тем более глобальным будет пиздец, когда пушной зверёк обойдёт все барьеры failover'a и всё-таки случится.
Надо попробовать озаботиться списком проверок на энергонезависимом носителе (на листочке со скотчем). Возможно, он когда-нибудь спасёт кого-то от паники.
Картинка показывает как не надо делать))
🔥5👍3
Что бы вам такого ближе к технической части, а не к философии рассказать..
Что-то не спокойно мне, что у линуксовых серверов доступ в инет зачастую открыт для установки пакетов. Подумала, что нам нужен эдакий аналог WSUS для Debian. Решила поднять локальное зеркало репозиториев, подумала, ну будет там гигов триста, на 10, 11 и 12 debian вместе взятые. Сегодня руки дошли сделать. Ага, выньте положьте 731 гиг.
Расстроилась, остановила закачку, ушла домой думать. Пожаловалась мужу, что не сложилось, надо что-то другое делать. Конкретные пакеты по списку качать не хочется: и забудут что-нибудь обязательно, и зависимостей там будет масса, которые не учесть. Оказалось, он слышал, что есть штука, которая служит проксёй для серверов внутри, при первом поиске пакета засасывает его из инета и дальше у себя сохраняет/кэширует. Nexus называется. Буду пробовать. А о чём вы беседуете за варкой борща?
Что-то не спокойно мне, что у линуксовых серверов доступ в инет зачастую открыт для установки пакетов. Подумала, что нам нужен эдакий аналог WSUS для Debian. Решила поднять локальное зеркало репозиториев, подумала, ну будет там гигов триста, на 10, 11 и 12 debian вместе взятые. Сегодня руки дошли сделать. Ага, выньте положьте 731 гиг.
Расстроилась, остановила закачку, ушла домой думать. Пожаловалась мужу, что не сложилось, надо что-то другое делать. Конкретные пакеты по списку качать не хочется: и забудут что-нибудь обязательно, и зависимостей там будет масса, которые не учесть. Оказалось, он слышал, что есть штука, которая служит проксёй для серверов внутри, при первом поиске пакета засасывает его из инета и дальше у себя сохраняет/кэширует. Nexus называется. Буду пробовать. А о чём вы беседуете за варкой борща?
🔥5
Зачем нужен vlan
Не только за этим, но как пример
Было это в те далёкие времена, когда у нас не было управляемых коммутаторов, да и вообще была одна сеть на всё, тогда ещё /24 хватало.
Было у нас несколько белых IP адресов, а провод от провайдера был один. И так случилось, что 5-портового TP-Link, в который мы этот провод втыкали и разводили по устройствам, не хватило. Ну а я что, я ж знала, что можно две разные сети воткнуть в неуправляемый свич и каждая сеть будет видеть норм себя. Ну да, будет по всем портам ходить широковещательный трафик от всех. Да что там той сети с белыми адресами, 6 хостов всего добавится, правда? (про другую сторону я как-то не думала тогда) И мы воткнули в общую сеть хвостик от провайдера. Всё заработало, всё было хорошо. Покупка мелкого свича на 8 портов что-то затянулась, так и мы и жили до одного момента.
Часиков в 10 утра потерял сеть комп Генерального директора (закон подлости: он первым терял сеть при любых проблемах). Мы пошли чесать репу и тут потерял сеть второй комп. И третий. Глянули настройки, компы не получают адрес по dhcp. А у кого lease не протух - у того всё ОК. Ну, вердикт понятен - dhcp помер. Захожу на него, а он живой. У него просто кончились адреса 😳 Я сделала хлоп-хлоп глазами, мысленно перекрестилась и грохнула все лизы. Моргнула, а адреса снова кончились. Я завороженно повторила, результат не изменился.
Имена устройств были прикольные, мне минуты три понадобилось, чтобы осознать ситуацию, вспомнить, что провод провайдра торчит в нашу сеть и понять, что от них утекли dhcp запросы из какого-то сегмента. Наша сеть немножко по L2 соединилась с сетью провайдера, а тут, вот удача, наш DHCP торчит. Дальше мы выдернули провод из нашей сети для верности, всё резко успокоилось, я финально грохнула все лизы на dhcp. Мы перетасовали устройства так, чтоб хватило изначального отдельного коммутатора (выключили себе wi-fi в кабинете). Позвонили провайдеру и рассказали чудесные новости. Ну посидели полчасика без интернета, тогда вообще ни о чём. Зато я резко прочувствовала, зачем людям VLAN нужны.
А nexus sonatype из вчерашнего поста ничего так, заработал
Не только за этим, но как пример
Было это в те далёкие времена, когда у нас не было управляемых коммутаторов, да и вообще была одна сеть на всё, тогда ещё /24 хватало.
Было у нас несколько белых IP адресов, а провод от провайдера был один. И так случилось, что 5-портового TP-Link, в который мы этот провод втыкали и разводили по устройствам, не хватило. Ну а я что, я ж знала, что можно две разные сети воткнуть в неуправляемый свич и каждая сеть будет видеть норм себя. Ну да, будет по всем портам ходить широковещательный трафик от всех. Да что там той сети с белыми адресами, 6 хостов всего добавится, правда? (про другую сторону я как-то не думала тогда) И мы воткнули в общую сеть хвостик от провайдера. Всё заработало, всё было хорошо. Покупка мелкого свича на 8 портов что-то затянулась, так и мы и жили до одного момента.
Часиков в 10 утра потерял сеть комп Генерального директора (закон подлости: он первым терял сеть при любых проблемах). Мы пошли чесать репу и тут потерял сеть второй комп. И третий. Глянули настройки, компы не получают адрес по dhcp. А у кого lease не протух - у того всё ОК. Ну, вердикт понятен - dhcp помер. Захожу на него, а он живой. У него просто кончились адреса 😳 Я сделала хлоп-хлоп глазами, мысленно перекрестилась и грохнула все лизы. Моргнула, а адреса снова кончились. Я завороженно повторила, результат не изменился.
Имена устройств были прикольные, мне минуты три понадобилось, чтобы осознать ситуацию, вспомнить, что провод провайдра торчит в нашу сеть и понять, что от них утекли dhcp запросы из какого-то сегмента. Наша сеть немножко по L2 соединилась с сетью провайдера, а тут, вот удача, наш DHCP торчит. Дальше мы выдернули провод из нашей сети для верности, всё резко успокоилось, я финально грохнула все лизы на dhcp. Мы перетасовали устройства так, чтоб хватило изначального отдельного коммутатора (выключили себе wi-fi в кабинете). Позвонили провайдеру и рассказали чудесные новости. Ну посидели полчасика без интернета, тогда вообще ни о чём. Зато я резко прочувствовала, зачем людям VLAN нужны.
А nexus sonatype из вчерашнего поста ничего так, заработал
👍8😱3👏1
Упс с UPS
Как-то мы аж втроём приехали в филиал с инспекцией. Регион был проблемный, айтишники были проблемные, в общем, там было где разгуляться с аудитом, с внедрением и даже с персональным обучением.
После задушевного заглядывания в глаза местному админу с вопросом "почему у тебя 50 новеньких ИБП 8 месяцев лежат на складе, а 90% компов работают без упсов при том, что электричество отключают в среднем 2 раза в неделю?" с нами по-тихому поделились проблемой тоже связанной с электричеством.
А именно: серверный UPS вообще нихрена не держит при отключении электричества. В нём даже сменили аккумы, вот прям на прошлой неделе, а лучше не стало.
Отдельной строкой что там вообще творилось с электропитанием: здание стояло возле железной дороги и электричество периодически мигало при проезжающем мимо поезде. Это помимо плановых отключений от железнодорожников, которые тоже пару раз в месяц баловались работами на сети в будни. Решились проблемы только с переездом офиса в другое место, но это было значительно позже описываемых событий.
Итак "упс не держит". Периодически впечатывая ладонь в лицо 🤦♂️ мы позадавали вопросы о подключении его к локальной сети (зачем?), сбора ошибок (зачем, мы купили аккумы же?), рассчетной нагрузке (ну типа норм же, ну мы не считали, но так подумали) и калибровке после утановки новых батарей (правда я тоже тогда только узнала, что надо калибровать).
Ок, подключили веб-морду, откалибровали батарейки. Но командировка не резиновая, а дергать электричество в здании негуманно, чтоб посмотреть что происходит.
Пошли глазами на ИБП смотреть. Стали считать питание - не сошлось с количеством оборудования. Стойка у стены, провода питания уходят вглубь. В середине стойки было свободно юнитов 15, которые образовывалидырку технологическое отверстие. Мы переглянулись. Я честно сказала, что я тяжёлая, толстая и электричеством, когда я разломаю жопой упс, меня ёбнет так, что только головешки останутся, а я ещё жить хочу. То ли дело мой лёгкий гибкий начальник в резиновых тапочках. Я даже готова сходить за деревянной шваброй и стоять рядом, чтоб быстро оттащить если что. В общем, он принял на себя удар судьбы, мы раздвинули сопли патчиков и он нырнул. Потом сказал, что нихрена не видно и ввинтился глубже. Снаружи остальсь ноги в резиновах тапочках перпендикулярно стойке. Мы пошевелили электрические провода. Изнутри донеслось "хм, ооо, да ладно?! Блять, ебланы, долбоёбы!". Начальника вытащили за ноги. Он ткнул в соседнюю стойку: "это чьё?". Серверная была общая на две компании и вторая стойка была собственно не наша. В стойке была пара небольших упсов, которые держали сервера соседней компании. И оба упса были воткнуты в наш. С возгласами "да мне похер что там у них упадёт" лишнее вытащили и воткнули в какие-то розетки. Всё кончилось хорошо, UPS стал держать нагрузку рассчетное время, а историю эту до сих пор вспоминаем))
На картинке примерный вид на ноги начальника, только переместите мысленно в середину стойки. Эпичного фото не осталось, свободной рукой я сжимала швабру
Как-то мы аж втроём приехали в филиал с инспекцией. Регион был проблемный, айтишники были проблемные, в общем, там было где разгуляться с аудитом, с внедрением и даже с персональным обучением.
После задушевного заглядывания в глаза местному админу с вопросом "почему у тебя 50 новеньких ИБП 8 месяцев лежат на складе, а 90% компов работают без упсов при том, что электричество отключают в среднем 2 раза в неделю?" с нами по-тихому поделились проблемой тоже связанной с электричеством.
А именно: серверный UPS вообще нихрена не держит при отключении электричества. В нём даже сменили аккумы, вот прям на прошлой неделе, а лучше не стало.
Отдельной строкой что там вообще творилось с электропитанием: здание стояло возле железной дороги и электричество периодически мигало при проезжающем мимо поезде. Это помимо плановых отключений от железнодорожников, которые тоже пару раз в месяц баловались работами на сети в будни. Решились проблемы только с переездом офиса в другое место, но это было значительно позже описываемых событий.
Итак "упс не держит". Периодически впечатывая ладонь в лицо 🤦♂️ мы позадавали вопросы о подключении его к локальной сети (зачем?), сбора ошибок (зачем, мы купили аккумы же?), рассчетной нагрузке (ну типа норм же, ну мы не считали, но так подумали) и калибровке после утановки новых батарей (правда я тоже тогда только узнала, что надо калибровать).
Ок, подключили веб-морду, откалибровали батарейки. Но командировка не резиновая, а дергать электричество в здании негуманно, чтоб посмотреть что происходит.
Пошли глазами на ИБП смотреть. Стали считать питание - не сошлось с количеством оборудования. Стойка у стены, провода питания уходят вглубь. В середине стойки было свободно юнитов 15, которые образовывали
На картинке примерный вид на ноги начальника, только переместите мысленно в середину стойки. Эпичного фото не осталось, свободной рукой я сжимала швабру
👍8🔥4
Вчера прошло главное событие этой осени для сетевиков LinkMeetUp
Это было шикарно! Доклады огонь, тусовка супер! Всем рекомендую ходить на такого рода мероприятия, даже если вы интроверт. Можно постоять рядом послушать беседы, а потом и вас затянут в обсуждение незаметно. Доклады в конце концов тоже полезны.
Даже подошёл один читатель этого блога, мне было приятно))
А ещё меня научили варить оптоволокно, подарили фирменную обжимку с гравировкой, я встретила чуваков из selectel, которые тоже проводят митапы - сказала им спасибо. Немного старых знакомых, немного новых - плохо что ли? Хорошо!
Это было шикарно! Доклады огонь, тусовка супер! Всем рекомендую ходить на такого рода мероприятия, даже если вы интроверт. Можно постоять рядом послушать беседы, а потом и вас затянут в обсуждение незаметно. Доклады в конце концов тоже полезны.
Даже подошёл один читатель этого блога, мне было приятно))
А ещё меня научили варить оптоволокно, подарили фирменную обжимку с гравировкой, я встретила чуваков из selectel, которые тоже проводят митапы - сказала им спасибо. Немного старых знакомых, немного новых - плохо что ли? Хорошо!
🔥6
Нет облаков, это чей-то компьютер (с)
Мы, ныне старые пердуны за 30, всегда считали, что инфраструктура должна быть своя. Она может стоять в общем ЦОД, конечно, но и у себя в серверной под бочком должно быть хотя бы место для бэкапов. Все эти azure, yandex облака, гугл почта и виртуальный AD смузи-стартаперов вызывали сомнительный хмык. Максимум можно включить в свою инфраструктуру на "пережить пик нагрузки", "перебиться в переезд" или хранить третий бэкап. Если уж облако для работы, то своё, родное, на своих серверах и СХД. Для сколько-нибудь крупной организации своя инфраструктура также дешевле в эксплуатации.
Облако это чей-то компьютер. То есть, конечно, сервер и не один. Но это такое же железо, которое может ломаться, греться, сыпаться, иметь аппаратные баги и так далее - никаких волшебных технологий. Совсем не факт, что вашу облачную инфраструктуру кто-то резервирует достаточно или правильно строит.
Облако это чей-то компьютер. То есть, не ваш. Кто-то ещё имеет к нему физический доступ (и хорошо если не имеет логического). Вы не знаете что там за железо и в каком оно состоянии. Аппаратные проблемы? Ну, попробуйте подебажить или добиться этого от поддержки. Владелец имеет возможность прекратить оказание услуги просто потому что. Даже если вы выиграете потом суд - вашему бизнесу это уже мало поможет. Облачный сервис уронили? Можно только писать в поддержку и ждать, от вас мало что зависит.
После всяких санкций, отмен и уходов мы погладили себя по головке и сказали "мы же говорили". А ещё тайком полюбовались на свой умный дом с сервером на антресолях, который не отключит РКН. Такие вот мы старые динозавры.
Мы, ныне старые пердуны за 30, всегда считали, что инфраструктура должна быть своя. Она может стоять в общем ЦОД, конечно, но и у себя в серверной под бочком должно быть хотя бы место для бэкапов. Все эти azure, yandex облака, гугл почта и виртуальный AD смузи-стартаперов вызывали сомнительный хмык. Максимум можно включить в свою инфраструктуру на "пережить пик нагрузки", "перебиться в переезд" или хранить третий бэкап. Если уж облако для работы, то своё, родное, на своих серверах и СХД. Для сколько-нибудь крупной организации своя инфраструктура также дешевле в эксплуатации.
Облако это чей-то компьютер. То есть, конечно, сервер и не один. Но это такое же железо, которое может ломаться, греться, сыпаться, иметь аппаратные баги и так далее - никаких волшебных технологий. Совсем не факт, что вашу облачную инфраструктуру кто-то резервирует достаточно или правильно строит.
Облако это чей-то компьютер. То есть, не ваш. Кто-то ещё имеет к нему физический доступ (и хорошо если не имеет логического). Вы не знаете что там за железо и в каком оно состоянии. Аппаратные проблемы? Ну, попробуйте подебажить или добиться этого от поддержки. Владелец имеет возможность прекратить оказание услуги просто потому что. Даже если вы выиграете потом суд - вашему бизнесу это уже мало поможет. Облачный сервис уронили? Можно только писать в поддержку и ждать, от вас мало что зависит.
После всяких санкций, отмен и уходов мы погладили себя по головке и сказали "мы же говорили". А ещё тайком полюбовались на свой умный дом с сервером на антресолях, который не отключит РКН. Такие вот мы старые динозавры.
🔥9👍7
Хорошо когда сначала читаешь инструкцию
Сегодня чуть не уложила ЦОД. Оказывается, когда включаешь сброс логов с cisco ASA на syslog-сервер по tcp, то аса может выдать сюрприз. Дефолтное поведение при tcp при недоступности syslog-сервера или невозможности записать файл (место кончилось) - обрубить все новые коннекты к asa. Никаких предупреждений, ошибешься так в ip сервера или интерфейсе и привет.
Спасибо мне, что я сначала читаю инструкции до конца с примечаниями! Отключается поведение командой logging permit-hostdown.
Вот вам понедельничный мотиватор от KotiaForge
Сегодня чуть не уложила ЦОД. Оказывается, когда включаешь сброс логов с cisco ASA на syslog-сервер по tcp, то аса может выдать сюрприз. Дефолтное поведение при tcp при недоступности syslog-сервера или невозможности записать файл (место кончилось) - обрубить все новые коннекты к asa. Никаких предупреждений, ошибешься так в ip сервера или интерфейсе и привет.
Спасибо мне, что я сначала читаю инструкции до конца с примечаниями! Отключается поведение командой logging permit-hostdown.
Вот вам понедельничный мотиватор от KotiaForge
👍10🤯2
Про архивирование логов, рабочее
Сегодня немного технический пост. Если заметили, я не пишу посты в стиле "10 команд, которые должен знать каждый" - этого и без меня достаточно, да и нафиг кому эти команды нужны, если лично у вас нет боли, которую они решают.
В понедельник я настроила наиподробнейший сброс логов с cisco ASA на syslog сервер. В процессе ознакомилась с настройками сислога, влетела в пару мест, не то чтобы я его часто настраивала раньше. На денёк я это дело оставила и получила результат: часовой лог занимает от 1,5 до 4 ГБ в зависимости от времени суток. Я посмотрела на ровный график уменьшающегося на серваке места и приуныла.
Ну понятно, первый путь пролегал в сторону logrotate. Я изучила возможности конфига и не нашла как досточно простым способом сделать так, чтоб 4 дня почасовых логов было без архивации, а ещё 7 дней, скажем, с архивацией, а ещё более старые удалялись. В общем, поскольку с питоном у меня пока плохо, да и не очень он тут нужен, я снова пришла к bash. Тут очень удачно муж напомнил про zstd - новое слово в архивировании.
Скрипт в две строчки:
По дороге пришлось погуглить про xargs (не используйте тут -0, у вас же нет пробелов в имени лог-файлов), но вроде всё на тестовых прогонах работает. Zstd жмет файл с логами на 4,7 гига в 280 метров на уровне сжатия 9, на одном ядре секунд за 10 (субъективно, каюсь, я не засекала). Это я на самом большом попробовала, ещё до разбивки на часовые файлы. Разврхивирует вообще за пару секунд, как мне показалось.
Такая вот штука из практики.
Ипользованы базовые знания: есть такая штука как syslog и logrotate, файлы можно архивировать, команды можно стыковать с помощью pipe.
Использованы базовые навыки: делать файл исполняемым, запихивать его в cron, создавать и удалять файлы.
Остальное гуглёж и тесты.
Это к вопросу "каждый сисадмин должен..". Должен знать, что "так бывает", в половине случаев этого достаточно (впрочем, в другой половине недостаточно).
Сегодня немного технический пост. Если заметили, я не пишу посты в стиле "10 команд, которые должен знать каждый" - этого и без меня достаточно, да и нафиг кому эти команды нужны, если лично у вас нет боли, которую они решают.
В понедельник я настроила наиподробнейший сброс логов с cisco ASA на syslog сервер. В процессе ознакомилась с настройками сислога, влетела в пару мест, не то чтобы я его часто настраивала раньше. На денёк я это дело оставила и получила результат: часовой лог занимает от 1,5 до 4 ГБ в зависимости от времени суток. Я посмотрела на ровный график уменьшающегося на серваке места и приуныла.
Ну понятно, первый путь пролегал в сторону logrotate. Я изучила возможности конфига и не нашла как досточно простым способом сделать так, чтоб 4 дня почасовых логов было без архивации, а ещё 7 дней, скажем, с архивацией, а ещё более старые удалялись. В общем, поскольку с питоном у меня пока плохо, да и не очень он тут нужен, я снова пришла к bash. Тут очень удачно муж напомнил про zstd - новое слово в архивировании.
Скрипт в две строчки:
find /var/log/firewall/10.10.10.1/ -name '*.log' -mtime +4 | xargs -I % zstd -c -9 --rm % -o %.zstfind /var/log/firewall/10.10.10.1/ -name '*.zst' -mtime +7 | xargs rmПо дороге пришлось погуглить про xargs (не используйте тут -0, у вас же нет пробелов в имени лог-файлов), но вроде всё на тестовых прогонах работает. Zstd жмет файл с логами на 4,7 гига в 280 метров на уровне сжатия 9, на одном ядре секунд за 10 (субъективно, каюсь, я не засекала). Это я на самом большом попробовала, ещё до разбивки на часовые файлы. Разврхивирует вообще за пару секунд, как мне показалось.
Такая вот штука из практики.
Ипользованы базовые знания: есть такая штука как syslog и logrotate, файлы можно архивировать, команды можно стыковать с помощью pipe.
Использованы базовые навыки: делать файл исполняемым, запихивать его в cron, создавать и удалять файлы.
Остальное гуглёж и тесты.
Это к вопросу "каждый сисадмин должен..". Должен знать, что "так бывает", в половине случаев этого достаточно (впрочем, в другой половине недостаточно).
🔥4❤1👍1
Реанимирование сайта
Весь вечер пятницы я занималась реанимацией сайта. Последняя запись там была в марте 2018 и пять лет я просто отстёгивала хостеру деньги за домен и за хостинг.
Там стояла какая-то древняя версия wordpress, которая не смогла обновиться. Ей нужен был новый PHP. Ок, версия PHP выбирается в админке, выбрала новую. Жмакнула обновиться и сайт помер. Спасибо хостингу, на почту пришла ссылка на админку аварийного восстановления. Тема, которая была ранее выбрана то ли не работает с новой версией WordPress, то ли вообще больше не существует. Выбрала другую тему, обновилась, но сайт распидорасило. Слетели все заголовки, списки и половина картинок. Но меня не остановить, я была готова идти до конца!
Проще всего было навесть https, сертификат выпускается и навешивается одной кнопкой. Дальше пришлось вспоминать как вообще что-то делать в WordPress админке, вычищать все кракозябры, восстанавливать списки и ссылки на картинки, чистить меню и всё такое.
Вообще, где-то в середине процесса я была готова заплатить немножко денег, чтоб кто-нибудь всё сделал за меня, но что я не админ, что ли? В общем, мне стало стыдно, что я не могу победить админку для домохозяек. Так что всё сама восстановила, хотя и плевалась, как я недолюбливаю web.
Сегодня даже осилила пару постов туда залить.
Зачем мне сайт я и сама особо не знаю, ну может посты проиндексируются и сюда кто-то в итоге забредёт.
А, ну и сам сайт то: https://virrasha.ru/
Весь вечер пятницы я занималась реанимацией сайта. Последняя запись там была в марте 2018 и пять лет я просто отстёгивала хостеру деньги за домен и за хостинг.
Там стояла какая-то древняя версия wordpress, которая не смогла обновиться. Ей нужен был новый PHP. Ок, версия PHP выбирается в админке, выбрала новую. Жмакнула обновиться и сайт помер. Спасибо хостингу, на почту пришла ссылка на админку аварийного восстановления. Тема, которая была ранее выбрана то ли не работает с новой версией WordPress, то ли вообще больше не существует. Выбрала другую тему, обновилась, но сайт распидорасило. Слетели все заголовки, списки и половина картинок. Но меня не остановить, я была готова идти до конца!
Проще всего было навесть https, сертификат выпускается и навешивается одной кнопкой. Дальше пришлось вспоминать как вообще что-то делать в WordPress админке, вычищать все кракозябры, восстанавливать списки и ссылки на картинки, чистить меню и всё такое.
Вообще, где-то в середине процесса я была готова заплатить немножко денег, чтоб кто-нибудь всё сделал за меня, но что я не админ, что ли? В общем, мне стало стыдно, что я не могу победить админку для домохозяек. Так что всё сама восстановила, хотя и плевалась, как я недолюбливаю web.
Сегодня даже осилила пару постов туда залить.
Зачем мне сайт я и сама особо не знаю, ну может посты проиндексируются и сюда кто-то в итоге забредёт.
А, ну и сам сайт то: https://virrasha.ru/
👍7
Про то, как нам 30 серверов привезли
Были времена, когда в отделе нас было немного, а количество не-начальников вообще колебалось от одного до двух. В то далёкое время, когда приезжала машина с картриджами, компами или иной техникой, мы все дружно, всеми наличными айтишниками, шли эту технику разгружать и таскать в офис. Не то чтобы я прям наравне со всеми таскала, грузоподъемность у меня всё ж пониже, чем у парней, но тоже участвовала по мере сил.
Было чудесное утро понедельника. Начальник сидел на планёрке, двое на больничном и один в отпуске. Из айтишников на месте была я. Зазвонил телефон: принимайте доставку, мы приехали. Я подумала "хоть бы картриджи" и спросила: "а что везёте?". Мне жизнерадостно ответили "сервера!".
Ну что, я спустилась. Посмотрела на грузовик с 30 двухюнитовыми серверами. Доставщики посомтрели на меня "а что, больше никого нет?". Я честно сказала, что никого. Они ещё раз на меня посмотрели. "Ну мы вам выгрузить поможем". Угу, сказала я, погнали. Пока выгружались, я им подписала документы и шлёпнула печать. Пересчитала коробки и они свалили. Выгрузились они на стоянке на улице. Предстоял путь стоянка-дверь-холл-лифт-офис. Чтоб не спёрли, надо было тащить в пределах видимости, так что я начала носить их к входной двери. А коробка такая, что я поднять могу, если прям на вытянутых вниз руках, а нести уже перебежками только.
На крылечко вышли покурить маркетологи с финансистами. Народ веселился, а хуле, тут такой бесплатный цирк)) где-то к четвертому серверу на крыльцо вышла покурить наш финансовый директор - видимо, планёрка закончилась. Посмотрела на курящих мужиков, на меня. В общем, высказалась в пространство,что девочке надо бы помочь, а то тут корячится. Я тогда честно попыталась сказать, что народ не виноват, не их работа носить коробки, тем более они тут в костюмчиках. Ну потому что это правда, финансисты как бы не грузчиками нанимались, это я тогда эникейщиком была. Но да, я была рада принять помощь, это был один из немногих моментов, когда прям сильно воспользовалась половой принадлежностью. Тогда была уже на всё согласна, только затащите мне эти коробки)) Заодно вызвонила начальника, раз планёрка закончилась, он спустился, присоединился к процессу. А я так, двери придерживала и в лифте кнопку жала. Впятером там народ быстро перетаскал.
Сейчас у нас большой отдел, есть грузовая тележка с колёсиками и некоторое количество эникейщиков, даже служба АХО, которая тоже в грузовых работах участвует. Иногда даже грузчики от доставки сами носят технику. Но были времена, да..
На фото те самые серваки (не все влезли)
Были времена, когда в отделе нас было немного, а количество не-начальников вообще колебалось от одного до двух. В то далёкое время, когда приезжала машина с картриджами, компами или иной техникой, мы все дружно, всеми наличными айтишниками, шли эту технику разгружать и таскать в офис. Не то чтобы я прям наравне со всеми таскала, грузоподъемность у меня всё ж пониже, чем у парней, но тоже участвовала по мере сил.
Было чудесное утро понедельника. Начальник сидел на планёрке, двое на больничном и один в отпуске. Из айтишников на месте была я. Зазвонил телефон: принимайте доставку, мы приехали. Я подумала "хоть бы картриджи" и спросила: "а что везёте?". Мне жизнерадостно ответили "сервера!".
Ну что, я спустилась. Посмотрела на грузовик с 30 двухюнитовыми серверами. Доставщики посомтрели на меня "а что, больше никого нет?". Я честно сказала, что никого. Они ещё раз на меня посмотрели. "Ну мы вам выгрузить поможем". Угу, сказала я, погнали. Пока выгружались, я им подписала документы и шлёпнула печать. Пересчитала коробки и они свалили. Выгрузились они на стоянке на улице. Предстоял путь стоянка-дверь-холл-лифт-офис. Чтоб не спёрли, надо было тащить в пределах видимости, так что я начала носить их к входной двери. А коробка такая, что я поднять могу, если прям на вытянутых вниз руках, а нести уже перебежками только.
На крылечко вышли покурить маркетологи с финансистами. Народ веселился, а хуле, тут такой бесплатный цирк)) где-то к четвертому серверу на крыльцо вышла покурить наш финансовый директор - видимо, планёрка закончилась. Посмотрела на курящих мужиков, на меня. В общем, высказалась в пространство,что девочке надо бы помочь, а то тут корячится. Я тогда честно попыталась сказать, что народ не виноват, не их работа носить коробки, тем более они тут в костюмчиках. Ну потому что это правда, финансисты как бы не грузчиками нанимались, это я тогда эникейщиком была. Но да, я была рада принять помощь, это был один из немногих моментов, когда прям сильно воспользовалась половой принадлежностью. Тогда была уже на всё согласна, только затащите мне эти коробки)) Заодно вызвонила начальника, раз планёрка закончилась, он спустился, присоединился к процессу. А я так, двери придерживала и в лифте кнопку жала. Впятером там народ быстро перетаскал.
Сейчас у нас большой отдел, есть грузовая тележка с колёсиками и некоторое количество эникейщиков, даже служба АХО, которая тоже в грузовых работах участвует. Иногда даже грузчики от доставки сами носят технику. Но были времена, да..
На фото те самые серваки (не все влезли)
🔥9
А этот технический пост не от меня, но надеюсь вам будет интересно :)
Всем привет, на связи муж Наташки, не то чтобы я админ, но иногда играюсь:
Решил я таки воспользоваться предложением судьбы купить на Avito за недорого пару 16TB дисков Seagate Exos x18 ST16000NM000J, да поставить их в RAID1 в домашний сервер. Диски вроде новые, но гелий наполненные и чёрт пойми почему такие дешёвые (USD 180 за 16 TB 13 октября 2023 года), естественно без чека и у мутного продавца, под гарантию в месяц под честное слово. Три диска и RAID 5 не имеют смысла вообще, на таком объёме ресинк может идти неделями, обратите внимание как тут об этом писали 14(!) лет назад.
Я работаю не в энтерпрайзе, а в геймдеве, мы хардварных рейд контроллеров не закупаем, но наши админы и техдир уже полтора десятка лет активно применяют mdraid в различных конфигурациях и характеризуют его только положительно, особенно ценным оказывается возможность пересобрать этот raid на тотально другом железе.
Ну так вот, решил я почитать всякое про mdraid и набрёл на пост посвежее, 11-летней давности: откуда узнал о write-intent bitmap и, честно говоря, не понял начерта он в зеркале (и всё ещё не понял), но также задумался, что точно не хочу его хранить на самих дисках и превращать одну запись в три, тем более, что у меня уже есть системный SSD, и вообще пересобрать RAID можно и без этого bitmap, так что, если что, его и потерять можно.
Вот тут написано что он не имеет смысла только на 0, а также, что если его выложить на другой диск, то там непременно должна быть ext3, а у меня ext4 на руте. И там же написано как манипулировать с ним при помощи --grow. Пытаясь прочитать всё, что под руку попадётся, нашел ещё и вот это, где говорится о проблемах выноса bitmap на рутовый раздел.
И тут я окончательно запутался, будет ли он создан для моего массива или нет, нужно его выносить на другой диск или нет, можно на ext4 или нет. Все вышеперечисленные ссылки (и другие посты на serverfault и т.п.) ответа на вопрос не дали и я решил посмотреть в man mdadm, а так как я админ не настоящий, я предпочитаю читать из браузера, а не в консоли, поэтому вбил в гугл "man mdadm" и что бы вы думали, первой ссылкой вылазит opennet, а второй этот ман и в них немного отличается раздел про опцию --bitmap, но ни тот, ни другой ничего не говорят о том, какое значение будет использовано по умолчанию. Да и про ext2 и ext3, вдруг это древние письмена. Решил переповерить собственно в моём debian, и вуаля:
Из этого уже понятно, что экспериментировать с расположением bitmap файла на ext4 я точно не буду. Что при создании моего массива будет создан internal bitmap. Вопросы всё ещё остались, нужен ли мне вообще bitmap на RAID1? Поможет ли он при восстановлении поле потери питания (ups пока в планах)? Если нужен, наверное придётся отрезать на SSD кусочек под ext3 файлуху и положить его туда. Ну или произошло чудо и в современности internal bitmap просто будет достаточно хорош.
Мораль: читайте ман в консоли в своём дистрибутиве, там может быть больше инфы чем в гугле (но не вся).
Всем привет, на связи муж Наташки, не то чтобы я админ, но иногда играюсь:
Решил я таки воспользоваться предложением судьбы купить на Avito за недорого пару 16TB дисков Seagate Exos x18 ST16000NM000J, да поставить их в RAID1 в домашний сервер. Диски вроде новые, но гелий наполненные и чёрт пойми почему такие дешёвые (USD 180 за 16 TB 13 октября 2023 года), естественно без чека и у мутного продавца, под гарантию в месяц под честное слово. Три диска и RAID 5 не имеют смысла вообще, на таком объёме ресинк может идти неделями, обратите внимание как тут об этом писали 14(!) лет назад.
Я работаю не в энтерпрайзе, а в геймдеве, мы хардварных рейд контроллеров не закупаем, но наши админы и техдир уже полтора десятка лет активно применяют mdraid в различных конфигурациях и характеризуют его только положительно, особенно ценным оказывается возможность пересобрать этот raid на тотально другом железе.
Ну так вот, решил я почитать всякое про mdraid и набрёл на пост посвежее, 11-летней давности: откуда узнал о write-intent bitmap и, честно говоря, не понял начерта он в зеркале (и всё ещё не понял), но также задумался, что точно не хочу его хранить на самих дисках и превращать одну запись в три, тем более, что у меня уже есть системный SSD, и вообще пересобрать RAID можно и без этого bitmap, так что, если что, его и потерять можно.
Вот тут написано что он не имеет смысла только на 0, а также, что если его выложить на другой диск, то там непременно должна быть ext3, а у меня ext4 на руте. И там же написано как манипулировать с ним при помощи --grow. Пытаясь прочитать всё, что под руку попадётся, нашел ещё и вот это, где говорится о проблемах выноса bitmap на рутовый раздел.
И тут я окончательно запутался, будет ли он создан для моего массива или нет, нужно его выносить на другой диск или нет, можно на ext4 или нет. Все вышеперечисленные ссылки (и другие посты на serverfault и т.п.) ответа на вопрос не дали и я решил посмотреть в man mdadm, а так как я админ не настоящий, я предпочитаю читать из браузера, а не в консоли, поэтому вбил в гугл "man mdadm" и что бы вы думали, первой ссылкой вылазит opennet, а второй этот ман и в них немного отличается раздел про опцию --bitmap, но ни тот, ни другой ничего не говорят о том, какое значение будет использовано по умолчанию. Да и про ext2 и ext3, вдруг это древние письмена. Решил переповерить собственно в моём debian, и вуаля:
Note: external bitmaps are only known to work on ext2 and ext3. Storing bitmap files on other filesystems may result in serious problems.When creating an array on devices which are 100G or larger, mdadm automatically adds an internal bitmap as it will usually be beneficial. This can be suppressed with --bitmap=none or by selecting a different consistency policy with --consistency-policy.Из этого уже понятно, что экспериментировать с расположением bitmap файла на ext4 я точно не буду. Что при создании моего массива будет создан internal bitmap. Вопросы всё ещё остались, нужен ли мне вообще bitmap на RAID1? Поможет ли он при восстановлении поле потери питания (ups пока в планах)? Если нужен, наверное придётся отрезать на SSD кусочек под ext3 файлуху и положить его туда. Ну или произошло чудо и в современности internal bitmap просто будет достаточно хорош.
Мораль: читайте ман в консоли в своём дистрибутиве, там может быть больше инфы чем в гугле (но не вся).
🤔3❤1
Ваш сервер в моей серверной стоять не будет
Был у нас как-то период, кода мы ездили в филиалы с инспекцией без предупреждения. Обычно, отправляли письмо директору о том, что едем, уже при посадке в самолёт (а то и по прилёту на место). Тогда я была не связана семейными узами и с удовольствием махнула на недельку в дальние дали.
Вопросов было много. Из прикольного - нас выгоняли в первый день прям в 17 часов, "филиал закрывается, сдаётся на охрану". На второй день мы поехали по точкам проверять ПО. Дата установки антивируса - вчерашняя :) Мы вообще к филиалам лояльно относимся, но когда на нас в ответ на простые вопросы "вы же отчитались о полной установке в прошлом месяце, как так?" начинают наезжать в стиле "а может дата сбилась, ничего не докажете" - это начинает напрягать.
С мелкими вопросами разобрались тогда. А теперь к главному блюду: филиал был географически отдалённый и общероссийским счастьем в виде оптики в регионе был обделён. Только спутник, только хардкор. Соответственно, интернет там был очень лимитный, а бэкап БД быстрее и дешевле было отправить по почте на флешке (без шуток, мы данные для слива в общую базу слали почтой России раз в месяц, а обратно засылали дистрибутивы с софтом). У предыдущего админа были соответствующие настройки шейпинга и прокся со списками разрешения, а у нового, которого мы инспектировали, видимо было всё отключено. Да, бывает так, что старый админ уходит и не оставляет инструкций, сейчас с этим боремся определёнными методами, а тогда это был один из первых случаев.
Месяцем ранее пришел интересный счет на оплату интернета и потому было решено вкатить им что-нибудь, чтобы головной офис мог посмотреть, куда трафик тратится. Заметьте, никого огульно не обвиняли, просто появились вопросы. Ну и я за простые решения, на месте попросила выдать мне рабочую станцию и ваяла прозрачный прокси на базе squid. Удалённо на канале 256-512 килобит, да ещё без содействия админа, это было бы делать сложно.
И вот сижу я, ваяю конфиг, а админ меня аккуратно спрашивает, а что это вы, Наталья, делаете? Ну я и рассказала, что ща доделаю и посмотрим кто куда в интернет ходит, а потом закроем лишнее. Раз вы этим не занимаетесь. Человек ушел переварить информацию. Вернулся и начал вещать на повышенных тонах, что им такого не надо, что "неизвестно что" он в свою систему ставить не будет и "в моей серверной вашего сервера стоять не будет! Не позволю!".
Я тогда была скромной девочкой и не могла сказать прямо в лицо "да ты охуел, дядя". Даже сейчас у меня с этим определенные проблемы, хотя матерюсь я в пять раз больше. Показания админа по поводу мониторинга расхода трафика за день поменялись несколько раз: "мы мониторили, был чисто рабочий трафик, но логов не осталось", "мы не мониторили, но все сознательные", "нам не нужно ничего смотреть" и прочее. Также меня отделили от коллеги и попытались завести разговоры на тему "ну мы всё исправим, вы в отчете напишите норм, а мы тут уже почти исправили", которые перемежались угрозами написать на меня какие-то докладные и попытками что-то там предложить со скидкой.
В тот день я как никогда ждала утра в Москве. И в 7 московских утра набирала безопаснику с фразой "да они опухли", после чего от души высказалась про всю эту ситуацию. Меня ещё потом обвиняли, типа зачем сразу безопасник, можно же было на месте решить через руководство)) Зато сразу и сервер ставить можно, и полное содействие окажем, и за трафиком следить хотим, прям не можем дождаться. Кстати, лидировали по объему подбор машин, автофорумы и кулинарные сайты. На время пришлось ввести белые списки.
Внезапно на канал привалило подписчиков! Я рада вас видеть, приходите в комменты, читайте, пишите, ставьте реакции. У меня тут канал про мой опыт от эникейства через админство в сети и немного менеджерство: старые рассказы, которые уже стали байками, немного технического про текущие будни, капельку философии на тему. Возможно, вы не узнаете 100 новых команд в bash, зато прочитаете охуительную историю в пятницу)
Был у нас как-то период, кода мы ездили в филиалы с инспекцией без предупреждения. Обычно, отправляли письмо директору о том, что едем, уже при посадке в самолёт (а то и по прилёту на место). Тогда я была не связана семейными узами и с удовольствием махнула на недельку в дальние дали.
Вопросов было много. Из прикольного - нас выгоняли в первый день прям в 17 часов, "филиал закрывается, сдаётся на охрану". На второй день мы поехали по точкам проверять ПО. Дата установки антивируса - вчерашняя :) Мы вообще к филиалам лояльно относимся, но когда на нас в ответ на простые вопросы "вы же отчитались о полной установке в прошлом месяце, как так?" начинают наезжать в стиле "а может дата сбилась, ничего не докажете" - это начинает напрягать.
С мелкими вопросами разобрались тогда. А теперь к главному блюду: филиал был географически отдалённый и общероссийским счастьем в виде оптики в регионе был обделён. Только спутник, только хардкор. Соответственно, интернет там был очень лимитный, а бэкап БД быстрее и дешевле было отправить по почте на флешке (без шуток, мы данные для слива в общую базу слали почтой России раз в месяц, а обратно засылали дистрибутивы с софтом). У предыдущего админа были соответствующие настройки шейпинга и прокся со списками разрешения, а у нового, которого мы инспектировали, видимо было всё отключено. Да, бывает так, что старый админ уходит и не оставляет инструкций, сейчас с этим боремся определёнными методами, а тогда это был один из первых случаев.
Месяцем ранее пришел интересный счет на оплату интернета и потому было решено вкатить им что-нибудь, чтобы головной офис мог посмотреть, куда трафик тратится. Заметьте, никого огульно не обвиняли, просто появились вопросы. Ну и я за простые решения, на месте попросила выдать мне рабочую станцию и ваяла прозрачный прокси на базе squid. Удалённо на канале 256-512 килобит, да ещё без содействия админа, это было бы делать сложно.
И вот сижу я, ваяю конфиг, а админ меня аккуратно спрашивает, а что это вы, Наталья, делаете? Ну я и рассказала, что ща доделаю и посмотрим кто куда в интернет ходит, а потом закроем лишнее. Раз вы этим не занимаетесь. Человек ушел переварить информацию. Вернулся и начал вещать на повышенных тонах, что им такого не надо, что "неизвестно что" он в свою систему ставить не будет и "в моей серверной вашего сервера стоять не будет! Не позволю!".
Я тогда была скромной девочкой и не могла сказать прямо в лицо "да ты охуел, дядя". Даже сейчас у меня с этим определенные проблемы, хотя матерюсь я в пять раз больше. Показания админа по поводу мониторинга расхода трафика за день поменялись несколько раз: "мы мониторили, был чисто рабочий трафик, но логов не осталось", "мы не мониторили, но все сознательные", "нам не нужно ничего смотреть" и прочее. Также меня отделили от коллеги и попытались завести разговоры на тему "ну мы всё исправим, вы в отчете напишите норм, а мы тут уже почти исправили", которые перемежались угрозами написать на меня какие-то докладные и попытками что-то там предложить со скидкой.
В тот день я как никогда ждала утра в Москве. И в 7 московских утра набирала безопаснику с фразой "да они опухли", после чего от души высказалась про всю эту ситуацию. Меня ещё потом обвиняли, типа зачем сразу безопасник, можно же было на месте решить через руководство)) Зато сразу и сервер ставить можно, и полное содействие окажем, и за трафиком следить хотим, прям не можем дождаться. Кстати, лидировали по объему подбор машин, автофорумы и кулинарные сайты. На время пришлось ввести белые списки.
Внезапно на канал привалило подписчиков! Я рада вас видеть, приходите в комменты, читайте, пишите, ставьте реакции. У меня тут канал про мой опыт от эникейства через админство в сети и немного менеджерство: старые рассказы, которые уже стали байками, немного технического про текущие будни, капельку философии на тему. Возможно, вы не узнаете 100 новых команд в bash, зато прочитаете охуительную историю в пятницу)
👍17🔥2
Как мы боремся с "ушел и не оставил инструкций"
Надо отметить, с переменным успехом боремся, но всё же
Итак, в предыдущем посте была вскользь задета ситуация, когда админ филиала работал-работал и ушёл, не передав дела. Может, ему замену не успели найти, а может просто плюнуть в лицо уходя хотелось. Ситуации - они разные, мы не про розовых поней. Вопрос, как предотвращать такое?
Надо сказать, что со стороны финансовой мотивации мы сильно ограничены, а моральные пиздюли по телефону имеют эффект только на очень впечатлительных(на меня, например) , коих в айти меньшинство. Реально - у админа филиала ноль мотивации что-то документировать, плюс, обычно, он также уверен, что у него нет на это времени. Так что первое, к чему приходит более-менее крупная компания - это стандартизация процессов. Начинаем всё делать одинаково настолько, насколько это возможно. Одинаковые правила именования, создания учеток, выделения прав, одинаковое оборудование и одинаковые способы подключения, один софт и т.д. Да, в угоду стандартизации иногда придется принести отдельное удобство каждого, таков путь.
Просто инструкция "делаем теперь так" не даст вам ничего. 40% выполнят, 40% прочтут инструкцию жопой, 20% забьют хер сразу. Спустя месяц забьют хер уже 60%. Поэтому следом за стандартизацией идут ненавидимые всеми регламенты. Где на 100 страниц мелким шрифтом будет расписано как надо делать. Это чуть-чуть улучшит ситуацию, так как за невыполнение регламента уже можно выдавать какие-то пиздюли (в основном, всё ещё чисто моральные).
Дальше за ручки идут автоматизация (которую любят) и централизация (которую ненавидят регионы). Ну, с автоматизацией понятно. Когда плюс-минус прошла стандартизация, уже можно что-то автоматизировать. Под централизацией понимается замыкание некоторых процессов на компактную рабочую группу. Группу, которая точно знает как надо. Она может быть собрана из участников разных часовых поясов, но всё же является одной структурной единицей. Почему же идёт централизация? Почему у админов регионов отбирают права, почему не дают сделать свой "линукс и скрипты" с шахматами и поэтессами? Собственно именно поэтому. Чтоб не создалось ситуаций, когда ушел и не оставил документации что там как наверчено. А также, чтоб замена админа не требовала "знание debian, python, sql, черта лысого". Проще нанять трёх человек в условной Москве и выдавать им фидбек на месте, говоря, глядя в глаза, "никогда так больше не делай", чем пытаться заставить регионы делать что-то так, как сказали, а не так, как они видят. Плюс складывается какой-то взаимозаменяемый коллектив и своя база знаний (за наполнением который следит начальник). Уход одного не рушит систему.
Да, это довольно грустно для регионов. Если раньше было поле для экспериментов, то теперь лавочка прикрыта. Чуть что задумал - нет прав. Да, мы теряем в гибкости, где-то в удобстве, где-то в скорости, включая скорость реакции. Регламенты все ненавидят (да и мы тоже). Когда-то я верила в более лучший мир, где каждый админ стремится делать хорошо, документирует и не делает так, как сказали не делать. А потом я столкнулась с реальной жизнью.
К сожалению, мы при таком подходе теряем часть хороших кадров в регионах - им скучно. С другой стороны, при наличии возможности, стараемся включать таких сотрудников в те самые группы централизации.
Насчет того, дешевле ли централизация.. спорный вопрос. Деньги - это не только ФОТ, но и затраты на оборудование, разработку, внедрение, обучение, риски простоя, потеря клиентов при потере скорости и т.д. Я не владелец бизнеса, так что про деньги именно с этой стороны пожалуй не буду. В каждом бизнесе своя оценка.
Я знаю, что есть другие пути, по которым может пойти компания, но и выбирают их при других условиях.
Такие вот отвратительные истории.
Надо отметить, с переменным успехом боремся, но всё же
Итак, в предыдущем посте была вскользь задета ситуация, когда админ филиала работал-работал и ушёл, не передав дела. Может, ему замену не успели найти, а может просто плюнуть в лицо уходя хотелось. Ситуации - они разные, мы не про розовых поней. Вопрос, как предотвращать такое?
Надо сказать, что со стороны финансовой мотивации мы сильно ограничены, а моральные пиздюли по телефону имеют эффект только на очень впечатлительных
Просто инструкция "делаем теперь так" не даст вам ничего. 40% выполнят, 40% прочтут инструкцию жопой, 20% забьют хер сразу. Спустя месяц забьют хер уже 60%. Поэтому следом за стандартизацией идут ненавидимые всеми регламенты. Где на 100 страниц мелким шрифтом будет расписано как надо делать. Это чуть-чуть улучшит ситуацию, так как за невыполнение регламента уже можно выдавать какие-то пиздюли (в основном, всё ещё чисто моральные).
Дальше за ручки идут автоматизация (которую любят) и централизация (которую ненавидят регионы). Ну, с автоматизацией понятно. Когда плюс-минус прошла стандартизация, уже можно что-то автоматизировать. Под централизацией понимается замыкание некоторых процессов на компактную рабочую группу. Группу, которая точно знает как надо. Она может быть собрана из участников разных часовых поясов, но всё же является одной структурной единицей. Почему же идёт централизация? Почему у админов регионов отбирают права, почему не дают сделать свой "линукс и скрипты" с шахматами и поэтессами? Собственно именно поэтому. Чтоб не создалось ситуаций, когда ушел и не оставил документации что там как наверчено. А также, чтоб замена админа не требовала "знание debian, python, sql, черта лысого". Проще нанять трёх человек в условной Москве и выдавать им фидбек на месте, говоря, глядя в глаза, "никогда так больше не делай", чем пытаться заставить регионы делать что-то так, как сказали, а не так, как они видят. Плюс складывается какой-то взаимозаменяемый коллектив и своя база знаний (за наполнением который следит начальник). Уход одного не рушит систему.
Да, это довольно грустно для регионов. Если раньше было поле для экспериментов, то теперь лавочка прикрыта. Чуть что задумал - нет прав. Да, мы теряем в гибкости, где-то в удобстве, где-то в скорости, включая скорость реакции. Регламенты все ненавидят (да и мы тоже). Когда-то я верила в более лучший мир, где каждый админ стремится делать хорошо, документирует и не делает так, как сказали не делать. А потом я столкнулась с реальной жизнью.
К сожалению, мы при таком подходе теряем часть хороших кадров в регионах - им скучно. С другой стороны, при наличии возможности, стараемся включать таких сотрудников в те самые группы централизации.
Насчет того, дешевле ли централизация.. спорный вопрос. Деньги - это не только ФОТ, но и затраты на оборудование, разработку, внедрение, обучение, риски простоя, потеря клиентов при потере скорости и т.д. Я не владелец бизнеса, так что про деньги именно с этой стороны пожалуй не буду. В каждом бизнесе своя оценка.
Я знаю, что есть другие пути, по которым может пойти компания, но и выбирают их при других условиях.
Такие вот отвратительные истории.
👍14