Расскажу историю своего самого большого факапа в карьере. Давно собирался это сделать, но забывал. А на днях что-то вспомнилось. Это история про то, как я потерял прод и бэкапы одновременно 😱 🤡. Но всё закончилось хорошо.

Дело было в небольшой компании, куда я пришёл на полностью настроенную инфраструктуру. К тому моменту, когда всё случилось, я работал с тем, что есть.

Мониторинг Zabbix показал ошибку смарта одного из дисков рейд массива, где жила большая (2-3TB) файловая шара (samba на Linux, введена в домен AD), которой пользовался весь офис. У юзеров на компах не было файлов вообще. Всё только там. Я пошёл проверять и понял, что эта ошибка связана с катастрофически большим количеством парковок головок жёсткого диска. Сам диск на тот момент уже не был виден в системе. Проверяю остальные диски, а там всё то же самое. Был какой-то баг в прошивках дисков WD, в итоге они в Linux парковались каждые 8 секунд. И так несколько лет. Я понимаю, что могу потерять в ближайшее время весь массив, так как он может просто развалиться или не пережить ребилда.

Принимаю решение перетащить все данные на имеющийся в наличии четырех дисковый qnap очень маленькой производительности. Посмотрел, что его можно ввести в AD и решил, что на какое-то время это решение протянет. Делать всё начинаю к вечеру, который плавно переходит в ночь (всё как мы любим), так как данных полно, копируются долго. Перенёс файлы на qnap и пытаюсь восстановить права доступа, но не получается. Файлов там под миллион. Запускаю через скрипт восстановление прав доступа из текстового файла и всё виснет на неопределённое время. Если дроблю на маленькие секции, то работает. Но вручную всё это дробить и запускать слишком долго и хлопотно.

Надо принимать решение, так как на носу новый рабочий день. Есть еще один тестовый сервер, но диск нужного объёма там один, без рейда. Прикинул в уме и решил, что degraided raid5 с убитыми дисками менее надёжен, чем одиночный рабочий диск и переезжаю на него. Права доступа нормально восстанавливаю. Утром приходят люди и начинают работать уже на новом диске. Изменения накапливаются на нём.

Утром договариваюсь с директором о встрече, чтобы обсудить эти дела и решить, что делаем дальше. В течении дня, пока еду, получаю уведомление от мониторинга о том, что сервер с бэкапами не отвечает. А они вообще в другом городе, на производстве в серверной. Админа там нет, он наездами бывает примерно раз в неделю. Бэкапы делаются раз в сутки по ночам. С этого момента все новые данные лежат только на одном диске. Тут мне первый раз повезло и в беседе с директором между делом я упомянул, что сервер с бэкапами завис.

Принимаем решение оперативно купить новые диски и заменить вообще все, которые потенциально убитые из-за парковок. Там вроде 6 дисков по 3TB было. На сервере помимо файловой шары что-то ещё менее критичное лежало. На следующий день мой помощник едет покупать диски. Сам сервер в ЦОД, так что он забирает его и притаскивает в офис, включает.

Так как на сервере много всего было, я сначала всё аккуратно забираю, убеждаюсь, что ничего не забыл. Прошу заменить диски. Накатываю новый гипервизор, тестирую работу рейда, имитирую отказ диска и т.д. И все это параллельно с другими делами. Получается не быстро. Где-то один день на это ушёл.

И тут начинают жаловаться люди, что сервер сильно шумит и мешает им работать. Настолько мешает, что они генеральному написали и попросили вмешаться. Тот попросил выключить сервак. Здесь мне надо было бы настоять и все же доделать, но я как-то легкомысленно отнёсся к этой просьбе и решил, что в выходные доделаю, да и всё. В общем, из-за этого потерял ещё один день. Сервер бэкапов так и не отвечает.

Продолжение в следующем посте 👇

#backup

Продолжение (Начало выше 👆)

Утро нового дня (пятница) начинается с сообщения помощника о том, что сетевой диск не доступен. Как обычно бывает, идёшь проверять, не ожидая какой-то подставы. Смотрю и правда не доступен. Захожу на сервер и не вижу его. И вот тут у меня пробежал холодок по спине. Я понял, что ПОПАЛ 😱. Не хотел бы пережить это ещё раз.

Прошу перезагрузить сервер. Но это не помогает. Диск не виден. Я понимаю, что с ним какие-то проблемы, а там все изменения за несколько прошедших дней. Приходят менеджеры и говорят, что у них тендер, они всю неделю собирали данные и теперь их надо в понедельник загрузить на площадку, иначе всё пропало. А диск был в составе lvm тома, подключенного к гипервизору Xen, на нём была виртуалка Linux и там уже лежали файлы. То есть просто подключить этот диск к какому-то компу и попытаться что-то прочитать не имеет смысла.

Тут я не стал юлить и терять время. Сразу же позвонил генеральному и сказал, как есть. Он, конечно, офигел от таких новостей, но стоит отдать ему должное, не стал ругаться и что-то выговаривать. Сказал, ищите срочно компанию по восстановлению данных. Стали оперативно искать, нашли неподалёку в тот же день и отвезли диск. Оплатили (~$700).

Первичный осмотр показал, что вышла из строя какая-то механика. Можно починить с помощью донора. В этот же день начинают ремонт и в субботу выдают нам отремонтированный диск. Помощник едет в офис, вставляет его в то же место. Гипервизор загружается, диск виден, виртуалка стартует, все файлы на месте. ОТЛЕГЛО.

Доделываю сервер с новыми дисками и возвращаю туда файлы. Всё на месте и всё работает. В понедельник приходят люди и успешно грузят документы для тендера.

Вот такая история. Всю вину я с себя не снимаю, но считаю, что пострадал в основном из-за дерьмового железа, которое я бы сам никогда не стал покупать в прод. Всё работало на десктопных мамках, да ещё этот qnap. Со временем я заменил все сервера на брендовые c ipmi. Не пришлось лишний раз объяснять, зачем и почему это делается.

Сам ошибся только в одном месте. Надо было срочно отправлять кого-то ребутать сервер с бэкапами. Но я не думал, что именно в эти 2-3 дня что-то пойдёт не так 😁 Думал дождаться планового приезда человека туда. Прикинул, что даже если вдруг всё умрёт, то бэкапы то есть, просто не свежие. Подумаешь, 2-3 дня, пережить можно в самом крайнем случае. Кто же знал, что тендер на носу. Без него реально бы пережили, хотя и было бы неприятно. Ну и затянулось всё в итоге на 4 дня, что не планировалось.

А так вышло, как вышло, просто не повезло. Вероятность проблем, если бы я вообще не переносил данные на одиночный диск, была выше. А предпринять что-то ещё на тот момент я не мог. Прокрутил все варианты.

❓ Вчера поступил интересный вопрос, который я решил опубликовать, предложить своё решение и спросить, как поступаете вы в такой ситуации. Тема актуальная для администрирования, особенно сейчас, когда все по удалёнкам чалятся.

Добрый день. Такой вопрос: как лучше всего организовать доступ к конфигурации различных устройств в сети, с разным типом конфигурации: http, ssh, telnet и прочее? Несколько админов, разный уровень доступа, необходимо ввести аудит (кто, когда, что), недоступность конфигурации пользователям. Просто кинуть админки в vlan не подходит, админы перемещаются, плюс некоторые на удалёнке. Виртуальная машина с доступом пока кажется самым логичным, но может ещё что то есть?
Как лучше всего безопасно организовать доступ в админку либо cli для пары десятков активных устройств нескольким (до 10) админам с разными правами?

Подобную задачу можно решить либо с помощью банального jump host, но нужно будет продумать все ограничения и запреты. Если протоколов много, то может быть сложно, либо вообще что-то не получится реализовать.

Второй способ, использовать готовое приложение для этого. Как вариант: Apache Guacamole или Trasa. Единственное, тут http протокол идёт мимо, так как предложенные мной решения, если не ошибаюсь, с ним не работают. Но для него можно отдельно какую-то прокси сделать, например на nginx (proxy_pass), со своей авторизацией или подцепить весь предложенный софт к AD.

А как вы бы решали подобную задачу?
Задать свой вопрос - @srv_admin_vopros_bot

#вопрос_читателя #security

Большая IT-Библиотека для каждого айтишника - BZD • Книги для программистов. 
👉Больше 3500 книг;
👉Хорошая категоризация книг на английские и русские;
👉Литература по программированию Python, Java, C, C++, JavaScript, C#, R, Go, информационной безопасности и других IT направлений. 

Работаем для вас! Подписывайтесь @bzd_channel

​​Лёгкая, весёлая и необычная игрушка на шпионскую и хакерскую тематику - Hacktag. Игра проходится вдвоем! Один должен быть хакером, другой шпионом, и только так. Можно играть с женой 🙀 Не знаю только, как роли распределить в данной конкретно ситуации. Мы то по идее хакеры, но жена-шпион мне как-то не очень. Неженатым в этом плане проще.

В игре нужно будет взламывать различные системы, добывать новую информацию, чтобы в итоге завалить главный компьютер. Персонажи в игре выполнены в виде антропоморфных животных.

Отзывы:
📌Наконец-то появилось что-то новое кооперативное, подойдёт для игры с девушкой. Рандомно генерируемые уровни. Поддержка геймпада. Весёлая. Древо навыков для прокачки. Также есть таблица лидеров мировая/друзей. Можно играть как на 1 компе, так и по сети/инету.

📌Игруля редкость для наших дней. Почему? Да потому как жанр нечто среднее между стелс и симулятором хацкера, а с учетом, что в игру могут играть только 2 человека и только одновременно (не знаю сфигали стим пишет для одного игрока). Знаю из подобных только 2 еще. Больше за все время моих скромных 35 лет и из них 25 лет игровых подобных не встречал. Да, есть симуляторы какинга, хакера и т.д. и т.п. разной степени интересности, сложности, реалистичности и проработки. Да, есть просто море селсов шпионских и не шпионских. Но сочетаний и того и другого в 1 игре с мультиплеером на 2х, можно буквально пересчитать по пальцам.

📌Играть с тяночкой самый сок, но я не шпрехен дедович в ваших там инглишь из вери матч...

В инете находится при желании пиратка, на я хз, что там внутри. Наверняка с вируснёй.

Steam - https://store.steampowered.com/app/622770/Hacktag/
Посмотреть, как играют - https://www.youtube.com/watch?v=P5o4UHuPmFc

#игра

Всем известно, что настоящие админы в наше время используют устройства Mikrotik. Они наверняка знают, что уже вышел долгожданный релиз RouterOS 7. А вот стоит или не стоит на него переходить, думаю наверняка никто не скажет.

Я лично ни одно из своих устройств не обновлял на 7-ю версию. И в ближайшее время точно не буду. Тут я просто мягким местом чую, что ещё не время.

Дмитрий Скоромнов, автор курсов по Mikrotik, которого я неоднократно рекомендовал для обучения, привёл наглядные примеры багов, которые прямо перед глазами в таблице маршрутизации. Думаю, после изучения его поста, у вас на какое-то время будет закрыт вопрос на тему перехода на RouterOS 7.

https://t.me/mikrotik_sensei/110

Но если вы отважный и смелый, то стоит ли обращать внимание на такие мелочи? Один раз живём (но это не точно).

#mikrotik

Я знаю, что почти все линуксовые админы любят хорошенько грепнуть. Да я и сам команду grep использую почти каждый день. Но грепать можно не только текстовую информацию. С помощью Python грепать можно видеоролики. Есть возможность автоматически находить в видео нужные фразы и делать из них нарезки.

Идею, о которой дальше пойдёт речь, я увидел в видеоролике на канале Чёрный Треугольник - VideoGREP — магия автоматизации на Python. Когда смотрел ленту youtube, обратил внимание именно на GREP. Сразу стало интересно, что там грепать собираются. Видео в итоге посмотрел и оно меня заинтересовало. Решил с вами поделиться.

Суть такая. Есть пайтоновская библиотека videogrep. Поставить её и использовать без проблем сможет любой админ. Я, собственно, поэтому и пишу об этом. Посмотрел ролик и понял там абсолютно всё. Видео на ютубе почти всё с субтитрами, которые вместе с видео можно утянуть оттуда через консоль.

Там же в консоли с помощью очень простого и короткого скрипта можно проанализировать пачку видео и сделать из них нарезку с фрагментами какой-то конкретной фразы. Для обычного человека это может показаться настоящей магией. Можно кого-то удивить такой штукой.

В общем, я вам рассказал, а дальше сами решайте, пригодится это вам где-то или нет. Автор видео всё подробно рассказал, так что повторить не составит труда. Он либо админ, либо бывший админ. Видно, что в консоли любит и умеет работать.

#видео

​​Я потестировал ещё один бесплатный открытый софт для удалённого управления компьютерами под названием RustDesk. У него есть несколько полезных особенностей, из-за которых на него имеет смысл обратить внимание.

1️⃣ Самое важное. RustDesk умеет открывать TCP туннели. Программа автоматом при подключении создаёт TCP туннель до удалённого RDP порта, так что можно подключиться к удалённому рабочему столу прямо через интерфейс программы. Довольно удобно сделано. Для тех, кто не пользовался подобным и не понимает, как это работает, поясню.

Допустим, в сети, куда вы подключаетесь через RustDesk, есть какой-то ssh сервер 10.20.30.5. У вас нет туда прямого доступа, но нужно подключиться по ssh напрямую со своего компа. Вы создаёте в RustDesk TCP туннель и указываете, что будете использовать локальный порт 222 для того, чтобы соединиться с удалённым портом 10.20.30.5:22. После того, как RustDesk подключиться к любому компьютеру в локальной сети, от которого есть соединение до 10.20.30.5, вы сможете подключиться на свой локальный порт 222 и попасть на удалённый ssh сервер.

У меня были ситуации, когда я много работал через подобные туннели. Использовал для этого AnyDesk. У него есть такой же функционал. Это было очень удобно, так как заказчику не надо было заморачиваться с доступом к каждой машине в закрытом периметре. Он вручную запускал Anydesk и контролировал мой доступ. А я создавал до десятка разных туннелей и спокойно подключался со своего компа туда.

2️⃣ Помимо того, что что код открыт, в репозитории есть инструкции по сборке. Теоретически, это можно делать самостоятельно, если есть такое желание. Часто бывает, что код открыт, но если ты не разбираешься в теме, то хрен ты сам соберёшь, даже если есть исходники.

Есть легковесные портированные версии под винду. Запускаются без установки и прав администратора.

3️⃣ Есть свой ID и Relay сервер. То есть можно поднять всё у себя. Я это сделал, проблем не возникло, так как всё упаковано в Docker. Не понял только одно. Указано, что сейчас разрабатывается новый сервер и пока его можно использовать бесплатно. Потом, судя по всему, будет стоить денег. А может и оставят какую-то бесплатную версию, хз.

Мобильный клиент тоже есть.

Сайт - https://rustdesk.com
Исходники - https://github.com/rustdesk/rustdesk
Инструкция по запуску сервера - https://github.com/rustdesk/rustdesk-server/blob/master/id-relay-set.md
Мобильный клиент - https://play.google.com/store/apps/details?id=com.carriez.flutter_hbb

#remote

​​Ещё не успел перейти на nftables, а оказывается, что может и не придётся, так как на смену спешит eBPF, который уже много где используется. Например, в cilium.io (одна из реализаций сети для контейнеров в kubernetes). У них подробный материал есть на эту тему - Why is the kernel community replacing iptables with BPF.

Я уже почти созрел и давно запланировал переход на nftables. Уже и примеры конфигураций смотрел, и понял, зачем мне это надо. Nftables действительно удобнее iptables. Рекомендую погуглить различия, если ещё не делали этого. Из того, что сходу помню и на что обратил внимание: единый конфиг для ipv4 и ipv6, более короткий и наглядный синтаксис, больше не нужен ipset, так как nftables умеет быстро работать с огромными списками, экспорт правил в json и т.д.

И вот на сцене появляется ещё один пакетный фильтр bpfilter. Он не новый, но как я понял из некоторых новостей, которые погуглил, его активно развивают и уже много куда внедряют. Его используют в том числе Facebook и Netflix. Понятно, что они много чего используют и это не показатель реальной популярности и скорого роста использования того или иного продукта.

Написал эту заметку не только, чтобы поделиться информацией, но и спросить тех, кто разбирался уже в этом вопросе. Мне сейчас реально не понятно, eBPF это реально наше будущее в Linux и переходить на nftables не имеет большого смысла. Или не всё так однозначно? Если посмотреть презентацию с недавней конфы линуксоидов, то там прям на пальцах объяснили, что bpfilter это будущее. И там же указано, что будет переход From nft to bpfilter. Во разогнались как 😄 Я ещё на nft не перешёл, а они уже на bpfilter переезжают.

#iptables #nftables #bpfilter #firewall

На днях у меня случилась неприятная история с одним из серверов Asterisk. Пользователи стали жаловаться на то, что не работает межгород. Звонят по нему редко, так что заметили не сразу. Я проверил, и правда не звонит. Сервер оператора возвращает 500-ю ошибку:
Got SIP response 500 "Service Unavailable"

Звоню в тех. поддержку. Там ответили, что мы вас отключили ещё 2 недели назад за подозрительные звонки на Кубу. Тут я запереживал немного, стал проверять. Действительно было немного звонков туда от одной учётной записи. Пароль сменил, международные звонки вообще отключил. Позвонил оператору и попросил нас разбанить.

Я всегда запрещаю по максимому все звонки и вообще к телефонии отношусь очень аккуратно. На этом сервере удалённые подключения долго были запрещены, пиры только из офиса и vpn подключались. Потом меня очень попросили сделать возможность пользоваться телефонией со смартфонов. Я настроил отдельную группу номеров, которые могут подключаться извне, но разрешены были только локальные звонки.

Потом пришла удалёнка и люди со своими аппаратами разъехались по домам. Ограничить доступ стало невозможно, потому что каждому дома не настроишь VPN до офиса на его железе. Пришлось разрешить все звонки и таким удалёнщикам. Международные звонки по прежнему были отключены, но они нужны. Открывал их вручную по заявкам, но в какой-то момент это надоело, так как оперативно не получалось решить вопрос, а звонить надо здесь и сейчас. Открыл для всех. Закончилось это историей, с которой я всё начал.

На сервере настроен мониторинг исходящих звонков и активных подключений. Спам звонками заметил бы. Fail2ban тоже был и работал для защиты от переборов и некоторой другой активности. Подстраховался как мог, но всё равно не помогло. Слитая учётка особо не отсвечивала и звонила редко, раз в 5-10 минут. Повезло, что у оператора стояла защита на подозрительные направления. Международные звонки отключили сразу.

Как на 100% защититься от такой ситуации - не знаю. Сейчас все по домам сидят, работают. Всем нужна связь. Спасти может только сам оператор своими методами защиты и лимитом дневного бюджета. Рекомендую заранее связаться с провайдером и спросить, что будет, если учётка уйдёт на сторону и начнутся звонки на Кубу. Как уже сказал, я у себя международные звонки опять отключил, настроил уведомление себе на почту при попытке позвонить по 8-10... Раньше так и было, но расслабился. Так хотя бы сразу засветится проблемный пир.

Кстати, косвенно помогла моя педантичность в выписывании масок для звонков. Я не разрешаю одним правилом всё подряд, а аккуратно выписываю разрешённые направления. В логах была куча попыток позвонить через номера, начинающиеся с 00, 01, 02, 03, ~1, +1, +2 и т.д. То есть куча левых направлений. Но все они отфутболились, потому что для них не было настроенных масок для звонков. Только _810X. и внутрироссийские.

А вы как защищаетесь от таких атак? Понятно, что самый надёжный способ подключать пиров только через VPN, но мне кажется, это малореально в текущих условиях. Придётся преднастроенные смартфоны и телефоны сразу с настроенными роутерами выдавать. Я, кстати, так тоже делал, но это немассовое решение (юзеру выдавался настроенный mikrotik и sip телефон комплектом). Также покупал аппараты с поддержкой OpenVPN внутри. Были такие Грандстримы. Но ненадёжно работало и трудно дебажить проблемы связи, пришлось отказаться.

Напишите в комментариях, кому интересно, стоит мне отдельным постом написать, как я мониторю и защищаю сервер Asterisk. Тема узкая и, думаю, что мало кому интересная в наши дни.

#asterisk #sip #security

​​Когда речь заходит про бесплатный программный Firewall, сразу же на ум приходит старый, проверенный временем firewall на базе Freebsd - pfSense. Там все настройки можно натыкать мышкой, но всё равно получится хорошо.

А вот если вы заядлый консольщик и не уважаете нубские GUI, то вам подойдёт другое решение - VyOS. Там только консоль, как в суровых профессиональных железках, типа Cisco или Juniper. Причём VyOS очень сильно напоминает синтаксис JunOS.

Из функционала в VyOS есть практически всё, что можно только пожелать:
▪ Routing: BGP (IPv4 and IPv6), OSPF (v2 and v3), RIP and RIPng, policy-based routing.
▪ VPN: IPsec, VTI, VXLAN, L2TPv3, L2TP/IPsec and PPTP servers, tunnel interfaces (GRE, IPIP, SIT), OpenVPN in client, server, or site-to-site mode, Wireguard.
▪ Firewall and NAT: Stateful firewalls, zone-based firewall, all types of source and destination NAT (one to one, one to many, many to many).
▪ Network services: DHCP and DHCPv6 server and relay, IPv6 RA, DNS forwarding, TFTP server, web proxy, PPPoE access concentrator, NetFlow/sFlow sensor, QoS.
▪ High availability: VRRP for IPv4 and IPv6, ability to execute custom health checks and transition scripts; ECMP, stateful load balancing.

Если во всём этом разобраться и настроить, то не стыдно будет признаться кому-нибудь прилюдно. Это не про Mikrotik упомянуть, за который сразу могут нахамить те, кто не смог с ним разобраться.

Под капотом у VyOS Debian и Iptables. Хотя сейчас уже возможно Nftables. Есть два режима обновлений: rolling (для отважных) и long term (для всех остальных). В общем, продукт известный, надежный и зрелый. Тут без шуток, рекомендую попробовать. Отлично заходит в качестве шлюза виртуальных машин гипервизора.

Сайт - https://vyos.io

#gateway

​​Для тех, кто ещё не сконвертировал все свои Centos 8 в какую-то другую систему, небольшая инструкция. Я ещё в декабре всё основное перевёл, что так или иначе контактирует с внешним миром. Теперь доделал потихоньку всё остальное (в основном свои системы - elk, gitlab и т.д.). Рекомендую всем это проделать, кто отложил на потом. Обновлений для Centos 8 больше нет. Более того, и репы основные закрыли.

Теперь перед конвертацией, нужно изменить репозитории. Идём в yum.repos.d и отключаем у всех базовых реп mirrorlist:
# cd /etc/yum.repos.d/
# sed -i 's/mirrorlist/#mirrorlist/g' /etc/yum.repos.d/CentOS-*

Вместо него раскомментируем baseurl и заменим mirror.centos.org на vault.centos.org:
# sed -i 's|#baseurl=http://mirror.centos.org|baseurl=http://vault.centos.org|g' /etc/yum.repos.d/CentOS-*

CentOS-Linux-BaseOS.repo должен выглядеть так:

[baseos]
name=CentOS Linux $releasever - BaseOS
baseurl=http://vault.centos.org/$contentdir/$releasever/BaseOS/$basearch/os/
gpgcheck=1
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-centosofficial

Теперь можно конвертировать в Oracle Linux:
# git clone https://github.com/oracle/centos2ol.git
# cd centos2ol
# screen
# bash centos2ol.sh

Дальше пойдёт конвертация. У меня ни разу не было проблем с ней. А вот после возникали иногда, когда обновлял систему. Иногда появляются проблемы с зависимостями, приходится в каждом конкретном случае разбираться.

Как уже ранее говорил, я все Centos 8 перевёл на Oracle Linux, а все новые установки теперь делаю на Debian.

#centos

​​Для Prometheus существует множество готовых решений для учёта SLA или SLO. Я уже помнится писал про одну - SLO tracker. Сейчас посмотрел похожую панельку, но она мне понравилась больше - Pyrra (https://github.com/pyrra-dev/pyrra). Выглядит симпатичнее и настраивается проще.

Для тех, кто захочет попробовать, в репе лежит пример с готовым docker-compose.yaml и конфигом pyrra, где в качестве примера взята метрика prometheus_http_requests_total и 5XX ошибки для неё. Сам конфиг в директории pyrra. Можно наглядно оценить, насколько просто и быстро она настраивается.

Готовая демка есть тут - https://demo.pyrra.dev. Можно посмотреть, как всё это выглядит. В репозитории есть все инструкции и описание, так что запустить не трудно. Мне хотелось бы что-то подобное получить для Zabbix, но ничего похожего и раньше не видел, и сейчас не смог найти. Всё самое современное, удобное, быстро настраиваемое пишут под пром.

Даже и не знаю, переползать на него что ли потихоньку в каких-то случаях. Не хочется две системы использовать, но сейчас реально гораздо быстрее и проще поднять мониторинг на Prometheus. Под него все экспортеры есть и готовые шаблоны, инструменты на любой вкус.

#devops #prometheus

​​Расскажу вам про маленькую, но очень полезную утилиту, которая пригодится любому пользователю Windows, будь то десктопная или серверная система. Речь пойдёт про BlueScreenView (https://www.nirsoft.net/utils/blue_screen_view.html). Это маленькая программа, не требующая установки для запуска.

С помощью BlueScreenView можно быстро посмотреть аварийный дамп операционной системы, который она делает, когда падает в синий экран. Это первое средство, с помощью которого я начинаю разбираться с такого рода проблемами. Не могу сказать, что BlueScreenView прям всегда помогает, но иногда решает вопрос тут же, если причина зависания в каком-то драйвере или программе.

Например, антивирусы запросто могут вызывать синий экран. Много раз сталкивался с подобным и BlueScreenView тут же показывает проблемный файл, а по нему можно выяснить, какому софту он принадлежит. Удаляешь или обновляешь проблемный софт или драйвер и проблема тут же решена.

Конечно, так бывает не всегда. И если проблемным окажется файл ntoskrnl.exe, что бывает нередко, то тут простого решения нет, так как ntoskrnl.exe - ядро самой ОС. Для более детальной и вдумчивой отладки придётся использовать другой инструмент - Debugging Tools for Windows. Но с ним уже нужно разбираться и так просто не понять причину проблем, просто запустив отладчик.

Вспомнил про эти средства, потому что дома один из компов постоянно падает в синий экран при запуске. Потом автоматом перезагружается и нормально работает. Всё время откладываю решение вопроса, потому что комп особо не нужен никому, к тому же после перезагрузки работает. В некоторых дампах увидел упоминание драйвера usb. Решил пока отключить от компа все устройства, кроме клавы и мышки. Посмотрю, поможет ли. Проблема возникает не всегда, а время от времени. Такие ошибки труднее всего дебажить.

#windows

​​Продолжаю тему HelpDesk систем. Сегодня познакомлю вас с очень простым, бесплатным продуктом, который легко запустить, освоить и закрыть базовый функционал. Речь пойдёт про Hesk - веб портал технической поддержки на базе стандартного стека php + mysql.

Особенности Hesk:
▪ поддержка русского языка;
▪ функционал базы знаний;
▪ возможность создавать тикеты через отправку email;
▪ поддержка шаблонов тикетов и ответов;
▪ создание заявки пользователем без аутентификации.

У Hesk вполне приятный и интуитивный интерфейс. По идее, пользователям должно быть не сложно с ним освоиться, но это не точно. Им почти любая система, вынуждающая делать лишние действия, может показаться сложной.

Устанавливается Hesk как типичный веб движок. Качаете архив с исходниками и кладёте на веб сервер. Потом через браузер запускаете установщик. Предварительно нужно будет создать базу данных Mysql. Для девопсов какой-то добрый человек даже Docker контейнер собрал и поддерживает его. Там почти последняя версия Hesk 3.

У разработчиков Hesk есть более продвинутая платная версия Service Desk системы SysAid, так что Hesk скорее всего так и останется бесплатным в качестве заманухи и продвижения основного продукта.

Сайт - https://www.hesk.com
Demo - https://www.hesk.com/demo.php

#helpdesk

​​Думаю все, или почти все знают сервис по проверке файлов на вирусы - virustotal. Я сам им периодически пользуюсь, когда надо быстро проверить скачанный из интернета файл. Есть боты для быстрой проверки через Telegram.

Я хочу вас познакомить с более продвинутым и полезным сервисом для бесплатных проверок файлов - hybrid-analysis.com Он выполняет проверку в том числе на virustotal, но помимо этого прогоняет софт через Falcon Sandbox. Выполняет установку, анализ после установки и отчёт.

Я для примера прогнал через этот сервис установщик Outline-Manager. Все проверки антивируса он проходит без проблем. А кое-какие дополнительные подробности можно увидеть через анализ в песочнице. На выходе будет информация о работе установщика, какие файлы, процессы порождает, куда обращается в интернете, скриншоты установки и много другой дополнительной информации.

Вердикт оказался - malicious (вредоносный). Почему именно такой, можно посмотреть в подробном отчёте. Я посмотрел по всем выпадающим спискам информацию. В целом, криминала там не увидел, а вердикт вынесен по совокупности факторов. Но есть о чём подумать. Софт то бесплатный, хоть и открытый. Но кто его внимательно смотрит? Возможно никто. Вот ссылка на общий отчёт.

По своей сути сервис является бесплатной версией и рекламой платного продукта Falcon Sandbox. Ограничение сервиса - принимаются на анализ файлы не более 100 мб.

#security

Долго искал интересное развлекательное видео, которое бы мне понравилось самому и захотелось поделиться с вами. Не всё же время обучающие уроки смотреть и выступления с конференций.

Предлагаю вам посмотреть A day in the life of a systems administrator.
https://www.youtube.com/watch?v=ZEU-EybN4Kk

Видео снял сисадмин из Maryland USA. Мне было интересно посмотреть, как начинается его день. Где он живет, как и на чём добирается до работы. Как выглядит его рабочее место и программное окружение, с которым он работает.

Немного неожиданно было увидеть рабочий день сильно похожий на такой же в обычном нашем офисе. Разница лишь в том, что у него, как я понял, действие происходит в какой-то провинции, а у нас там и офисных центров то нет. А так всё то же самое. Утро, чай (из пакетиков Lipton 😅), почта, алерты. Почитали, пора на обед. После обеда какое-то выступление, снова чай, поделали какие-то дела, пора домой :)

Я прям заскучал по такому графику, когда всё по расписанию. Давно так не живу и совершенно отвык, хотя иногда скучаю по рабочему дню с 9 до 18 и отпуском в 28 дней, когда не нужно ничего делать (но это не всегда так). Правда скука по тем временам моментально улетучивается, когда тебе в середине дня нужно куда-то съездить по личным делам. Ты берёшь и едешь.

#видео

Технический пост, который уже давно нужно было сделать, но всё руки не доходили. На канале много содержательных заметок по различным темам. Иногда сам через поиск ищу то, о чём писал. Ниже набор наиболее популярных тэгов по которым можно найти что-то полезное (и не очень).

#remote - все, что касается удалённого управления компьютерами
#helpdesk - обзор helpdesk систем
#backup - софт для бэкапа и некоторые мои заметки по теме
#zabbix - всё, что касается системы мониторинга Zabbix
#мониторинг - в этот тэг иногда попадает Zabbix, но помимо него перечислено много различных систем мониторинга
#управление #ITSM - инструменты для управления инфраструктурой
#devops - в основном софт, который так или иначе связан с методологией devops
#kuber - небольшой цикл постов про работу с kubernetes
#chat - мои обзоры на популярные чат платформы, которые можно развернуть у себя
#бесплатно - в основном подборка всяких бесплатностей, немного бесплатных курсов
#сервис - сервисы, которые мне показались интересными и полезными
#security - заметки, так или иначе связанные с безопасностью
#webserver - всё, что касается веб серверов
#gateway - заметки на тему шлюзов
#mailserver - всё, что касается почтовых серверов
#elk - заметки по ELK Stack
#mikrotik - очень много заметок про Mikrotik
#proxmox - заметки о популярном гипервизоре Proxmox
#terminal - всё, что связано с работой в терминале
#bash - заметки с примерами полезных и не очень bash скриптов или каких-то команд. По просмотрам, комментариям, сохранениям самая популярная тематика канала.
#windows - всё, что касается системы Windows
#хостинг - немного информации и хостерах, в том числе о тех, кого использую сам
#vpn - заметки на тему VPN
#perfomance - анализ производительности сервера и профилирование нагрузки
#курсы - под этим тэгом заметки на тему курсов, которые я сам проходил, которые могу порекомендовать, а также некоторые бесплатные курсы
#игра - игры исключительно IT тематики, за редким исключением
#совет - мои советы на различные темы, в основном IT
#подборка - посты с компиляцией нескольких продуктов, объединённых одной тематикой
#отечественное - обзор софта из реестра отечественного ПО
#юмор - большое количество каких-то смешных вещей на тему IT, которые я скрупулезно выбирал, чтобы показать вам самое интересное. В самом начале есть шутки, которые придумывал сам, проводил конкурсы.
#мысли - мои рассуждения на различные темы, не только IT
#разное - этим тэгом маркирую то, что не подошло ни под какие другие, но при этом не хочется, чтобы материал терялся, так как я посчитал его полезным
#дети - информация на тему обучения и вовлечения в IT детей
#развитие_канала - серия постов на тему развития данного telegram канала

Остальные тэги публикую общим списком без комментариев, так как они про конкретный софт, понятный из названия тэга:
#docker #nginx #mysql #postgresql #gitlab #asterisk #openvpn #lxc #postfix #bitrix #икс #debian #hyperv #rsync #wordpress #zfs #grafana #iptables #prometheus #1с #waf #logs #netflow

​​Посмотрел вчера отличное видео на тему плавающего IP (keepalived) и технологии VRRP. Автор очень понятно и доступно объясняет теорию на тему отказоустойчивого шлюза и тут же показывает практическую часть прям с конфигами, настройкой и запуском всего этого хозяйства. А потом тестирует работу при отказе одного из роутеров.

Очень качественный материал и подача. Мне хоть и не особо нужны подобные технологии, но всегда было интересно посмотреть, как это на практике выглядит и работает. Так что рекомендую. Поясню, что речь идёт о программных шлюзах на Linux. Если у вас микротики, можно не смотреть 😁

https://www.youtube.com/watch?v=YQvgO7jLJ7M

#видео #gateway

​​Мне нравится, как работает умная лента новостей Google, когда запускаешь Chrome на смартфоне. Постоянно читаю там новости. Они почти на 100% релевантны моим интересам. Накануне обновлял ELK Stack, пришлось повозиться с Enterprise Search. Так на следующий день мне в ленту насыпало немного информации по ELK, в том числе новость о выходе 8-й версии и изменениях безопасности в ней. Так как я ELK использую постоянно, решил прочитать и поделиться основными изменениями с вами.

Для тех, кто не в курсе, поясню, что изначально в ELK практически всё, что касалось безопасности, было платными дополнениями. Даже банальный доступ к стеку с авторизацией по логину и паролю. Со временем стали появляться форки, где этот функционал был реализован бесплатно, так что разработчикам Elastic пришлось пойти на уступки и тоже потихоньку добавлять этот функционал в бесплатную версию.

На текущий момент в версии 8.0 будет бесплатно доступен следующий функционал:
◽ Аутентификация пользователей
◽ Авторизация пользователей на основе ролей
◽ Kibana multi-tenancy, то есть разный доступ пользователей Kibana к объектам
◽ TLS соединения между нодами elasticsearch
◽ Доступ к Elasticsearch API по HTTPS

Когда я только начинал изучать ELK, всего этого не было и как только не приходилось изворачиваться, чтобы не показать лишнего тому, кому не следует. Приходилось использовать проксирование и basic auth, поднимать разные инстансы для разных команд, чтобы они не видели чужие логи. Сейчас стало очень удобно. Реально весь необходимый функционал есть в бесплатной версии. Я даже не знаю, за что там сейчас люди платят деньги.

У постоянных изменений ELK Stack есть и обратная сторона. Его хлопотно поддерживать. Он часто обновляется и это не всегда проходит легко и гладко. Даже в пределах одной ветки иногда обновления приводят к проблемам и надо очень внимательно готовиться к обновлению стека. У меня по умолчанию пакеты, связанные с ELK, отключаются от обновлений через пакетный менеджер. Всегда делаю это только вручную, чего и вам советую. Недавнее обновление в рамках 7-й версии тоже закончилось падением сервисов, так что пришлось повозиться. Благо, было технологическое окно для этого, и обязательно свежий бэкап и снепшот виртуалки. Если бы понял, что быстро не решу проблему, пришлось бы откатиться.

#elk #devops