❗️ А у вас есть Кубернетис?

Это видео так прекрасно, что его даже комментировать не хочется. Просто смотрите и думайте.

https://www.youtube.com/watch?v=LeVULLqWwcg

Инвентаризация и мониторинг железа

В пятницу на одном из арендуемых серверов вышел из строя жесткий диск. Он просто пропал из системы. Проблем это не создало, так как настроен рейд массив.

Вам надо знать серийный номер, чтобы попросить техподдержку заменить диск. А диск не доступен. Что делать? Можно перечислить серийные номера рабочих дисков и попросить заменить тот, которого нет в списке. А если дисков 16 штук?

В тех. поддержку надо давать максимально простую и четкую информацию. Они не будут заморачиваться и внимательно сверяться по списку из 16 серийников. Так что подобные вопросы надо решать заранее.

Я просто зашел в мониторинг и посмотрел серийный номер выпавшего диска. Создал тикет на замену. Мониторинг настраиваю обычно вот так - https://serveradmin.ru/monitoring-smart-v-zabbix/ Это если речь идет о сервере без рейд контроллера. Если используется контроллер, то отталкиваемся от него, примерно так - https://serveradmin.ru/monitoring-intel-raid-s-pomoshhyu-raidcfg-i-zabbix/

Для всех популярных рейд контроллеров есть шаблоны для Zabbix. Для мегарейдов точно есть. Я статью не писал, но сам постоянно пользуюсь. Беру из гугла.

Я часто вижу, что подобными вещами не заморачиваются. Иногда забавно почитать переписку с тех поддержкой по замене диска, который неожиданно сломался пол года назад, но этого никто не заметил, потому что не было мониторинга. А потом сервер завис и из ребута не вышел. Читал такие истории у заказчиков в тикетах.

Так что хотя бы запишите в exel табличку или какую-нибудь wiki все основные параметры своего железа. В ктирических ситуациях это сильно поможет и упростит задачи по решению проблем.

#zabbix

​​В продолжении темы выхода из строя диска, напишу себе и остальным на память последовательность действий при замене сбойного диска в массиве mdadm. Инструкция не уникальна, потому что на моей памяти синтаксис mdadm не менялся ни разу. Я как 10 лет назад менял так диски, продолжаю это делать и сейчас. Правда все реже и реже.

Проверяем, какой диск выпал из массива:
cat /proc/mdstat
Сбойный диск будет помечен буквой F. Помечаем его сбойным и выводим из массива:
mdadm /dev/md0 --fail /dev/sdb1
mdadm /dev/md0 --remove /dev/sdb1
Меняем сбойный диск. После этого убеждаемся, что он появился в системе.
fdisk -l
Там же смотрим на его разметку. Если новый диск, разметки не будет. Копируем на него разметку с любого диска массива:
sfdisk -d /dev/sda | sfdisk /dev/sdb
Не перепутайте тут имена дисков и не затрите рабочий диск пустой разметкой нового. Тут мы разметку с sda скопировали на sdb.
Добавляем новый диск в массив.
mdadm --add /dev/md0 /dev/sdb1
Должны увидеть инфу:
mdadm: added /dev/sdb1
Дальше наблюдаем за ребилдом в режиме реального времени:
watch cat /proc/mdstat
В это время сервер лучше не нагружать и не перезагружать. У меня много раз было такое, что сервер перегружался в момент ребилда. К проблемам это не приводило, просто ребил начинался заново с самого начала.

Инструкция 100% рабочая и много раз проверенная, можно сохранить себе. Прониклись олдскулом? Это вам не девопс какой-нибудь, а настоящее железо :) Но кроме шуток, вот это обычный сервер с 4 дисками по 3Tb в raid10 под бэкапы. Стоит 5200 в месяц с i7 и 32gb оперативки на борту. Трафик безлимитный.

Используется под бэкапы, а так как память позволяет, иногда там тестовые виртуалки запускаются под разовые нужды.

Где еще за такие деньги получить столько места на персональном десятом рейде? Работает шустро, хороший проц, можно активно жать данные. При этом не просто хранилище, а полноценный сервер, который позволяет очень гибко настраивать бэкапы, их управление и т.д.

Он сам везде ходит по ssh и забирает все к себе. Это важно, так как условный зловред на целевом сервере не получит доступа к бэкапам. Можно подключить по nfs к какому-нибудь гипервизору и бэкапить туда виртуалки.

#backup

Создании шаблонов для мониторинг SNMP устройств

Очередное видео с последнего MeetUp Online на русском языке. Инженер технической поддержки Zabbix рассказал о создании шаблонов для SNMP устройств:

◽ с чего начать создание шаблона
◽ как организовать среду для тестирования созданных шаблонов
◽ какие инструменты нужны и многое другое

Мониторинг по snmp относительно просто настраивать по сравнению с некоторыми другими штуками. Самое главное знать нужные oid'ы, которые либо из документации берутся, либо выясняются опытным путем. Достаточно один раз настроить самому мониторинг какой-нибудь штуки по snmp и дальше все пойдет как по маслу.

В подобном мониторинге самое трудное - рутина. Это если делаешь шаблон самостоятельно. Я много их настраивал, так что знаю, о чем говорю. Хорошо, если находится готовый шаблон в интернете. Хоть какой-нибудь. Править уже существующий гораздо проще, чем писать с нуля. Многие вещи часто повторяются процентов на 80%, особенно в сетевых устройствах.

https://www.youtube.com/watch?v=Z9dvT8-IRmY

#zabbix #видео

На днях обновлял несколько установок Grafana на на новую 7-ю версию. Заодно решил сделать заметку по этой теме. Рассказываю, как я сам использую Grafana, как устанавливаю, обновляю.

Там же в статье привожу некоторые примеры дашбордов, которые делал сам. Grafana в основном использую как рисовалку дашбордов для Zabbix. Причем больших дашбордов, которые в самом заббиксе делать неудобно. Либо для объединения данных с нескольких серверов Zabbix.

Иногда делаю какие-то простые прикладные вещи, например объединяю информацию о посещаемости сайтов, количестве подписчиков в группах telegram, доход с adsense и т.д. Тоже привел пример подобного дашборда.

https://serveradmin.ru/obnovlenie-grafana/

#grafana #мониторинг

​​На фоне новости про различные трекеры, которые нашли недавно в LastPass, хотел поговорить о хранении паролей. Некоторое время назад я пересмотрел свое отношение к ним. Раньше пользовался и lastpass, и сохранением паролей в браузерах.

В настоящий момент я удалил отовсюду свои пароли, в том числе удалил учетку в lastpass. Сделал это несколько месяцев назад, когда сам поразмыслил на эту тему и решил, что надо хранить все у себя. Сейчас все пароли храню локально в keepass. Не ставлю никаких плагинов к нему. Все копирую и вставляю вручную.

Да, стало менее удобно, но как-то спокойнее. Все эти программы, браузеры, всё воруют, передают, сохраняют. Понятно, что браузеры все о тебе знают, так как ты через них эти пароли вводишь. Но так хоть со стороны через браузер будет сложнее увести данные. Я помню была программка раньше. Запускаешь ее на компе и она тебе в plaintext все сохраненные пароли из браузера выгружает. Не знаю, работает ли что-то подобное сейчас, но раньше 100% была. Сам проверял ее.

Еще забавный и одновременно тревожный момент был. Когда вышли первые сборки Edge на базе Chromium, я поставил себе Dev версию. При первом запуске он радостно сообщил, что перенес все из Chrome, в том числе и пароли. При этом ничего не спросил. Я прям офигел. Ррррааааз и в один момент все твои пароли из Chrome улетели в Microsoft. Уже только ради этого стоило придумать этот браузер.

А вы где храните свои пароли?

#мысли

​​Попался на глаза любопытный проект play-with-docker - https://play-with-docker.com/. Он существует уже давно, с 2017 года, но я впервые его увидел на днях. Это тренажер для изучения Docker.

Вам дается тестовая лаба на 4 часа, состоящая из пяти инстансов (instances) с докером внутри. Эти инстансы можно объединять в Docker кластер или использовать по отдельности. Я толком не понял, что это за инстансы. То ли отдельные виртуалки, то ли контейнеры с докером внутри. Но не суть.

Главное, что все это бесплатно, но только на 4 часа. После этого можно заново получить лабу, но снова на 4 часа. В довесок к окружению идет обучающая теория и практические задания, которые можно выполнять в этой лабе. Причем сделано все удобно и интерактивно.

В левой части браузера задания, в правой лаба, где можно их выполнять. Учеба разбита на темы и уроки. Все задания на английском языке. В конце контрольные вопросы для закрепления материала.

Я немного потыкал там, мне понравилось. Другое дело, что я докер и так неплохо знаю на том уровне, что мне необходим. В самих уроках много всего. Там и сети, и безопасность, и оркестрация. Обучение разбито на два потока - для администраторов и разработчиков.

Так что если вы не знакомы с докером, то рекомендую попробовать познакомиться с ним по этому тренажеру. Сделано добротно, качественно и полностью бесплатно.

#docker #бесплатно

На днях столкнулся с неприятной ошибкой запуска lxc контейнера в proxmox. Арендуемый дедик ребутнулся аварийно. Причина неизвестна и выяснить ее невозможно. Нужно просто понимать, что так бывает. Скорее всего рядом монтировали чей-то сервер в стойку и задели провод моего. Обычное дело. Много раз сталкивался с подобным. Могут либо питание вырубить, либо сетевой кабель отключить.

Я однажды присутствовал при монтаже, так при мне мой же сервер чуть не уронили. Пришлось самому его ловить и помогать в салазки крепить. Я всегда и всем рекомендую лично контролировать монтаж ваших серверов в ЦОД. Там всякое может быть. На монтаже работают в основном рукожопы с низкой ЗП. Они ни за что не отвечают. Потом ничего выяснить не получится. Все нужно контролировать. Хотя в этом цоде, после того, как описал инцидент с монтажом руководству в официальном письме, дали месяц бесплатного размещения.

Что-то я отвлекся. Возвращаемся к LXC. Вообще, мне нравится технология контейнеров, особенно то, как они организованы в lxc. Контейнеры быстро запускаются, потребляют минимум ресурсов, организационно очень похожи на виртуалки, в отличие от докера. Но при этом являются контейнерами. Но вот ошибок с ними больше, чем с виртуалками. Сталкиваюсь уже не первый раз.

В общем, после этого аварийного перезапуска, контейнеры не стартовали. Не буду тут долго останавливаться на описании симптомов. Все это есть в статье. Расскажу суть. Система внутри контейнера обновлялась чаще, чем сам гипервизор. В итоге так получилась, что в контейнере были свежее обновления. Из-за этого возникла проблема с их запуском. После того, как обновил сам гипервизор, контейнеры запустились.

А вы как относитесь к lxc? Пользуетесь ими?

https://serveradmin.ru/lxc-proxmox-start-container-error/

#proxmox

​​На днях тестировал полезную и удобную программу для анализа логов веб сервера. Как я уже рассказывал ранее, я всегда по возможности собираю логи веб серверов в ELK Stack. Понятно, что это монструозная конструкция не везде может быть поднята. На небольших проектах ее можно заменить goaccess.

Это бесплатный анализатор логов веб сервера с репой на гитхабе - https://github.com/allinurl/goaccess На Debian / Ubuntu можно поставить из их репозитория. Для Centos 8 не нашел готового пакета в Epel, но встречал в других репах. Я не очень люблю сторонние репозитории, поэтому для теста собрал у себя из исходников. Там никаких сложностей и нюансов нет. Если вы хипстер и девопсер (я не такой), запускайте в докере - allinurl/goaccess, никаких проблем.

Утилита из коробки понимает дефолтные логи nginx / apache. У меня часто свои кастомные логи. Под них придется писать правила парсинга самостоятельно. Утилита может как в режиме реального времени показывать статистику в терминале, так и генерить готовые html страницы для просмотра в браузере.

Со страничками все понятно. Подобный софт известен 100 лет в обед. Я еще лет 15 назад настраивал webalizer или awstats (смахнул ностальгическую слезу). А вот статистика прямо в консоли порадовала. Удобно быстро посмотреть, что у нас в логах. Там по разделам можно ходить, какие-то сортировки, выборки делать.

Пример статистики, которую генерит утилита в html, можно посмотреть в demo - https://rt.goaccess.io/ Мне понравилась программулина, добавил себе в закладки и даже на веб сервер поставил :)

#webserver

​​Хочу поделиться с вами информацией об одном любопытном продукте. ZeroTier One - приложение с открытым исходным кодом (https://github.com/zerotier/ZeroTierOne), которое позволяет пользователям создавать защищенные управляемые сети. С их помощью можно объединять устройства, как-будто они находятся в локальной сети.

В отличие от обычных vpn решений, ZeroTier использует пиринговую технологию, так что хосты могут напрямую обмениваются друг с другом информацией, а не через центральный сервер. За счет этого достигается максимальная скорость и отклик между хостами.

Для управления всей этой штукой есть GUI интерфейс. То есть зайти в эту тему не сложно. Всё управление через браузер. У некоторых хостеров я видел готовые виртуалки с ZeroTier в маркетплейсах. В веб интерфейсе создаете сеть, хосты. На конечные устройства ставите клиента, подключаете их к сети. Потом в веб интерфейсе видите всю информацию по подключенным клиентам, в том числе их адреса, по которым они могут общаться по виртуальной сети между собой.

Так же этот сервис продается по подписке saas. Есть и бесплатный тарифный план с некоторыми ограничениями. Если хочется посмотреть и попробовать, можно зарегистрироваться на zerotier.com и потестить тариф Free.

Я сам эту шутку не пробовал и не использовал. Лежит в закладках с начала пандемии, но так и не дошли руки попробовать. Я давно и успешно использую openvpn, хорошо в нем разбираюсь, быстро настраиваю. Так что объединяю сети обычно с ее помощью. Но возможно кому-то будет полезно как более простое и быстрое для внедрения решение.

Забыл сказать, что для мобильных приложений тоже есть клиенты в сторах.

Пробовали ZeroTier в деле? Как впечатления? Лучше, удобнее, к примеру, Veeam PN, о котором я недавно рассказывал?

#vpn

Один из подписчиков поделился песней. Ранее ее не слышал, понравилось исполнение. Особенно вокал и мимика певицы. Группа Дореволюционный советчик. Это у них единственная айтишная песня. Наверняка была записана на волне блокировок телеграма.

Которыя сутки не грузитъ страницы, 
Процессоръ скрипитъ, словно старый сарай. 
Настройте же прокси, креаторъ Голицынъ, 
Админъ Оболенскій, раздайте вай-фай.

Сидятъ черезъ SOCKS баринъ и пролетарій - 
Народъ на Руси оказался непростъ, 
Но въ чатахъ публичныхъ не спятъ комиссары, 
И могутъ тебя посадить за репостъ.

Но какъ же намъ, право, безъ дѣвичьей ласки, 
Безъ теплыхъ эмодзи, шальныхъ телеграмъ? 
Манагеръ Голицынъ, а можетъ быть въ Аську?
Генъ. диръ. Оболенскій, давайте въ ТАМЪ-ТАМЪ.

Сатрапы режима, холопы системы
Заблочатъ Вотсапъ и закроютъ Порнхабъ, 
Куда теперь постить забойные мемы
И кто проорётся съ моихъ фотожабъ…

Сидимъ съ VPN-номъ въ глухой деревенькѣ. 
На синемъ экранѣ сіяютъ скрипты. 
Предатель Голицынъ раздайте печеньки,
Масонъ Оболенскій, пишите посты.

Решил сделать подборку телеграм ботов по it тематике, которые пробовал и иногда пользовался сам. На полноту и охват темы не претендую. Специально вообще ничего не искал. Если попадалось что-то интересное, то сохранял у себя и иногда пользуюсь. Погнали.

@VirusTotalAV_bot - проверяет файлы сервисом virustotal на вирусы.

@DrWebBot - бот известного антивируса. Проверяет файлы одноименной антивирусной программой.

@dnsibot - простенький бот с сетевыми сервисами. Умеет определять ptr у ip, делать whois запросы, резолвить dns записи и т.д. Отличная тематика для тех, кто хочет научиться писать бота. У самого была идея потренироваться на этой теме, но какой смысл, если таких ботов уже полно?

@mailsearchbot - бот проверяет по email адресу сливы паролей. Пароли целиком не показывает, часть закрывает звездочками. Наверное денег хочет за полную версию. База там актуальная.

@g_jobbot - хорошие it вакансии. Целый сервис вокруг этого бота построен. Приятно и информативно пользоваться.

@tmpmailbot - бот для одноразовых email ящиков. Письмо сразу в чат приходит. Удобно пользоваться.

Это весь мой набор. Если у вас есть какие-то полезные it боты, делитесь в комментариях. Возможно со временем сделаю новую, более широкую подборку.

​​В комментариях в интернете к какой-то статье про ошибку 1С прочитал простую и очень полезную мысль, как максимально обезопасить себя от ошибок, связанных с обновлением платформы или конфигурации 1С. Делюсь идеей с вами.

Существует проект от самой компании 1С - 1cfresh.com. Сервис обеспечивает доступ через Интернет к прикладным решениям на платформе 1С:Предприятие по модели SaaS. Или по простому, готовая 1С в облаке. Оплатил доступ и пошел пользоваться, подключаясь через браузер. Все обслуживание на себя берет сервис.

Так вот, идея в том, что к себе надо ставить ровно ту же версию платформы и конфигурации, что стоит на этом сервисе. 1С не будут заливать нестабильные выпуски на этот сервис. Накатывают туда максимально надежный и проверенный релиз. И вам следует обновляться за ним. Это позволит максимально обезопасить себя от неожиданных ошибок и проблем новых версий. А таковые случаются регулярно.

Для того, чтобы узнать версию в 1С фреш, туда нужно как-то попасть. Я просто зарегистрировался. 30 дней дают бесплатно. Зайдя в личный кабинет, уже видно используемые версии. По идее, этой информации достаточно. Не знаю, что будет через 30 дней. заблокируют ли доступ в панель управления, или просто базы отключат.

Я сам веду свою бухгалтерию ИП, так что для меня актуально. Разок установил новую версию платформы, интеграция с банком сломалась. Начали разбираться с тех. поддержкой банка, нашли баг платформы. В следующем обновлении его исправили, а мне пришлось откатиться на предыдущий релиз.

#1С