Мой ответ. Разобью его на 3 части:

1️⃣ По поводу настройки сети. Если уже есть pfsense, то я бы ничего не менял 100%. Тем более сейчас не понятно, что будет с микротиками и по каким ценам они будут продаваться в будущем. Pfsense адекватное, функциональное, бесплатное решение, которое полностью обеспечит необходимый функционал для небольшой компании. Его будет полезно изучить.

2️⃣ Проброс RDP порта нужно 100% убрать. Самое простое, это поднять хотя бы RD Gateway. Еcть ещё варианты, которые могут подойти:
- Apache Guacamole и доступ к терминальному серверу через браузер. Я недавно для одной небольшой компании настроил. Их устраивает такой формат.
- Настроить пользователям VPN и подключать их только через неё. На базе pfsense это не трудно организовать, но надо будет всем пользователям настроить VPN. Он иногда глючит и не подключается, особенно если работают через мобильных операторов.
- Взять готовое решение для удалённого доступа, например Veliam. Там вроде бы 20 подключений бесплатно. Может хватит в твоём случае. Пользоваться удобно и настраивать юзерам ничего не надо. Достаточно один бинарник передать.

С удалённым доступом вариантов может быть много. Надо по ситуации подбирать.

3️⃣ С нелицензионным софтом ситуация самая сложная, так как лежит вне технической плоскости и однозначного решения не имеет. Первое, с чего бы я начал, это объяснил директору, что в случае чего, отвечать он тоже будет. Все случаи проверок, про которые я знаю, директор отвечал по полной программе. Если сисадмин ещё может выкрутиться, потому что он неплатёжеспособен и может быть неинтересен, то директор никак. Он отвечает за такие штуки. Многие директора ошибочно считают, что свалят всю ответственность на админа.

На практике я не думаю, что сейчас кто-то будет проверять софт от Microsoft, с учётом того, что они вообще сворачивают всю деятельность в России. Обычно они сами инициировали проверки и проявляли активность в этом направлении. Без них не уверен, что кто-то будет этим заниматься.

По моим данным, сейчас обо всех проверках софта предупреждают заранее. Есть возможность либо купить его, либо удалить. Есть шанс как-то сманеврировать. Но это те данные, что я получал лично от знакомых. Как в общем случае проходят проверки, не знаю. Меня лично тоже предупреждали, но это было примерно 5-6 лет назад. Просто докупили недостающее. Тут хотелось бы получить обратную связь от тех, кто с этим сталкивался в последние пару лет.

Так что конкретно Microsoft можно не покупать, если руководство не получится убедить в отказе от этих продуктов. А вот всё остальное, особенно российское, я бы категорически не рекомендовал крякать. Особенно 1С.

Пользователям можно объяснить, что за левое ПО они тоже могут получить ответственность, особенно если у них есть права администратора для установки. Можно просто сказать, где его загрузить, а дальше пусть сами устанавливают и отвечают. Многих это отрезвит. Окажется, что это ПО не так уж и нужно.

Моё видение ситуации такое. Любопытно узнать ваше мнение по этому поводу.

​​Поговорим ещё немного о мониторинге. Все знают Prometheus. Он завоевал популярность в первую очередь из-за того, что соответствует на 100% современному подходу Iac (Infrastructure-as-Code), поэтому для динамических сред это сейчас стандарт мониторинга. Помимо очевидных преимуществ, у него есть недостатки - трудности с долговременным хранением данных, сложности с масштабированием, большое потребление ресурсов.

Для решения этих и некоторых других недостатков Prometheus появляется VictoriaMetrics. Это тоже бесплатный Open Source проект. Изначально она позиционировала себя как более удобное, производительное, долгосрочное хранилище данных для Prometheus. На сегодняшний день это самостоятельная система мониторинга, которая поддерживает язык запросов PromQL и интеграцию с Grafana. То есть для перехода с Prometheus практически ничего менять не надо.

VictoriaMetrics может быть установлена как одиночный сервер мониторинга, производительность которого можно вертикально расширять ростом ресурсов самого сервера. Либо как кластер с горизонтальным масштабированием.

Для попробовать, можно установить локально через Docker:
# docker run -it --rm \
-v `pwd`/victoria-metrics-data:/victoria-metrics-data \
-p 8428:8428 victoriametrics/victoria-metrics:latest

Далее вам нужен будет компонент vmagent для сбора данных, vmalert для отправки уведомлений. Это минимум. Также в Open Source версии есть следующие компоненты:
◽ VictoriaMetrics Cluster для построения кластера;
◽ vmbackup и vmrestore для бэкапа и восстановления хранилища;
◽ vmoperator - оператор Kubernetes для деплоя, управления и масштабирования;
◽ vmauth - шлюз для авторизации и балансировки нагрузки;
◽ vmctl - утилита для миграции с Prometheus, Thanos, InfluxDB, OpenTSDB.

Если я правильно понимаю, то на текущий момент это более функциональное, удобное и производительное решение, нежели Prometheus с его базой TSDB.

❗️В завершении важное дополнение, которое в текущей ситуации я не могу не сделать. Насколько я понял, VictoriaMetrics разработала команда из Украины. Есть заявление Co-Founder и CTO VictoriaMetrics - Aliaksandr Valialkin:
Важное обновление: если вы работаете на Российские компании и пользуетесь приложениями VictoriaMetrics, то должны делать все, чтобы остановить войну Путина против Украины, в т.ч. распространять информацию с телеграмм-каналов "груз 200" и "ищи своих" и ходить на митинги против войны. В противном случае мы, разработчики VictoriaMetrics, запрещаем пользоваться нашими продуктами. См. также https://t.me/VictoriaMetrics_ru1/35410

Каких-то поправок в открытом коде замечено не было, но очевидно, что для эксплуатации в РФ на текущий момент это не самое подходящее решение. Прошу не обсуждать данную тему. Информация дана для ознакомления, а не обсуждения.

Сайт: https://victoriametrics.com
Исходники: https://github.com/VictoriaMetrics/VictoriaMetrics

#мониторинг

​​Существует удобная и простая программа под Windows для инвентаризации IT устройств - Lansweeper. Программа старая и довольно известная. Я видел её в некоторых компаниях. Бесплатная версия позволяет добавить в систему до 100 устройств.

Lansweeper автоматически сканирует сеть и находит устройства, а также интегрируется с AD. Это позволяет автоматически собрать всю информацию о компьютерах и пользователях. Где какой софт стоит, какие лицензии применены, куда пользователь последний раз логинился и т.д. Есть куча готовых отчётов, чтобы быстро что-то найти. Например, вывести все компьютеры, где есть локальные учётные записи и показать их. Можно поискать MAC адреса, посмотреть журналы безопасности и т.д. Штука довольно функциональная.

Устанавливается и работает программа под Windows. Управление через web интерфейс, так что будет установлен IIS. В качестве СУБД использует либо существующий MSSQL Server, либо поставит бесплатный SQL Server Express. Установка и настройка не представляет каких-то сложностей.

Есть поддержка Linux машин. Ходит на них по SSH и собирает данные. Помимо безагентного сбора данных, также существует LsAgent, который можно развернуть на компьютерах и собирать данные с его помощью.

Программа подойдёт для небольших сетей, чтобы хватило ограничений бесплатной версии. Хотя я знаю, что её используют в том числе и крякнутую, особенно те, кто всё ещё завис в прошлом десятилетии. Интерфейс программы как раз напоминает те времена. Сейчас я бы не рекомендовал такую практику, особенно когда есть бесплатные аналоги, хоть их и настраивать подольше придётся.

Сайт - https://www.lansweeper.com
Скачать без регистрации - https://www.lansweeper.com/update-lansweeper/ (для загрузки указать любой email)

#управление #ITSM

​​Думаю, многие знают или слышали про сервис Shodan. Для тех, кто не знает, поясню. Этот сервис постоянно сканирует все доступные узлы в интернете, собирает о них информацию, в том числе об открытых портах. Его используют в том числе для взлома систем.

К примеру, стало известно о выходе какой-то новой уязвимости к популярному софту. Через Shodan можно очень быстро найти все уязвимые узлы. Так что имеет смысл проверять время от времени свои внешние IP адреса. Я как раз на днях проверял себя и нашёл то, что не ожидал увидеть. Когда-то давно либо забыл об одном сервисе, то ли по ошибке повесил его на внешний интерфейс, хотя ему там не место.

Сайт: https://www.shodan.io

#security

​​Пару месяцев назад писал заметку по поводу восстановления контроллера домена Windows из бэкапа. Я не решился восстанавливать домен после проблем с загрузкой из-за аварийного выключения, потому что есть рекомендации не делать этого. Как показала практика, правильно сделал. Получилось в итоге оживить систему.

Мой знакомый и подписчик канала вчера прислал информацию о том, как в одной компании решили восстановить один из контроллеров. Восстановили VM из бэкапа и без какой-либо подготовки запустили. В итоге сервер всё равно не заработал. Пишет, что репликация нарушилась, новые объекты не создаются.

Так что рекомендации появились не на пустом месте. Контроллеры домена в самом деле не стоит восстанавливать из бэкапов, если их больше одного. Безопаснее вывести контроллер из домена и завести новый. Veeam обещает, что умеет готовить контроллер после восстановления, чтобы не было проблем:
В большинстве сценариев восстановления вам потребуется режим non-authoritative, поскольку в среде имеется несколько контроллеров домена. (Кроме того, authoritative восстановление может привести к новым проблемам.) Именно на этом основана логика Veeam Backup & Replication: по умолчанию выполняется non-authoritative восстановление, поскольку считается, что инфраструктура выстроена с избыточностью и включает в себя несколько контроллеров.
Но на практике неизвестно, действительно ли всё будет в порядке.

#windows

▶️ Подготовил подборку авторских русскоязычных IT каналов, на которые я подписан, регулярно просматриваю и считаю полезными. Все эти каналы так или иначе упоминались ранее в разных постах. Но мне кажется, собрать их в единой список имеет смысл для удобства. Не все читают канал регулярно.

🟢 ADV-IT. Канал Devops инженера и Cloud архитектора из Канады. Много материалов с привязкой к AWS, которые по вполне очевидным причинам стали не очень актуальны в РФ. Но и помимо этого много хороших видео на различные темы современной IT инфраструктуры и технологий.

🟢 RomNero. Много наглядных практических уроков, где автор берёт и что-то делает руками: настраивает Gitlab, Wireguard, OpenVAS, Bitwarden и т.д. Делится не только рабочими моментами, но и какими-то своими увлечениями, программами.

🟢 Мир IT с Антоном Павленко. Сразу скажу, что мне не очень нравится подача материала, но это субъективно. Сами материалы качественные, выходят регулярно, автор явно хороший специалист. Так что для самообразования и расширения кругозора смотреть полезно.

🟢 realmanual. Автор - практикующий devops инженер и автор онлайн школы. На канале много практических уроков по настройке современного софтового стека - gitlab, docker, kubernetes, ceph и т.д.

🟢 Unix way. На канале много качественных проработанных уроков по Linux и Devops. Можно использовать для изучения с нуля таких программ как Ansible, Jenkins, PostgreSQL и других. 

🟢 Aleksey Samoilov. Авторский канал с общей информацией о различных дистрибутивах Linux. Для меня чисто развлекательное видео с обзорами. По профессии системный администратор или devops там ничего нет. Видео качественные, смотреть интересно. 

🟢 Dmitry Ketov. Здесь много длинных уроков по Linux, его базовым вещам. Подойдёт для тех, кто хочет самостоятельно обучаться. К сожалению, новых уроков не было уже пару лет.

🟢 Артем Матяшов. На канале не много видео, но есть пара десятка обучающих очень хорошего качества. Тематика - Linux, Mikrotik. К примеру, рекомендую обучающее видео по основам Docker.

🟢 Сисадмин канал. Канал практикующего системного администратора на обслуживании офисов. Никакого Devops. Видео выходят редко и особой проработки нет. Тем не менее, автор иногда делится своими мыслями, программами, инструментами, которые использует в работе.

🟢 Ускорение Сайтов :: Метод Лаб и Поддержка Сайтов :: Метод Лаб - два канала, которые ведёт один и тот же человек - Лавлинский Николай. Разделены чисто по тематике, подача и качество одинаковые, так как ведёт один и тот же человек. Вся информация в основном практической направленности. Очень много оттуда почерпнул, часто заметки делал по ним.

🟢 #linux life. Общая информация о Linux и настройке некоторых программ. Например, Nextcloud, Wireguard, Nginx, веб панели для хостинга и т.д. Информация скорее для пользователей Linux и админов localhost.

🟢 PLAFON - Канал о линуксе. Канал пользователя Linux. Никакого системного администрирования. Очень хорошая проработка и монтаж видео. Полезно для тех, кто собирается переходить на Linux и использовать его постоянно в повседневной жизни.

Если у вас есть на примете хорошие неупомянутые каналы, то делитесь в комментариях.

#подборка #видео

​​Wireguard потихоньку обрастает прикладным софтом вокруг себя. Я уже писал о том, как можно быстро поднять socks5 через wg. Сегодня расскажу про ещё одну утилиту, которая может быть полезна - onetun.

С помощью onetun можно настраивать проброс портов с локальной машины на любую другую машину в vpn сети Wireguard. По описанию не совсем понятно о чём идёт речь. Поясню на примере.

Допустим, у вас есть какое-то устройство, куда вы не хотите или не можете установить Wireguard. Причин этого может быть много, так как установка wg требует административных прав. Надо добавлять новый сетевой интерфейс в систему, добавлять маршруты.

Onetun представляет из себя один бинарник, который умеет подключаться к существующей VPN сети и пробрасывать на любой её хост какой-то локальный порт. Получается аналог переадресации портов через SSH, только здесь используется Wireguard, связь через которую будет лучше и быстрее, нежели через SSH.

Я не знаю, где подобное может в проде пригодиться, а вот для личных целей вполне. Сейчас постоянно рекомендуют использовать Wireguard для личных VPN серверов. Бинарники onetun есть под Windows, Linux, MacOS.

Использовать его примерно так:

onetun 127.0.0.1:8080:192.168.4.2:8080  \
  --endpoint-addr 140.30.3.182:51820    \
  --endpoint-public-key 'PUB_*********' \
  --private-key 'PRIV_BBBBBBBBBBBBBBBB' \
  --source-peer-ip 192.168.4.3          \
  --keep-alive 10

Пробросили локальный порт 8080 на машину в vpn сети с адресом 192.168.4.2. В самом репозитории всё подробно описано с примерами. В том числе техническая реализация. Как сделано и зачем всё это может быть нужно.

https://github.com/aramperes/onetun

#wireguard

​​При планирования места, которое потребуется для бэкапов Veeam, можно воспользоваться калькуляторами, которые подскажут примерный занимаемый объём при той или иной схеме бэкапов. Я узнал о них на днях, когда искал решение проблемы с инкрементными бэкапами. В одном из обсуждений увидел ссылку на калькулятор.

Калькуляторов этих два: один старый, другой новый. Старый мне показался более информативным и удобным, так что воспользовался им. Он не только объем подсказывает, но и логику очистки от старых копий при указанном количестве Retention Points и периодичности Synthetic Full Backup. Там не всё очевидно с удалением старых версии. Иногда их копится больше, чем ожидаешь, поэтому стоит прибегать к планированию.

Калькуляторы будут полезны как для пользователей платных Veeam Backup and Replication, так и бесплатных Veeam Agent. У них логика хранения и управления архивными копиями одинаковая.

Напомню, что похожий инструмент есть для бэкапов Proxmox - Prune Simulator. Только он помогает не место рассчитать, а наглядно увидеть, сколько и каких копий будет храниться при той или иной схеме хранения.

#veeam #backup

​​Если вам нужен свой сервер для проверки скорости соединения, то есть отличный бесплатный, полностью открытый и без рекламы вариант - LibreSpeed. Работает на PHP + Javascript, с использованием XMLHttpRequest и Web Workers.

Попробовать очень просто, так как есть готовый докер контейнер:
# docker run -e MODE=standalone -p 80:80 -it adolfintel/speedtest

Я попробовал, работает адекватно. Мой 4G канал намерил примерно так же, как и другие публичные сервисы. Показывает следующие метрики:
- Download / Upload
- Ping
- Jitter (задержка)
- IP / Провайдер

Данные замеров могут сохраняться в базе данных на выбор: MySQL, PostgreSQL, SQLite. Если захотите развернуть у себя без докера и с сохранением результатов в БД, то есть отдельная инструкция.

Может работать как одиночный сервер, или как сервис для множества других настроенных закрытых серверов. В инструкции показано как это сделать. То есть можно поднять веб интерфейс, и, к примеру, 5 серверов, которые можно будет выбирать в веб интерфейсе.

Хорошая альтернатива коммерческому и проприетарному Speedtest.

Demo: https://librespeed.org
Исходники: https://github.com/librespeed/speedtest
Docker: https://registry.hub.docker.com/r/adolfintel/speedtest
Инструкция для Docker: https://github.com/librespeed/speedtest/blob/master/doc_docker.md

#сервис

​​Слёрм + Southbridge = Администрирование Linux Мега

🔥Attention! Мы решили создать самый хардовый курс по Linux, задействовав опыт и кейсы инженеров Southbridge. Сразу предупреждаем: будет жёстко, но хочешь знать — учись.

🤓 Это курс не по конкретному дистрибутиву, а в целом по Linux. Он поможет углубить ваши знания в работе с ОС и разобраться с best practices. Вы узнаете про установку Linux с помощью чёрной магии, приёмы ускорения работы в консоли, создание и применение bash-скриптов и многое другое.

Все, что мы разберём во время обучения, вы сможете сразу применять в работе.

Что будет на курсе:
📌9 «живых» уроков 
📌Практика на стендах
📌Закрытый чат со спикером
📌Сертификация

⏱ Старт потока — 28 июля

Записывайтесь сами и подтягивайте знакомых, которые хотят пройти все круги ада и улучшить знания Linux или стать системным администратором: https://slurm.club/3ytREIm

#реклама

Я улетел в отпуск на Белое море до 14-го июля. Следующий пост будет только 15. Фото оттуда с одной из прошлых поездок. Всем удачи в делах!

​​Пока отдыхал, ушёл в релиз Zabbix 6.2. Многие, наверное, уже слышали об этом. Я посмотрел его нововведения и решил, что обновляться на этот релиз не буду. Ничего сильно полезного и нужного конкретно мне там не увидел. Тем не менее, несколько интересных нововведений отметил. Перечислю основное, на что обратил внимание:

▪ Можно скрыть неактуальные триггеры. Давно напрашивался этот функционал. Например, у вас сработал триггер об оставшихся 10% свободного места на диске, но для конкретного хоста это не проблема. Вы не хотите делать для него отдельный шаблон или изменять что-то в триггерах хоста. Если вы просто закроете этот триггер, то при следующей проверке он снова всплывёт. Это прилично раздражает, так как нельзя было просто взять и закрыть этот триггер навсегда. Теперь можно.

▪ Перезагрузить конфигурацию прокси можно из веб интерфейса. Тут я не совсем понимаю о чём идёт речь. Везде вижу только упоминание про перечитывании конфигурации, но не управление ей. То есть просто перезапускаем прокси централизованно. Из описания не увидел возможности эту конфигурацию ей передавать через веб интерфейс. Как я понял, можно условно отправить команду systemctl restart zabbix-proxy, не заходя на хост. Но сам конфиг нужно будет перед этим каким-то образом обновить.

▪ Можно следить за состоянием активных проверок. Лично мне этого тоже не хватало. Нельзя было принудительно запустить активную проверку, чтобы понять, работает ли она в принципе. Нужно было ждать, когда агент сам в заданный интервал это сделает. Если интервал большой, то очень неудобно. Приходилось его менять на более маленький, а потом возвращать обратно. Теперь проверить работу активного айтема можно вручную, как и обычного.

▪ Наконец-то появилась возможность принудительно запустить проверку айтема из раздела "Последние данные". Сильно не хватало такой возможности. Приходилось постоянно ходить в список айтемов хоста и запускать оттуда. Хотя реально обзор метрик делается из раздела "Последние данные".

▪ Появилась куча новых шаблонов. Наиболее масштабный для мониторинга инстансов в AWS EC2. Остальные добавленные или обновлённые шаблоны - Envoy proxy, Proxmox, VMware, TrueNAS, Улучшенный шаблон для S.M.A.R.T. мониторинга, HashiCorp Consul и другие. Появилась интеграция в виде вебхука с GLPI.

Полное описание нововведений: Что нового в Zabbix 6.2.

Кто-то уже обновился? Что там насчёт багов? Я обычно на 2-й релиз ветки не обновляюсь. Иногда на 4-й перехожу, чтобы проверить то, что придёт в новую версию. Обычно все масштабные обновления именно в 4-й версии релизной ветки делают, чтобы обкатать перед новым релизом.

#zabbix

▶️ Ранее я делал публикацию с подборкой авторских youtube каналов на русском языке. Сейчас сделаю то же самое, только для англоязычных каналов. Их будет гораздо меньше. К прошлому посту было много рекомендаций в том числе и англоязычных каналов, но я решил не добавлять их сюда, так как лично не знаком с контентом и не смогу прокомментировать содержимое. Я их все добавил к себе и буду наблюдать. Со временем подборка обновится.

А пока текущий список от меня англоязычных авторских каналов, которые смотрю:

◽ Learn Linux TV. Смотрю давно, но последнее время контент не очень нравится. Стал простым и затянутым с обзором всяких утилит Linux, обсуждениями безопасности и каких-то других вещей. Раньше привлекал регулярными постами на тему Proxmox. Они закончились примерно 8 месяцев назад. Можно отмотать на это время и посмотреть. Где-то год назад контент больше нравился, смотрел чаще.

◽ Techno Tim. Этот канал больше всего люблю и смотрю практически все видео. Они не очень длинные, ёмкие, где-то рекламные, но ненавязчиво. Вся реклама тематическая. Тематика в основном Linux, но есть исключения. Иногда обзор железа, регулярно свои тестовые лабы и серверную показывает. Там красиво, интересно посмотреть.

◽ Joma Tech. Чисто развлекательный канал от то ли SRE, то ли Devops, то ли архитектора, точно не понял. Давно не было новых видео, да и в целом они не часто выходят, но зато каждое с миллионными просмотрами. Сделано очень качественно и интересно. Особенно обращаю внимание на этот ролик: a day in the life of an engineer working from home.

◽ TechWorld with Nana. Типичный канал Devops инженера с соответствующей тематикой. Ведёт женщина, что нетипично. Темы все максимально актуальные в настоящее время.

Какой-то особенной и полезной информации в этих каналах, по сравнению с русскоязычными нету. Я на них подписан для практики в английском языке и просто для расширения кругозора. Интересно послушать и посмотреть как трудятся люди из других стран и культур.

#подборка #видео

​​Рассказываю про полезный бот в Telegram, который уже довольно давно использую сам для дублирования мониторинга сайтов. Основной мониторинг у меня всегда сделан на Zabbix. Но помимо него есть несколько бесплатных для подстраховки и дополнительной информации. Один из них - @SiteKnockerBot.

Не помню, откуда узнал про него. Может кто-то посоветовал. Бот выполняет простые проверки к заданному урлу сайта. Может не только доступность смотреть, но и анализировать содержимое, проверяя наличие заданной строки. Через бота можно посмотреть статистику, результат последних проверок, время отклика сайта. Судя по логам веб сервера, проверки делает с сервера в Германии.

Второй бесплатный сервис, который использую - freshping.io. Я писал о нём отдельно. С тех пор постоянно пользуюсь. Удобно сделан.

Основной мониторинг, как я уже сказал, настраиваю с помощью Zabbix. У меня есть подробная статья на эту тему, которая полностью актуальна - Мониторинг web сайта в Zabbix. Мониторинг сайтов давно обещают переработать, но изменений пока не видно. Сделано не очень удобно, но приходится мириться, так как стараюсь держать весь мониторинг в одном месте.

#мониторинг #website

Бесплатные онлайн-практикумы для специалистов по IT-инфраструктуре от команды REBRAIN.

Подключайтесь к одному из крупнейших сообществ по IT-инфраструктуре REBRAIN, с нами уже больше 25 000 человек.
 
С нас:
Более 20 бесплатных открытых практикумов каждый месяц.
Спикеры — профессиональные инженеры из лучших компаний ( Avito / Skyeng / AWS / Luxoft / DataArt и др.).
Разбор реальных кейсов автоматизации.
Самый актуальный технологический стек — Kubernetes, Docker, Ansible, Gitlab CI, Linux, Kafka, MySQL, Golang и др.
Работа в консоли и ответы на вопросы в прямом эфире.

Каждый сможет найти для себя интересные практикумы по направлению и уровню компетенций.

И да, все это бесплатно!
Подключайтесь.

#реклама

​​У меня давно живёт в голове идея о гибкой и настраиваемой поисковой системе, в которую можно было бы вручную добавлять сайты, по которым она будет совершать поиск. И желательно не хуже, чем это делают топовые поисковики. Мне не попадался такой софт. Если кто-то знает что-то подобное, прошу поделиться информацией.

Когда-то давно я рассказывал про бесплатную Open Source мета-поисковую систему SearX. Я тогда с ней только познакомился и изучал. Думал, что там есть подобный функционал, но на самом деле нет. В ней используются поисковые сервисы, а создать свой пул сайтов для поиска невозможно. Этого функционала нет. То есть это агрегатор поисковых результатов, а не сам поисковик. Он особо не развивается, только мелкие фиксы делают и добавляют новые поисковики.

Недавно узнал про SearXNG. Это форк SearX с более активным развитием. Его ведёт один из бывших разработчиков SearX. Решил ещё раз погонять и протестировать систему. Идея и сама реализация мне понравились. Расскажу, что конкретно.

1️⃣ Больше всего понравилась возможность активировать отдельные системы поиска с сайтов и совершать поиск только по ним. Например, если вы хотите найти ответ на какой-то вопрос на сайте stackoverflow, то используйте сокращение сайта (в данном случае st) в поисковом запросе:
!st Crond ERROR (getpwnam() failed)
Для меня лично актуален как раз отдельный поиск по stackoverflow, а так же по github, dockerhub и reddit. Все эти сайты в SearXNG есть.

2️⃣ Погонял айтишные англоязычные запросы на смешанной выдаче google, brave и duckduckgo. Результаты мне понравились и показались более релевантным, чем только google.

3️⃣ Результаты получаются неперсонифицированные, что на самом деле для поиска всяких ошибок и статей с настройкой линуксовых систем скорее плюс, чем минус. Лично я постоянно вижу в выдаче свой сайт, что мне не нужно. В основном поиск интересен для работы. Для всего остального я использую Яндекс.

4️⃣ В выдаче нет рекламы, есть ссылки на найденные урлы в веб-архиве, что иногда бывает полезным.

5️⃣ В SearXNG все движки разбиты на категории. Есть в том числе и IT. Для этой категории можно активировать нужные сайты и затем при поиске указывать явно эту категорию. Поиск будет осуществляться только по ней.

Для теста можно быстро запустить SearXNG в докере. Есть отдельная репа для этого:
# git clone https://github.com/searxng/searxng-docker
# cd searxng-docker
# sed -i "s|ultrasecretkey|$(openssl rand -hex 32)|g" searxng/settings.yml
# docker-compose up

Сервис запустится на localhost:8080. Можно в docker-compose.yaml заменить localhost на внешний ip вируталки. Проще самому развернуть и посмотреть все возможности. Свой персональный поисковой агрегатор можно затем добавить в браузер и использовать на постоянку.

Исходники - https://github.com/searxng/searxng

#разное

​​Тестировал на днях полезную утилиту для просмотра сетевой активности на Linux сервере sniffer. Она мне показалась функциональнее и удобнее всего того, что я знаю и использую. А программы такого класса часто нужны. Я их практически всегда ставлю по умолчанию при базовой настройке сервера.

Sniffer использует TUI интерфейс и показывает следующее:
▪  информацию по загрузке сети с разбивкой по удалённым ip адресам;
▪  информацию по загрузке сети с разбивкой по приложениям;
▪  список активных сетевых соединений и их занимаемый канал.
Всё это отображается одновременно в трех панелях на одном экране.

К сожалению, sniffer нет ни в базовых репах, ни в виде готовых бинарников, поэтому собирать придётся самостоятельно. Написан он на Go, так что никаких проблем с этим нет:
# apt install libpcap-dev gcc wget 
# wget https://go.dev/dl/go1.18.4.linux-amd64.tar.gz
# tar -zxvf go1.18.4.linux-amd64.tar.gz -C /usr/local/
# echo "export PATH=/usr/local/go/bin:${PATH}" | sudo tee /etc/profile.d/go.sh
# source /etc/profile.d/go.sh
# go install github.com/chenjiandongx/sniffer@latest
Собрать можно где угодно, а потом просто скопировать бинарник на нужный хост. В MacOS, кстати, он есть в базовом репозитории и ставится в одну команду через brew.

Далее достаточно просто запустить бинарник. Для удобства можно добавить ключ -u MB чтобы отображать скорость в мегабайтах в секунду:
# ./sniffer -u MB

Напомню список похожих программ:

◽ Iftop - писал о ней ранее. Показывает только скорость соединений к удалённым хостам без привязки к приложениям.

◽ NetHogs - немного похожа по внешнему виду на iftop, только разбивает трафик не по направлениям, а по приложениям. В связке с iftop закрывает вопрос анализа полосы пропускания сервера.

◽ Iptraf - показывает более подробную информацию, в отличие от первых двух утилит. Плюс, умеет писать информацию в файл для последующего анализа. Трафик разбивает по удалённым подключениям, не по приложениям. Тоже писал ранее об этой утилите. 

◽ Bmon - показывает трафик сразу на нескольких сетевых интерфейсах с разбивкой по ним, можно сравнить. Bmon может быть полезен на гипервизорах, оценить трафик на бриджах.

Sniffer объединяет в себе функционал Iftop и NetHogs, которые лично я использую постоянно. Если бы он был в базовых репах, то 100% перешёл бы на него, а так не знаю, буду ли пользоваться. Только если будет регулярная потребность. Как-то хлопотно бинарник копировать вручную.

Пост имеет смысл сохранить в закладки с пометкой "консольные утилиты для анализа загрузки сети в Linux".

Исходники - https://github.com/chenjiandongx/sniffer

#terminal #linux #network #perfomance

Попалась на глаза англоязычная статья с советами по безопасности при настройке PHP. Там нет чего-то уникального и необычного, но материал хорош как готовый список действий или рекомендаций, по которым стоит пробежаться при настройке веб сервера. Решил на основе её сделать чек-лист на русском языке. Кому нужны подробности, переходите в источник.

✅ Смотрим список активных модулей:
# php -m
Отключаем ненужные:
# mv /etc/php.d/sqlite3.ini /etc/php.d/sqlite3.disable

✅ Отключаем отображение информации о версии PHP:
expose_php=Off
Это параметр для php.ini.

✅ Отключаем отображение ошибок PHP для посетителей:
display_errors=Off
Вместо этого логируем их отдельно:
log_errors=On
error_log=/var/log/httpd/php_scripts_error.log

✅ Если не нужна загрузка файлов на веб сервер, отключите эту возможность:
file_uploads=Off
Если загрузка нужна, то хотя бы ограничьте максимальный размер файла до необходимого предела:
file_uploads=On
upload_max_filesize=10M

✅ Отключаем функцию allow_url_fopen, если не используются сайтом. Она открывает широкие возможности для взлома, если разработчики забудут о фильтрации входящих данных.
allow_url_fopen=Off

✅ Настройка размера POST запросов. Этот параметр должен быть не меньше upload_max_filesize, если разрешена загрузка файлов. Если же она запрещена, то большой разрешённый размер post запросов не нужен. Вряд ли вам через формы потребуется заливать большой объём данных.
post_max_size=10M
или
post_max_size=10K

✅ Подобрать необходимые лимиты выполнения скриптов. Тут всё сильно зависит от самого сайта. В идеале, много ресурсов не выделять, но, к примеру, тот же Bitrix, требует очень много оперативной памяти и времени выполнения для своих скриптов.
max_execution_time = 30
max_input_time = 30
memory_limit = 64M

✅ Отключаем потенциально опасные функции PHP. Оставляем только то, что реально нужно.
disable_functions = exec,passthru,shell_exec,system,
proc_open,popen,curl_exec,curl_multi_exec,
parse_ini_file,show_source

✅ Убедиться, что параметр cgi.force_redirect не отключен принудительно. По дефолту, если его явно не указать, то он будет включен.
cgi.force_redirect=On

✅ Убедиться, что php работает от отдельного непривилегированного пользователя. Настройка будет зависеть от используемого менеджера процессов php. Проверяем примерно так:
# ps aux | grep php

✅ Ограничиваем доступ php к файловой системе:
open_basedir = "/var/www/html/"

✅ Настраиваем место хранения для сессий:
session.save_path = "/var/lib/php/session"
Важно убедиться, что туда нет доступа посторонним. Кроме веб сервера эта директория никому не нужна. Также туда не должно быть доступа с сайта.

В статье было гораздо больше информации, но некоторые параметры уже объявлены устаревшими. А часть не относится непосредственно к PHP (настройка selinux, firewall и т.д.), поэтому я не стал включать её в этот список.

❗️Материал имеет смысл сохранить в закладки. Источник.

#security #webserver #php

​​От компании Mikrotik давно не было новостей и новинок. Последняя рассылка была в апреле. Недавно выпустили очередной Newsletter, пометив его июльским. Там есть несколько интересных новинок, о которых расскажу.

Перед этим хочу поделиться информацией на тему покупки новых устройств. Было же объявлено, что компания Mikrotik прекращает продажу своего оборудования в РФ. На практике каких-то особых проблем с приобретением не возникло. В настоящий момент бюджетные микротики для дома можно купить в популярных сетевых магазинах типа dns, citilink или ozone. В наличие наиболее ходовые устройства есть. Менее популярные модели можно поискать на Avito или заказать на Aliexpress. Там тоже много всего в наличии. Те, кому нужны более крупные корпоративные закупки, пользуются услугами поставщиков, которые завозят устройства через Казахстан.

Теперь к новинкам:
▪ Chateau LTE6-US - новая точка доступа для дома на основе WAN интерфейса через LTE. На борту мощный процессор, 5 гигабитных сетевых интерфейсов и современный LTE модем. Мне как раз домой такая штука пригодилась бы прямо сейчас. Но судя по описанию, этот продукт предназначен для рынка США. При этом по характеристикам он очень похож на Chateau 5G, но стоит в 2,5 раза дешевле. Не понял, почему так. Видеообзор.

▪ RB5009UPr+S+IN - необычный девайс с пассивным охлаждением и PoE-in & PoE-out на всех 8-ми Ethernet портах. Имеет пассивное охлаждение и может быть смонтирован в стойку в количестве 4-х штук на 1U. То есть это операторское решение. Питаться может от трех разных источников одновременно: 2-pin коннектор на 48V, обычный блок питания через jack на 24V и через PoE-In на 57V. Если я правильно понял из описания, эта штука в первую очередь заточена на питание свитчей в стойках. Это её основное назначение. Видеообзор.

▪ CSS610-8P-2S+IN - популярный формат свитчей из среднего ценового сегмента. Служит для подключения и питания различных сетевых устройств по стандарту 802.3af/at PoE-out. Имеет 8 гигабитных портов и 2 SFP+. Добротный POE свитч с управлением на базе SwitchOS Lite. Видеообзор.

▪ CRS518-16XS-2XQ-RM - операторский свитч из высокого ценового сегмента. На борту 2 ❗️100G QSFP28 ports и 16 25G SFP28 ports. Видеообзор.

Я по прежнему остаюсь на 6-й версии RouterOS. Для 7-й ветки стала типичной картинка, когда выходит новая версия и через день сразу же к ней обновление. Какой-то стабильности и надежности в этой ветке до сих пор не видно. Так что пока жду.

Рассылка в виде pdf

#mikrotik

​​Вы знали про существование российского почтового сервера Mailion? Я увидел на него ссылку в одном из комментариев в интернете где-то месяц назад. Прошёл по ней, но вместо сайта увидел заглушку о том, что ведутся технические работы. И шли они где-то недели 2-3. Я периодически проверял сайт, потому что было интересно почитать, что это такое. По описанию было что-то грандиозное для сотен тысяч пользователей (до миллиона❗️), а я вообще даже название впервые услышал.

Сейчас сайт работает и можно познакомиться с продуктом. В лучших традициях отечественного ПО, на сайте нет никакой конкретики. Один единственный скриншот увидел и кучу маркетинговой информации. Обзорное видео вообще ни о чём. Одна вода. Цен, как полагается, тоже нет, продажи через партнёров. А продукт платный, без бесплатной или пробной версии.

Я почитал немного документацию и примерно получил представление о том, что это такое. Сервер построен на базе микросервисов, так что умеет быстро масштабироваться. По функционалу это попытка заменить Exchange, но за основу берётся работа в браузере, хотя интеграция с Outlook тоже заявлена. Есть инструменты по миграции с Microsoft Exchange на Mailion. Реализована поддержка доменов на кириллице.

Теперь немного о потрохах на основе того, что есть в документации.
- отказоустойчивость сети построена на базе keepalived
- микросервисы работают на Docker
- в основе почты postfix
- внутренние логи собирает Syslog-ng
- антиспам работает на основе Rspamd
- в качестве антивируса может использоваться ClamAV
- кластер реализован на базе etcd
- для хранения данных используются Redis, Monogdb, Arangodb, объектное хранилище для почты (собственная разработка)
- встроенный мониторинг на базе prometheus + grafana

Установка поддерживается на следующие системы: Centos 7.7+, Astra Linux SE 1.7, ubuntu 20.04, RedOS 7.3. Разворачивается всё с помощью Ansible.

После прочтения руководства по установке проникся сложностью и масштабом системы. И в то же время её относительной простотой за счёт того, что используются хорошо известные open source продукты, в которые можно погрузиться и разобраться в работе. В центре - хранилище собственной разработки, заточенное под хранение очень больших объёмов данных.

Для разворачивания и администрирования нужно знание всего современного стека ПО, с которым чаще работают девопсы. Вот и размыли роль админа и девопса. Почтовые сервера обычно прерогатива админов, а тут уже не всё однозначно.

Кто-то уже видел, работал с этим почтовым сервером? Я так понял, его только недавно зарелизили. Версия 1.0 косвенно намекает на это. Хотя разработка велась давно. Ещё год назад были статьи на хабре, которые я нашёл уже в процессе написания заметки. Разработчики - компания Мой Офис. Продукт присутствует в реестре отечественного ПО.

Сайт - https://mailion.ru

#mailserver #отечественное