Хочу напомнить об одной особенности настройки файрвола на арендованных VPS и дедиках, да и не только там, а и у большинства обычных провайдеров. С этим постоянно приходится сталкиваться, но иногда забываешь и тратишь лишнее время на отладку. Я хоть и сам с этим постоянно сталкиваюсь, и заметки ранее делал, но всё равно иногда протупишь и забудешь.

Суть в чём. Почти у всех провайдеров есть список портов, которые заблокированы для входящего или исходящего трафика. И чем дальше, тем больше этот список. Начиналось это всё с блокировки 25-го порта на отправку почты по SMTP, а сейчас мы имеем уже довольно внушительный список, который по умолчанию заблокирован.

Я обо всём этом неизменно вспоминаю, когда настраиваю файрвол, поэтому про него и упомянул в начале. Вроде всё сделаешь - правила напишешь, порты нужные откроешь, всё запускаешь, а трафик не идёт. И начинаешь разбираться, что тут не та так. Вроде всё верно - порты открыты, служба запущена, а трафик извне не идёт. И тут вспоминаешь об ограничениях.

Чаще всего провайдеры блокируют порты для службы SMTP и те, что используют сервисы, уязвимые к атакам типа amplification. Это когда в ответ на запрос, служба отправляет ответ в несколько раз больший по размеру, да ещё и на изменённый адрес получателя. То есть блокировки часто затрагивают:

▪️25 TCP - исходящий трафик
▪️465, 587 TCP - исходящий трафик, где-то уже и эти порты начинают по умолчанию блокировать, но пока ещё не так активно, как 25-й
▪️123, 53, 389, 1900, 11211 UDP - входящий трафик

Пока писал заметку, проверил актуальные списки некоторых провайдеров. Не увидел там 123 (NTP) и 53 (DNS) портов. Возможно сейчас это уже не так актуально и блокировать по умолчанию эти порты перестали, но раньше я точно кое-где с этим сталкивался, поэтому сразу про них вспомнил, когда начал писать. NTP на вход одно время активно блокировали, когда эксплуатировалась популярная уязвимость протокола к amplification.

Дальше очень часто блокируют входящие порты виндовых служб из-за того, что через интернет они редко используются, а вот всякие черви и прочие зловреды их активно используют:

▪️135, 137, 138, 139 UDP или оба UDP и TCP
▪️445 TCP

Последняя блокировка SMB особенно неприятна, так как иногда хочется по белым спискам открыть службу для передачи файлов, но не получается, так как хостер блокирует. Сейчас эта проблема решена новым протоколом SMB over QUIC, который работает по 443 порту. Можно будет нормально файлы по интернету передавать напрямую.

Вот пример списка заблокированных портов от Selectel. Он внушительный, но по текущим временам практически образцово-показательный. Чем крупнее хостер, тем обычно длиннее у него этот список. Но тут хотя бы 3389 и 5060 не закрыты. Например, Timeweb Cloud блокирует и их. Вот ещё пример ограничений для дедиков от Яндекс облака. Там тоже всё стандартно, без особой жести.

Так что имейте ввиду и перед арендой серверов и в процессе настройки, что многие сервисы могут быть по умолчанию заблокированы. Причём какие-то можно разблокировать по заявке в техподдержку, а какие-то нет. Об этом стоит позаботиться заранее, чтобы потом не тратить время и нервы в беседе с поддержкой.

Ну и не забывайте про работу ТСПУ 😪 и прочие ограничения. Например, на доступ к подсетям электронного правительства в РФ 🤷‍♂️. Иногда из-за работы ТСПУ даже по SSH к некоторым виртуалкам не получается подключиться. Приходится их просто бросать и арендовать новые. Такие времена настали.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#хостинг

Вчера разбирался и настраивал очень необычный файловый сервер, состоящий из одного файла на Python, работающий даже с Windows XP и IE6, в том числе на парковке. Речь пойдёт про open source проект Copyparty. Он меня впечатлил своей самобытностью и функциональностью. И при этом показался полезным в конкретных прикладных задачах. Потратил некоторое время на его изучение, так что постараюсь кратко и по существу рассказать про него.

📌Перечислю его возможности, которые показались мне наиболее интересными. Он умеет кучу всего, всё перечислять слишком объёмно.

▪️Очень простой запуск: # python3 copyparty-sfx.py
▪️Поддержка протоколов: HTTP, WebDAV, SFTP, FTP, TFTP, SMB/CIFS, то есть может работать и через браузер, и как сетевой диск в винде и т.д.
▪️Многопоточная передача, дедупликация, дозагрузка при разрыве связи. Сервис очень хорошо себя ведёт на загрузке больших файлов. Файлы бьёт на чанки с проверкой их хэшей. Дозаливает или перезаписывает только изменения.
▪️Есть cli, что вкупе с предыдущими возможностями делает этот сервер удобным в некоторых случаях в качестве замены rsync.
▪️Сохранение метаданных файла даже при загрузке через браузер. Сохраняется оригинальная дата создания файла, плюс добавляется время загрузки.
▪️Приложение под Android для быстрой загрузки файлов.
▪️Гибкие права доступа и аутентификация (в том числе по IP). Например, можно настраивать доступ к файлам только по прямым ссылкам, без обзора директорий. Можно разрешить только загружать файлы или только перемещать из текущей директории.
▪️Гибкие правила загрузки. Например, запрет на загрузку файлов больше определённого размера, автоудаление файлов через 5 минут после загрузки, автосоздание структуры каталогов в виде даты и времени (для фоток удобно).
▪️Хуки на загрузки и скачивания.
▪️Подробное логирование, метрики для мониторинга
▪️Смотреть картинки, видео, слушать музыку можно прямо через браузер.

Из минусов отмечу странный и неинтуитивный веб интерфейс. Видно, что автор его сделал таким по приколу. Ему так захотелось. Проект на удивление стал весьма популярным. На него много обзоров, звёзд ни гитхабе (46.7k ⭐️). Я про него узнал случайно в комментариях к заметкам.

Покажу на одном небольшом и вполне реальном примере удобство этого сервера. Допустим, у нас есть сетевой сканер. Мы хотим, чтобы он складывал сканы в сетевую папку. У самого сканера доступ только на запись файлов и больше ничего. Он даже не будет видеть содержимое сетевого диска. У пользователей будет анонимный доступ на чтение в эту директорию. Они смогут смотреть сканы через браузер, в том числе на смартфоне или в сетевом диске в Windows. У администратора будет полный доступ.

Copyparty настраивается с помощью файла конфигурации:

[global]
e2dsa, smbw, z
smb-port: 445

[accounts]
scanner: SCAN_PASS
admin: ADMIN_PASS

[/scans]
/mnt/scans
accs:
 r: *
 w: scanner
 A: admin

Запускаем:

# wget https://github.com/9001/copyparty/releases/latest/download/copyparty-sfx.py
# python3 copyparty-sfx.py -c copyparty.conf

SMB протокол работает плохо в Copyparty. Автор прямо об этом предупреждает. Если сканер поддерживает ftp или webdav, лучше использовать их.

Приложение под Android очень простое. В основном нужно для быстрой загрузки файлов в пару кликов. Веб интерфейс адаптивен, можно использовать его без приложения.

Кому понравился проект, посмотрите видео с обзором. Если понимаете английский на слух, слушайте оригинал. Автор остроумен и интересен, поэтому у обзора на такой специфичный продукт 606 😳 тысяч просмотров. Вот ещё демка на потыкать. Стоит за CF, поэтому напрямую не откроется. Обратите внимание на страничке с демо на правый нижний угол. Это тоже шуточка от автора.

Меня очень впечатлил этот файловый сервер. Я прочитал всю инструкцию в репозитории, оценил все возможности, посмотрел несколько обзоров. Классная штука. Может упростить велосипедостроение на bash, взяв на себя часть функциональности, например, по удалению старых файлов, созданию директорий, нужному именованию файлов и т.д.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#fileserver

Есть старый и необычный по сегодняшним меркам мониторинг Monit. Я более 5-ти лет назад делал про него заметку. Периодически просматриваю старые публикации в поисках чего-то интересного и актуального по сей день. Как оказалось, этот мониторинг вполне себе живой, обновляется. Летом вышел очередной релиз 6.0.

Основная его фишка - локальный мониторинг одиночного сервера и выполнение каких-то действий в зависимости от результата проверки. Не стоит его примерять на какую-то инфраструктуру и сравнивать с другими мониторингами. Например, Monit используется в популярном программном шлюзе OPNSense в качестве локального мониторинга служб.

Приведу несколько примеров по использованию Monit. Сразу скажу, что его можно заменить на другие инструменты, потому что ничего уникального он не делает. Но его удобство в том, что настройка проста и унифицирована для разных случаев. Конфигурация состоит из обычных текстовых файлов, легко хранится, обновляется, распространяется.

Показывать буду в виде готового примера конфигурации, чтобы можно было оценить синтаксис. Monit легко установить:

# apt install monit

После этого можно сразу настраивать проверки, добавляя конфигурации в /etc/monit/conf.d.

🟢 Мониторинг процессов. Как простой по наличию запущенной службы, так и более сложный с контролем отклика или каких-то дополнительных условий.

check process openvpn matching "openvpn"
start program = "/usr/bin/systemctl start openvpn@server"
stop program = "/usr/bin/systemctl stop openvpn@server"
if failed host localhost port 1194
then restart

Это проверка наличия процесса и отклика по порту 1194. Для процессов можно более сложные проверки добавлять, например, по занимаемой памяти, или скорости записи на диск:

if total memory > 1000 MB for 3 cycles then alert
if write activity > 10 MB/s then alert

С некоторыми приложениями есть интеграция. Можно, к примеру, проверять аутентификацию в MySQL:

check process mysql with pidfile /run/mysqld/mysqld.pid
  start program = "/usr/bin/systemctl start mysqld"
  stop program = "/usr/bin/systemctl stop mysqld"
  if failed
    port 3306
    protocol mysql username "foo" password "bar"
  then alert

🟢 Доступность хоста. Покажу тоже на примере ovpn сервера. Допустим, у вас есть VPS в виде ovpn сервера, к которой подключаются клиенты. Каждый клиент к своему туннелю. Если какой-то клиент недоступен, перезапустим его тоннель.

check host ovpn-home with address 10.10.2.2
  if failed ping4 count 2 with timeout 3 seconds for 3 cycles
  then exec "/usr/bin/systemctl restart openvpn@server-home"

🟢 Проверка файлов. Например, по размеру:

check file bigfile with path /tmp/bigfile
if size > 1 GB
then exec "/bin/rm /tmp/bigfile"

Можно проверять атрибуты:

check file shadow with path /etc/shadow
  if failed uid "root" then alert
  if failed gid "shadow" then alert
  if failed permission 640 then alert

Или просто наличие файла:

check file x with path /some/path/x
if exist then alert

Проверка содержимого:

check file auth.log with path /var/log/auth.log
   if content = "Accepted password" then alert

🟢 Проверка директорий. Тут всё примерно то же самое, что и с файлами. За исключением того, что Monit не умеет следить за размером директорий, что, в принципе, логично. Это может занимать очень много времени. Если нужна такая логика, то её лучше выносить в скрипты.

🟢 Проверка порта. Доступность удалённого порта:

check host SSH-Remote with address 1.1.1.1
if failed port 22 type tcp for 2 cycles
then alert

🟢 Мониторинг сетевых интерфейсов. Вот это интересная штука. С её помощью можно следить за тем же ovpn:

check network tun0 with interface tun0
if link down
then exec "/usr/bin/systemctl restart openvpn@client"

Можно контролировать загрузку:

check network eth0 with interface eth0
if upload > 10 MB/s then alert
  if total downloaded > 10 GB in last 2 hours then alert
  if total downloaded > 50 GB in last day then alert

Все эти проверки с примерами описаны в документации.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#мониторинг

Потестировал очень классную систему просмотра логов в Docker контейнерах Dozzle. Сначала мельком на неё глянул, подумал, ну очередной просмотрщик логов, их много разных есть. Но на деле там чуть больше, чем просто просмотр. Хотя и он сделан удобно. Сервис очень понравился, так что если работаете с контейнерами, рекомендую обратить внимание.

Расскажу, как Dozzle работает и что умеет делать:

▪️Подключается к docker.sock и получает доступ ко всем контейнерам хоста.
▪️Можно запустить агента на удалённом хосте и подключаться к нему. То есть один сервер с Dozzle может собирать логи с удалённых хостов.
▪️Умеет выводить как логи одного контейнера, так и смешанные логи нескольких контейнеров в одном потоке.
▪️При просмотре логов можно выбрать нужную строку и создать правило для отправки уведомлений при появлении этих строк. У правил гибкий синтаксис, можно в режиме реального времени смотреть, какие строки попадают под настроенное правило.
▪️Уведомления есть не только по содержимому логов, но и по некоторым событиям - запуск или остановка контейнера, исчерпание ресурсов хоста и т.д.
▪️Уведомления отправляются по webhook.
▪️Красивый и функциональный веб интерфейс.
▪️Есть поддержка K8s для просмотра логов подов.

У меня есть хост с контейнерами Immich, куда часто приходится заглядывать в логи, особенно, когда меняешь параметры ИИ и делаешь переиндексацию, или выполняешь обновление. Решил туда на пробу и поставить Dozzle. Благо, делается это в одно действие:

# docker run -d -v /var/run/docker.sock:/var/run/docker.sock:ro -v dozzle_data:/data -p 8080:8080 --name dozzle amir20/dozzle:latest

Дальше идём на порт сервера 8080 и смотрим логи. Там можно пользователя создать, настроить аутентификацию, а можно просто сразу посмотреть логи без всего этого.

Управление настройками можно выполнять через переменные. Например, для работы в K8s надо добавить DOZZLE_MODE=k8s. По умолчанию Dozzle собирает анонимную статистику. Отключить её можно параметром DOZZLE_NO_ANALYTICS=true. Все параметры перечислены в документации.

Для сбора информации с других хостов, на них надо запустить агентов, примерно так:

# docker run -v /var/run/docker.sock:/var/run/docker.sock:ro -p 7007:7007 amir20/dozzle:latest agent

А на сервере к ним подключаться так:

# docker run -p 8080:8080 amir20/dozzle:latest --remote-agent 192.168.137.5:7007

Если агентов много, их можно объединить в переменной:

DOZZLE_REMOTE_AGENT=192.168.137.5:7007,192.168.137.10:7007

Хосты можно объединять в группы:

# docker run -p 8080:8080 amir20/dozzle:latest \
 --remote-agent 192.168.137.5:7007|web-1|Production \
 --remote-agent 192.168.137.6:7007|web-2|Production \
 --remote-agent 192.168.137.7:7007|dev-1|Development

У продукта нормальная документация, где все небольшие возможности описаны.

Панелька мне понравилась. Оставлю, буду пользоваться. Рекомендую хороший обзор, кого заинтересовало. Я сначала даже не заметил, что Dozzle умеет уведомления по событиям в логах слать. Увидел в обзоре.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#docker #logs