Расскажу историю по мотивам утренней, как моя невнимательность и ошибки бесплатных СhatGPT и Qwen привели к тому, что я несколько часов ходил по кругу и не мог решить простейшую задачу. Думаю, это будет наглядным примером того, как не стоит сильно доверять ИИ даже в простых задачах.

Как я уже писал, у меня была задача - собирать логи Mikrotik в Loki. Первое, что я сделал - задал вопрос на эту тему ChtaGPT, чтобы в целом понять структуру задачи. Он ответил вполне логично, что можно взять устаревший Promtail, или современный и рекомендуемый Alloy. И сразу предложил к нему конфигурацию.

Я, уже наученный опытом использования конфигураций от ИИ, сразу же пошёл в документацию, чтобы самому собрать нужные параметры. Меня интересовали параметры для раздела loki.source.syslog. Я этот поисковой запрос вбил в Яндексе, в надежде сразу попасть в документацию, как это обычно бывает. И я действительно попал в документацию Grafana, только для продукта Agent, который был предшественником Alloy. У них одинаковая структура конфигурации, просто у Alloy намного больше параметров. Но визуально они не отличаются.

Я собрал конфиг для syslog на основе этой документации. Запустил, всё работает. Оправляю логи с Mikrotik и получаю ошибку парсинга. Я опять пошел в ИИ и спросил его, в чём ошибка и как решить. Он логично отвечает, что Alloy ожидает RFC5424, а получает RFC3164-подобный формат от Микротика.

И дальше он предлагает параметр, который решает эту проблему:

syslog_format = "rfc3164"

❗️Но вставляет его не в тот раздел конфигурации. Я добавляю, запускаю, получаю ошибку конфигурации на параметр syslog_format, якобы его не существует. Пишу это в ИИ и он мне на голубом глазу отвечает:

В Grafana Alloy нет параметра syslog_format (я привёл аналогию с другими инструментами — здесь это не работает).

Я возвращаюсь на вкладку документации для Agent, всё там проверяю и действительно не вижу этого параметра. Ну а дальше поехали всевозможные костыли, на которые я потратил кучу времени, но задачу таки решил через одно место.

И уже позже, когда я разбирался с метками на основе syslog полей, я попадаю в документацию Alloy и с удивлением вижу там:

The messages must be compliant with the RFC5424 syslog protocol or the RFC3164 BSD syslog protocol.

Это было как гром среди ясного неба. Я не понимаю, чем я вообще занимался и какую задачу решал. Сравнил две вкладки с документацией Agent и Alloy. Они очень похожи, так как последний является продолжением первого, просто для него добавились дополнительные параметры.

Сделать нужно было вот так:

loki.source.syslog "syslog_in" {
 listener {
  address = "0.0.0.0:1514"
  protocol = "udp"
  syslog_format = "rfc3164"
 }
 forward_to = [loki.process.syslog_process.receiver]
}

А ИИ предложил так:

loki.source.syslog "syslog_in" {
 listener {
  address = "0.0.0.0:1514"
  protocol = "udp"
}
 syslog_format = "rfc3164"
 forward_to = [loki.process.syslog_process.receiver]
}

Поставил параметр не в ту секцию. Когда получил ошибку на syslog_format, с какого-то перепугу заявил, что его не существует. А я из-за невнимательности поверил и решил, что его действительно нет.

Параллельно я этот же вопрос решал с Qwen и он тоже не дал рабочей конфигурации для Alloy.

Такая вот для меня поучительная история получилась. Не знаю, как работают платные версии, но бесплатные явно путаются и в некоторых сферах работают плохо. Я так понял, что тут наложилось то, что был Promtail, Agent и теперь появился Alloy. Все 3 программы решают одинаковые задачи, существовали одновременно, конфигурации похожи, поэтому получается путаница. Проще было с самого начала сделать всё самому. Это бы заняло 10-15 минут. А в итоге несколько часов потратил. Правда, многому научился. И получил в итоге самый удобный вариант, о котором напишу в следующей заметке.

☝️ По сути тут ошибся я сам, с себя ответственности не снимаю. С ИИ какой спрос? Он постоянно ошибается. В итоге наложилось одно на другое. ИИ мог бы помочь мне, но сделал ещё хуже - пустил по ложному следу.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#ai

Завершу тему с Loki и Mikrotik окончательным и максимально удобным решением, к которому я пришёл, и которое можно сохранить себе. Я в итоге применил Vector, про который я уже не раз упоминал и которым я пользуюсь для других задач. Мне этот сборщик, обработчик и отправитель логов нравится больше всего. На примере настройки ниже вы сами убедитесь в его удобстве.

Ставим Vector любым удобным для вас способом. Я выбираю пакеты:

# bash -c "$(curl -L https://setup.vector.dev)"
# apt install vector

Приводим конфигурацию /etc/vector/vector.yaml к следующему виду:

sources:
 syslog_udp:
  type: syslog
  address: 0.0.0.0:3514
  mode: udp

sinks:
 syslog_to_loki:
  type: loki
  inputs:
   - syslog_udp
  compression: none
  encoding:
   codec: json
  endpoint: http://192.168.137.30:3100
  labels:
   job: mikrotik

Перезапускаем Vector:

# systemctl restart vector

Сравните это с конфигурациями Alloy. Небо и земля по читаемости. Здесь я на вход принимаю syslog любых форматов. А на выходе выпускаю json. Хотя у Vector в документации на выходе есть формат syslog. Я сначала с ним пробовал, так как это выглядит логично. Но на практике итоговый результат с json лучше.

Теперь идём в Mikrotik в раздел System ⇨ Logging ⇨ Actions и добавляем новое действие. Я назвал его Loki, указал адрес и порт сервера, где установлен Vector, в качестве Remote Log Format выбрал BSD Syslog. После этого в разделе Rules добавил новое правило для логов System действие - Loki. Всё, в Микротике больше ничего делать не надо.

Можно идти в Loki и смотреть логи. Не нужно специально настраивать парсинг логов, добавлять дополнительные метки и т.д. Всё, что надо, уже есть. При такой настройке Vector вы получите в логах следующие поля:

▪️hostname
▪️source_ip
▪️message

Ну и некоторые другие, которые уже не так нужны. Главное, что есть эти. Теперь можно легко различать логи из единого потока по устройствам. И не нужно настраивать разные приёмники или как-то насыщать логи дополнительной информацией об отправителях. При других настройках, в том числе в Alloy, я не смог добиться автоматического парсинга этих полей. А в Vector заработало сразу, благодаря его внутреннему преобразованию syslog в json.

Рекомендую познакомиться с Vector, если ещё не доводилось пользоваться. Он берёт логи из любых источников, например из обычного файла, docker logs, journald, kafka, kubernetes logs, logstash и ещё 40 различных программ и кладёт их в кучу разных источников: loki, elasticsearch, prometheus, clickhouse, postgres, текстовый файл и ещё около 50-ти различных типов. То есть он может взять практически всё что угодно, отправлять куда угодно, попутно преобразовывая. И при этом у него отличная документация с примерами.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#loki #mikrotik

У меня уже год в закладках лежит сервис OpenCloud. Это платформа для обмена файлами, форк OwnCloud. Первый релиз вышел в феврале 2025 года. Я тогда его увидел, записал и решил подождать, чтобы посмотреть, что в итоге получится. Недавно в новостях проскочило, что вышла уже 6-я версия. Как-то бодро они релизы выпускают. Думаю, сейчас уже можно развернуть и посмотреть, что получилось.

При беглом обзоре продукта создаётся впечатление, что это что-то неплохое. Серверная часть написана на Go, фронтенд на Vue.js, клиентская на C++. То есть это как минимум должно работать быстро. Продукт метит в конкуренцию с NextCloud и с таким стеком он как минимум в скорости работы его победит. А по функциональности надо смотреть, что в итоге получилось.

На этапе тестового запуская я немного погрустнел. OpenCloud - многокомпонентная система. Все её составные части надо увязать между собой: сам OpenCloud, прокси сервер Traefik, сервис онлайн документов Collabora Online, сервис идентификации и доступа Keycloak и некоторые другие компоненты. Вручную всё это настраивать было бы совсем хлопотно. В репозитории есть Docker Compose файлы для всего этого хозяйства.

Пробую запускать. Клонирую к себе отдельный репозиторий с compose:

# git clone https://github.com/opencloud-eu/opencloud-compose

Дальше надо заполнить файл с переменными:

# cp .env.example .env

Я указал только пароль и основные директории, остальное не трогал:

INITIAL_ADMIN_PASSWORD=secret_password
OC_CONFIG_DIR=/mnt/opencloud_data/config
OC_DATA_DIR=/mnt/opencloud_data/data

У директорий должны быть полные права для id 1000:

# chown -R 1000:1000 /mnt/opencloud_data

Попробовал запустить, ничего не получилось. Сервер запущен, но непонятно, как к нему обращаться. Нет открытых для HTTP портов. Пошёл читать документацию. Оказывается, по умолчанию сервер документов запускается без веб сервера. Надо запускать вместе с Traefik. Ну и для полноты картины добавлю сразу Collabora:

# docker compose -f docker-compose.yml -f weboffice/collabora.yml -f traefik/opencloud.yml -f traefik/collabora.yml up -d

Если запускаете в тестовом окружении без настроенного домена, то Traefik запустится с тестовыми доменами. Вам нужно будет в свой hosts файл добавить записи:

192.168.137.29 cloud.opencloud.test
192.168.137.29 traefik.opencloud.test
192.168.137.29 keycloak.opencloud.test
192.168.137.29 collabora.opencloud.test
192.168.137.29 wopiserver.opencloud.test

192.168.137.29 - адрес сервера, на котором запущен OpenCloud. Теперь через браузер по адресу https://cloud.opencloud.test я смог зайти в веб интерфейс, используя учётку admin / secret_password, как я указал в compose.yml.

Для того, чтобы корректно работала связка хранилища файлов и collabora, необходимо оба самоподписанных сертификата от доменов cloud.opencloud.test и collabora.opencloud.test добавить в доверенные. Без этого онлайн редактирование документов не заработает, браузер будет ругаться.

Веб доступ у меня нормально заработал. Я сразу через браузер залил туда папочку 10 ГБ с 4000 файлов. И пошёл ставить десктопные приложения. Для macOS и Linux они есть прямо в репозитории, а для Windows почему-то только ссылка на установщик, который лежит в Microsoft Store. Как напрямую скачать и установить приложение, я не понял. Пришлось качать установщик, который потом сам откуда-то скачал приложение.

Этот момент не понравился и выглядит странно. Продукт европейский, но они почему-то сознательно или не очень, но привязались к магазину Microsoft.

Android приложение есть в Google Store и F-Droid. Я установил из Google Store. Приложение маленькое и простое.

Я себе всё установил и настроил. Получилась заметка об установке. О работе с приложениями и общем впечатлении расскажу в вечерней заметке, так как тут уже кончился лимит на объём.

В целом, продукт неплохой, но пока ещё сильно похож на прародителя - ownCloud Infinite Scale. Чего-то нового и необычного я в нём не увидел.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#fileserver

Продолжение темы с OpenCloud. Я рассказал, как его развернуть. Теперь поделюсь своими впечатлениями. Я в итоге установил:

▪️Веб интерфейс для работы в браузере
▪️Приложение под Windows
▪️Приложение под Android

📌 Возможности администратора

Администратор может сам создавать пользователей. Назначать им квоты на доступное место. Пользователей можно объединять в группы. Каких-то особых прав группам не назначить. Они используются для того, чтобы можно было дать группе права доступа к какому-то пространству.

Пространство - место для хранения файлов, которое не привязано к пользователю.

◽️Файлы пространства принадлежат только ему и даже при удалении пользователя, автора фала, сохраняются в пространстве.
◽️В пространстве ведётся логирование действий с файлами.
◽️Пространства можно по желанию подключать и отключать в приложениях.

Кроме управления пользователями, группами и пространствами в админке никаких настроек нет.

📌 Приложение под Windows

Оно простое как по интерфейсу и возможностям, так и по потребляемым ресурсам. Умеет работать через прокси и ограничивать трафик во время синхронизации.

Сетевое хранилище встраивается в проводник, наподобие того, как это реализовано в Яндекс.Диск. По умолчанию, отображаются все файлы, но сразу они не скачиваются. Если вы хотите, чтобы какой-то файл постоянно хранился локально, надо это явно указать.

Каких-то проблем или неудобств с синхронизацией я не заметил. Кладёшь на компьютере в директорию файлы, они автоматом улетают на сервер. В веб интерфейсе сразу их видишь.

📌 Веб интерфейс

Помимо доступа к файлам, с которыми можно работать (загружать, скачивать) в веб интерфейсе можно редактировать документы. Причём как одному, так и в режиме реального времени с другими пользователями. Они будут видеть ваши изменения практически мгновенно. Реализовано это всё на базе небезизвестной Collabora Online, так что добавить особо нечего. Про неё много информации в сети.

По сути кроме Collabora и Onlyoffice нет бесплатных движков для онлайн работы с документами. У них принципиальное отличие в том, что Collabora обрабатывает всё на сервере, а в Onlyoffice - на клиентах. Соответственно, первому нужно в разы больше серверных ресурсов для совместной работы, но зато клиентов не нагружает, поэтому и на смартфонах можно спокойно всё редактировать.

Как я уже упоминал, веб интерфейс очень простой и быстрый. С ним комфортно работать, особенно в сравнении с NextCloud, который лишний раз открывать не хочется. Помимо офисных форматов веб интерфейс поддерживает редактирование txt и markdown.

📌 Android приложение

Приложение умеет автоматически загружать фото и видео из галереи на сервер. Так же, как и десктопное приложение, по умолчанию ничего не хранит локально, если ты явно не укажешь, какие файлы и директории надо синхронизировать.

У меня было задвоение некоторых файлов в интерфейсе приложения. Загрузил через десктоп 2 файла, в вебе тоже увидел 2 файла, а в мобильном приложении их оказалось 4. После того, как я в мобильном приложении удалил копии, на самом деле удалились оригиналы. Они уехали в корзину, откуда я их восстановил. Приложение вышло совсем недавно, так что скорее всего найдутся и другие баги.

На смартфоне тоже можно редактировать файлы, зайдя в веб интерфейс. Можно collabora отдельно установить на смартфон, но не вижу большого смысла в этом. На смартфоне редактировать в любом случае неудобно, но если уж приспичит, можно и веб интерфейс открыть.

Продукт мне в целом понравился. Простой и лаконичный интерфейс. Минимум лишней функциональности. Реализована только работа с файлами и документами. Работает всё быстро, хороший отклик у веб интерфейса, пользоваться комфортно. Если взять мой опыт использования Яндекс.Диска, то OpenCloud закрыл бы все мои потребности. Отдельный вопрос с надёжностью и отсутствием багов. Но это без активного использования никак не проверить.

☝️Отдельно упомяну, что на сервере все файлы хранятся в открытом виде с оригинальными именами. Их легко бэкапить.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#fileserver

К одной из заметок про Loki в комментариях поделились ссылкой на любопытный проект - MKTXP-Stack. Это готовое решение для мониторинга и сбора логов с устройств Mikrotik. Состоит из:

◽️Prometheus для хранения метрик
◽️Grafana для визуализации
◽️MKTXP - exporter для сбора метрик с Микротиков по API
◽️Loki для хранения логов
◽️Promtail и Syslog-NG для сбора логов

Всё это упаковано в docker compose и запускается за 5 минут. Всё, что нужно - заполнить конфигурационный файл с доступом к микротикам. Весь стек полностью настроен. Я его запустил и попробовал. Экспортер и визуализация к нему очень понравились. Сбор логов не особо, потому что, во-первых, используется Promtail, а он не очень хорошо парсит syslog от микротов. Какие там есть проблемы, писал в отдельной заметке про Alloy. У него такие же проблемы, как у Promtail. Для этой задачи лучше подходит Vector. Во-вторых, у меня в контейнере с Promtail периодически вылезали ошибки, и он переставал собирать логи. Помогал перезапуск. С ошибками разбираться не стал, Promtail всё равно уже deprecated, его надо менять.

А вот сам экспортер и дашборд к нему очень хороши. Если у вас уже есть свой стэк Prometheus + Grafana, можете взять отдельно экспортер и дашборд. В репозитории есть инструкция, там всё просто для тех, кто работает с Prometheus и знает его. Для тех, кто не знает, покажу, как всё это дело запустить и наслаждаться мониторингом микротиков без погружения в тему prometheus и grafana.

Берём любую машину с установленным Docker. Клонируем себе репозиторий и переходим в него:

# git clone https://github.com/akpw/mktxp-stack.git
# cd mktxp-stack

Открываем файл конфигурации mktxp.conf в директории mktxp и добавляем свои устройства в файл:

[hAPax3-01]
  hostname = 192.168.137.1

[hAPax3-02]
  hostname = 192.168.137.2

[hAPax3-03]
  hostname = 192.168.137.3

И так далее. На всех устройствах добавляем отдельного пользователя для доступа mktxp. Ему достаточно прав read и api. Можете сделать через winbox или в консоли:

/user group add name=mktxp_group policy=api,read
/user add name=mktxp_user group=mktxp_group password=mktxp_user_password

Используем эту учётку в mktxp.conf

[default]
.................
  username = mktxp_user
  password = mktxp_user_password
...................

Остальные параметры включайте на своё усмотрение. Там по названию понятен смысл, плюс, есть комментарии. Если на устройствах будут разные учётки, то пропишите их в разделе с устройством.

Больше ничего делать не надо. Можно запускать весь стек. Для этого переходим в директорию mktxp-stack и запускаем:

# docker compose -f ./docker-compose-mktxp-stack.yml up -d

Переходим в веб интерфейс по IP адресу сервера на порт 3000, например http://192.168.137.29:3000. Попадёте сразу в веб интерфейс Grafana. Там уже всё настроено, аутентификация отключена. Вы сразу же увидите метрики со своих настроенных устройств. По крайней мере у меня сразу всё заработало. Ничего больше не делал.

Дашборд продуман и информативен. Я себе оставлю его. Не скажу, что сильно надо. Самому лень было настраивать. Но готовый можно взять. Там те же лизы от DHCP можно смотреть. Я иногда захожу через winbox поискать потерявшиеся хосты. Ну и просто статистику, загрузку интерфейсов, открытые соединения и топ хостов по ним посмотреть. На дашборде всё это нагляднее, чем в Winbox.

Как я уже сказал, аутентификация в Grafana отключена, по умолчанию почему-то установлена светлая тема. Мне привычнее тёмная. Поменять настройки grafana можно в основном compose файле - docker-compose-mktxp-stack.yml. Я вернул чёрный цвет:

GF_USERS_DEFAULT_THEME: "dark"

Хорошее, добротное решение. Мне понравилось. Ниже много интересных картинок.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#mikrotik #prometheus