Рассмотрим поднятие кластера базы данных PostgreSQL (см. заметку на сайте).

Autobase - платформа или лучше назвать инструмент автоматизации для простого и быстрого поднятия кластера PostgreSQL.

🏠 Архитектура согласно документации.

📌 Основные компоненты

▪️ python приложение для управления кластерами PostgreSQL - patroni.
▪️ key-value хранилище конфигураций - etcd.
▪️ сервис плавающего приоритета для предоставления единой точки доступа к кластеру - vip-manager.
▪️ система управления подключениями или пулер соединений - PgBouncer.
▪️ балансировщик нагрузки - HAProxy.

Для тех, кто не жаждет разбираться в тонкостях построения отказоустойчивого кластера, разработчиками системы были подготовлены ряд скриптов, Ansible конфигураций и сервисов, в том числе UI, благодаря которым процесс запуска свелся к нескольким несложным шагам.

🔨 Подготовка

➡️ 3 виртуальные машины (2 CPU, 2 Gb RAM) на Debian 12 под ноды
▪️ ставим ssh сервер
▪️ пользователя добавляем в sudo
▪️ на проде организовываем доступ через ключи (на тестовых можно обойтись и паролем)

➡️ 1 виртуальная машина для консоли управления также на Debian 12
▪️ ставим Docker

➡️ все машины в одной сети (рекомендация разработчиков для поддержки функции мониторинга кластера)

🚀 Запускаем консоль управления

docker run -d --name autobase-console \
  --publish 80:80 \
  --publish 8080:8080 \
  --env PG_CONSOLE_API_URL=http://192.168.1.135:8080/api/v1 \
  --env PG_CONSOLE_AUTHORIZATION_TOKEN=secret_token \
  --env PG_CONSOLE_DOCKER_IMAGE=autobase/automation:latest \
  --volume console_postgres:/var/lib/postgresql \
  --volume /var/run/docker.sock:/var/run/docker.sock \
  --volume /tmp/ansible:/tmp/ansible \
  --restart=unless-stopped \
  autobase/console:latest

▫️ 192.168.1.135 - адрес виртуальной машины консоли (api сервис стартует рядом с ui и бд консоли, поэтому адрес один и тот же)
▫️ 80 - порт ui
▫️ 8080 - порт api сервиса

🔥 Создаем кластер
Идем в консоль по адресу машины на 80 порт.

▫️ Для входа используем заданный при старте контейнера PG_CONSOLE_AUTHORIZATION_TOKEN.
▫️ Create cluster - Your Own Machines.
▫️ По умолчанию предлагается использовать 3 ноды. Их и заполняем информацией о созданных ранее виртуальных машинах.
▫️ Выбираем метод авторизации и заполняем учетные данные.
▫️ В поле Cluster VIP address указываем незанятый (!) адрес в сети, который будет использован как единая точка входа для кластера.
▫️ Включаем балансировщик HAProxy load balancer
▫️ Выбираем версию PostgreSQL
▫️ Стартуем

✔️ В разделе Operations можно отслеживать процесс исполнения через логи системы.
✔️ В случае успешного запуска в разделе Clusters появится развернутый экземпляр с расширенной информацией и мониторингом состояния.

⁉️ Резервное копирование и восстановление кластеров реализовано с помощью инструментов pgBackRest и WAL-G, однако управление из ui пока недоступно - в скором времени планируется внедрить, судя по планам и комментариям разработчиков.

✅ Таким образом можно развернуть PostgreSQL кластер с минимальным участием в настройке целого пласта зависимостей. Рассмотренное средство вполне способно стать бесплатной альтернативой облачным провайдерам кластеров баз данных для решения бизнес-задач, а доступная масштабируемость позволит справляться с возрастающей нагрузкой по мере ее возникновения, не испытывая при этом никаких трудностей.

В следующей части настоящего цикла углубимся в предлагаемые конфигурации, самостоятельно соберем образы участвующих в работе компонентов и внесем корректировки в параметры для разрешения вопроса резервного копирования и восстановления данных кластера, не дожидаясь их появления в ui.

#db #tools #selfhosted

Расскажу про реализованный исследовательский проект в области видеоаналитики, в рамках которого удалось собрать жизнеспособный прототип и найти ему практическое применение в индустрии спорта.

⚽️ Задача заключалась в разработке автоматизированной системы оценки качества исполнения каких-либо спортивных упражнений, элементов, снарядов. Для примера были взяты стандартные положения в футболе, а именно штрафные удары и пенальти.

🔎 Схема работы

🔹 На вход системы подаются короткие видео фрагменты эталонного и анализируемых записей ударов футболистов.

🔹 ML модуль обрабатывает кадры видео и производит:

✔️ Детекцию мяча
✔️ Определение момента удара
✔️ Построение скелета игрока

🔹 Для каждого из направлений работы ML модуля готовились соответствующие модели на базе yolo. Отдельное внимание уделялось комбинированному скелетному генератору (совместная работа нескольких моделей из раздела pose estimation), т.к. от точности формирования скелета зависит дальнейшая работа комплекса в целом.

🔹 Зафиксировав кадр момента удара и получив с него скелет с более чем 20 контрольными точкам, модуль оценки производит расчет пространственных характеристик (положение тела и его частей).

🔹 На основе собранных характеристик по всем входным данным, выполняется сравнительный анализ качества исполнения стандартного положения с формированием итогового отчета, отметкой расхождений и рекомендациями по внесению корректировок в технику.

🙎‍♂️ Для кого

Инструмент будет полезен игрокам, тренерам, аналитическим платформам, автоматизированным тренировочным комплексам.

⚡️ Перспективные направления

Футбол, баскетбол, гимнастика, боевые единоборства, теннис, тяжелая атлетика, пауэрлифтинг.

💡 Что дальше

▪️ Специализация под конкретный вид спорта с учетом особенностей и требований.
▪️ Расширение набора метрик оценки.
▪️ Клиентский сервис.
▪️ Модули внешней интеграции для расширения функциональности уже существующих систем.

💻 Участники проекта

💥 Демин Юрий - Backend, ML
💥 Рязанов Владимир - Frontend
💥 Мясников Филипп - ML
💥 Листопад Валентина - Design

#проекты

Существует множество способов быстро передать данные с целевой машины. Одним из наиболее простых вариантов является публикация через веб сервер для открытия в браузере. Приведу несколько решений по организации доступа к локальным данным по http протоколу, как для одноразового применения, так и для постоянного целевого использования.

📌 python нынче поставляется в комплекте многих операционных систем, его базовый http сервер и применим.

▪️ Переходим в каталог с данными.
▪️ Запускаем сервер

python3 -m http.server 8000

▪️ Забираем данные через браузер.
▪️ Завершаем работу сервера.

Для разовых манипуляций более чем достаточно.

📌 Браузерный файловый менеджер File Browser
Уже куда более приятный инструмент для работы с расшаренными ресурсами прямо в веб интерфейсе.

▪️ Загрузка каталогов и файлов на / с сервера
▪️ Создание, удаление, изменение файлов и директорий
▪️ Доступ по временной ссылке
▪️ Многопользовательский доступ
▪️ Обработка событий с возможностью добавления собственных скриптов

# устанавливаем
curl -fsSL https://raw.githubusercontent.com/filebrowser/get/master/get.sh | bash

# задаем адрес и порт в настройках
filebrowser config init -a 0.0.0.0 -p 8080

# добавляем админа
filebrowser users add demo demo -perm.admin

# запускаем над каталогом с данными
filebrowser -r /home/desoft/data

📌 Схожим набором функций обладает еще одно минималистичное решение - Mikochi
Можно запустить через бинарник, поднять в docker или kubernetes.

# запускаем
docker run \
    -p 8080:8080 -v /home/desoft/data:/data \
    -e DATA_DIR="/data" -e USERNAME=demo \
    -e PASSWORD=demo zer0tonin/mikochi:latest

📌 Богатая на возможности программа RClone
Помимо основного назначения синхронизации файлов с облачными хранилищами, утилита предоставляет функцию трансляции файловой системы через веб сервер для взаимодействия по http протоколу.

# устанавливаем
sudo -v ; curl https://rclone.org/install.sh | sudo bash

# запускаем
# --dir-cache-time - время хранения кэша записей смонтированной директории
# --poll-interval - время ожидания между опросами изменений
rclone serve http -vvv /home/desoft/data --addr 0.0.0.0:8020 --dir-cache-time 5s --poll-interval 0

▪️ Широкий выбор операционных систем, в том числе Linux, macOS, BSD, Windows
▪️ Поддержка буферизации и кэширования файлов
▪️ Подключение как локальных, так и облачных хранилищ
▪️ Поддержка запросов на чтение отдельных частей файлов
▪️ Мониторинг обращений
▪️ Гибкая настройка параметров

Полный перечень доступных конфигураций здесь.

#share #opensource #selfhosted #tools