Администрирование PostgreSQL 16. Базовый курс

Новый бесплатный курс по админстрированнию PostgreSQL от PostgresPro

Продолжительность: 3 дня
Предварительные знания:
* минимальные представления о базах данных и SQL,
* знакомство с Unix.

Какие навыки будут получены:
* общие сведения об архитектуре PostgreSQL,
* установка, базовая настройка, управление сервером,
* организация данных на логическом и физическом уровнях,
* базовые задачи администрирования,
* основные сведения об управлении доступом,
* представление о резервном копировании и репликации.


https://postgrespro.ru/education/courses/DBA1

#databese #postgresql #напочитать #leran

How we use GenAI in SRE (Рубрика #SRE)

Я периодически почитываю статьи Google на тему "Distributed Systems and Parallel Computing" на их сайте research.google. Именно там я нашел статью "How we use GenAI in SRE" с абстрактом вида

Службы Google работают на крупнейшей в мире сети компьютеров. Инженеры по надежности сайтов (SRE) следят за тем, чтобы весь стек был в порядке: центры обработки данных были безопасными, хорошо подготовленными; у нас были резервные механизмы и целостность данных; чтобы убедиться, что мы правильно проектируем наш стек, используя правильные компромиссы в области хранения, репликации и программного обеспечения. Генеративный ИИ — отличный инструмент, который сделает нас сверхэффективными: имея доступ к инструментам для создания наших самых сложных конфигураций, для классификации рисков и событий, для управления большими массивами машин с помощью агентов или для дешевой автоматизации сложных рабочих процессов. В этом докладе будет рассмотрен путь, который SRE начал много лет назад, чтобы стать по-настоящему дисциплиной AI-First, и последние достижения в области инструментов, практик и рабочих процессов.

Эта статья оказалась не статьей, а простенькой презентацией от 20 апреля 2024 года (сама презентация доступна здесь). Из этой презентации можно вытащить не так много нового

1) Тезис про то, как SRE связан с работой AI систем

SRE is crucial component to operate at scale AI systems that are trustworthy, safe and efficient

2) Как SRE помогает AI
- Дизайн распределенных систем - системы, у которых основа завязана на AI, тоже должны хорошо масштабироваться и быть надежными
- Ускорить деплой - новые железные компоненты (GPU, TPU, ...) должны поступать в датацентры и эффективно шедулиться
- Trust & safety - результаты работы систем, основывающихся на AI моделях, должны быть выровнены относительно человеческих стандартов
- Эксплуатация и автоматизация - тренировка моделей и пайлайны для fine-tuning, релизов, откатов и так далее (вообще это можно называть MLOps)

3) Как AI помогает SRE
- Генеративный AI для документации и постмортемов - сохранение документации чистой и актуальной, создание изначальных постмортемов (видимо, рыба с автозаполнением части инфы)
- Автоматизация workflow - агентские процессы служат как workflow runners и выполняют часть функций на проде
- Оценка риска - еще до возникновения инцидента модели могут детектировать проблемы и исправлять часть из них
- Эффективность ресурсов - начиная с температур в датацентрам и до размещения сервисов по доступным машинкам ML модели помогают проду быть более здоровым и эффективным

В итоге, это доклад на хайповую тему, но вот содержание не уходит дальше рассказов о том, что SRE в Google теперь на AI-стероидах и применяется к AI системам:))

#SRE #Management #ML #AI #Processes #SystemDesign #DistributedSystems

🛠 Внезапное открытие сегодняшнего утра - оказывается, с помощью systemd и опций IPAddressDeny/IPAddressAllow в unit файле, можно контролировать сетевой доступ для приложения. Подробнее об этом...

- IP Accounting and Access Lists with systemd;
- Unintentionally troubleshooting a new way to filter traffic;
- systemd application firewalls by example.

#systemd #network #напочитать

Вышел ceph 19.2.0 (squid)

Вышел первый стабильный релиз 19 ветки с кодовым названием squid.

Пользователям iSCSI рекомендуется ознакомиться с трекером перед обновлением т.к. разработчики сталкивались с проблемами при обновлении с 19.1.1 до 19.2.0.

Краткое содержание основных изменений, которые принесла 19 ветка:

-RADOS: BlueStore был оптимизирован для лучше производительности при snapshot-intensive сценариях.
- RADOS: Сжатие LZ4 в BlueStore RocksDB теперь включено по умолчанию для повышения средней производительности и использования пространства на быстрых дисках.
- RADOS: Другие улучшения включают в себя более гибкие конфиги EC, OpTracker для помощи отладки проблем в модулях mgr, и улучшеный планировщик скраба.
- Dashboard: Улучшение в навигационном слое
- CephFS: Поддержка управления снапшотами и клонами CephFS, а также управление расписанием снапшотов.
- CephFS: управление возможностями авторизации для ресурсов CephFS
- CephFS: помощники монтирования cephfs volumes
- RBD: Функция diff-iterate теперь может выполняться локально, что значительно повышает производительность при использовании QEMU для оперативной синхронизации дисков и резервного копирования.
- RBD: Добавлена поддержка клонирования из снапшотов non-user типа.
- RBD: windows драйвер rbd-wnbd получил возможность мультиплексировать мапинг образов.
- RGW: Функция "Учетные записи пользователей" открывает несколько новых AWS совместимых IAM API для самостоятельного управления пользователями, ключами, группами, ролями, политиками и многим другим.
- RADOS: Это первый релиз в котором crimson, в качестве tech preview, доступен для широкого круга пользователей. Пока поддерживается только RBD на реплицируемых пулах. Для получения дополнительной информации про Crimson смотрите https://ceph.io/en/news/crimson

И многое другое.

Как всегда release notes первого стабильного релиза достаточно объемные и там много чего интересного.

Подробнее тут:

https://ceph.com/en/news/blog/2024/v19-2-0-squid-released/

P.S. Как обычно не рекомендую катить в прод с ценными данными первый релиз, даже не смотря на то, что его называли стабильным ;)

#ceph #squid #release #cephexpert

​ClickHouse как бэкенд для Prometheus

Вы узнаете про мощные возможности ClickHouse для эффективного долгосрочного хранения метрик Prometheus. В статье также есть рекомендации по использованию инструмента и описание альтернативных решений, таких как Thanos, Grafana Mimir и Victoria Metrics. Читать статью.

How To Use Proxy Server To Access Internet at Shell Prompt With http_proxy Variable

Как указывать прокси сервер в командной строке. В коментах к статье есть дополнительные примеры.

https://www.cyberciti.biz/faq/linux-unix-set-proxy-environment-variable/

#linux #shell #proxy #env

​pgbackweb

Утилита для управления бэкапами PostgreSQL с графическим интерфейсом.

Репыч на Гитхабе

Для надежной записи просто fsync – недостаточно. О подводных камнях записи и гарантий сохранения - в слайдах свежей лекции Дмитрия Родионова (Пикодата). Видео: https://www.youtube.com/watch?v=1V_UfMZdO6Q

💣 Почему бы в пятницу не грохнуть часть инфраструктуры своего прода и посмотреть как пойдут дела?

- Deploy on Friday? How About Destroy on Friday! A Chaos Engineering Experiment - Part 1;
- Destroy on Friday: The Big Day. A Chaos Engineering Experiment - Part 2.

#sre #напочитать

https://habr.com/ru/articles/852536/

#linux #performance #talos

Называется где взять время на все
SRE Day новый 2024 Q4 вышел - https://www.youtube.com/@sreday/videos
Observability Day и AI Day Вышли - https://www.youtube.com/@cncf/videos
SRE Unix Linux etc видео вышли - https://www.youtube.com/@UsenixOrg/videos

Я конечно рад, но не от всего сердца =)

Red Hat объявила о передаче набора инструментов для работы с контейнерами, включая Podman, Buildah и Skopeo, под управление Cloud Native Computing Foundation: https://goo.su/nK98BDU

Это обеспечит повышение прозрачности разработки, поддержку открытых стандартов и активное участие сообщества в развитии инструментов.

https://habr.com/ru/companies/yandex/articles/858662/

#network #loadbalancer

​Incident management at major sporting goods e-commerce

В этой статье техническая команда Декатлона рассказывает как у них устроена работа с инцидентами.

«Одним из главных препятствий, с которыми мы столкнулись, было отсутствие классификации инцидентов. Без четкого метода категоризации и квалификации инцидентов было сложно эффективно вовлекать соответствующие команды с правильным приоритетом, когда они не знали уровень серьезности. Каждая проблема казалась уникальной, что усложняло координацию и разрешение.»

Читать статью

❗️Статья в блоге на Medium

The book "Performance Analysis and Tuning on Modern CPU"

My book is a 170+ page guide for optimizing the performance of applications that run on modern CPUs. It combines the knowledge of many experts from different industries, to whom I'm very thankful. Engineers from Google, Facebook, leading HFT, and game development firms helped me shape this book

https://github.com/dendibakh/perf-book

#book #perfomance