🗜 Linux Network Performance Ultimate Guide - очень обстоятельно о работе сети в Linux...

https://ntk148v.github.io/posts/linux-network-performance-ultimate-guide/

#linux #network #performance

Вышел ceph 18.2.4 (reef)

Вышел четвёртый бекпорт релиз в ветке reef.

Ранняя сборка этого релиза была случайно упакована и опубликована как 18.2.3 проектом Debian в апреле. Этот релиз 18.2.3 не должен использоваться, поэтому официальный релиз был переименован в v18.2.4, чтобы избежать дальнейшей путаницы.

Образы контейнеров v18.2.4 основанны на CentOS 9 и могут быть несовместимы с более старыми ядрами (например, Ubuntu 18.04) из-за различий в методах создания потоков. Пользователи, обновляющиеся до контейнеров v18.2.4 на более старых версиях ОС, могут столкнуться со сбоями во время выполнения pthread_create. Для обходных путей обратитесь к связанному трекеру https://tracker.ceph.com/issues/66989. Однако разработчики рекомендуют обновить вашу ОС, чтобы избежать этой неподдерживаемой комбинации.

Разработчики отметили следующие изменеия:

* RBD: При сравнении с началом времени (fromsnapname == NULL) в режиме fast-diff (whole_object == true с включенной и допустимой функцией fast-diff образа), diff-iterate теперь гарантированно выполняется локально, если доступна эксклюзивная блокировка. Это приводит к значительному улучшению производительности для синхронизации live дисков QEMU и резервного копирования.
* RADOS: C++ API get_pool_is_selfmanaged_snaps_mode был объявлен устаревшим из-за возможности ложноотрицательных результатов. Его безопасной заменой является pool_is_in_selfmanaged_snaps_mode.
* RBD: Добавлена опция --image-id для командной строки rbd children, чтобы она могла работать с образами в корзине.

Еще больше подробностей тут:

https://ceph.io/en/news/blog/2024/v18-2-4-reef-released/

#ceph #reef #release #cephexpert

Администрирование PostgreSQL 16. Базовый курс

Новый бесплатный курс по админстрированнию PostgreSQL от PostgresPro

Продолжительность: 3 дня
Предварительные знания:
* минимальные представления о базах данных и SQL,
* знакомство с Unix.

Какие навыки будут получены:
* общие сведения об архитектуре PostgreSQL,
* установка, базовая настройка, управление сервером,
* организация данных на логическом и физическом уровнях,
* базовые задачи администрирования,
* основные сведения об управлении доступом,
* представление о резервном копировании и репликации.


https://postgrespro.ru/education/courses/DBA1

#databese #postgresql #напочитать #leran

How we use GenAI in SRE (Рубрика #SRE)

Я периодически почитываю статьи Google на тему "Distributed Systems and Parallel Computing" на их сайте research.google. Именно там я нашел статью "How we use GenAI in SRE" с абстрактом вида

Службы Google работают на крупнейшей в мире сети компьютеров. Инженеры по надежности сайтов (SRE) следят за тем, чтобы весь стек был в порядке: центры обработки данных были безопасными, хорошо подготовленными; у нас были резервные механизмы и целостность данных; чтобы убедиться, что мы правильно проектируем наш стек, используя правильные компромиссы в области хранения, репликации и программного обеспечения. Генеративный ИИ — отличный инструмент, который сделает нас сверхэффективными: имея доступ к инструментам для создания наших самых сложных конфигураций, для классификации рисков и событий, для управления большими массивами машин с помощью агентов или для дешевой автоматизации сложных рабочих процессов. В этом докладе будет рассмотрен путь, который SRE начал много лет назад, чтобы стать по-настоящему дисциплиной AI-First, и последние достижения в области инструментов, практик и рабочих процессов.

Эта статья оказалась не статьей, а простенькой презентацией от 20 апреля 2024 года (сама презентация доступна здесь). Из этой презентации можно вытащить не так много нового

1) Тезис про то, как SRE связан с работой AI систем

SRE is crucial component to operate at scale AI systems that are trustworthy, safe and efficient

2) Как SRE помогает AI
- Дизайн распределенных систем - системы, у которых основа завязана на AI, тоже должны хорошо масштабироваться и быть надежными
- Ускорить деплой - новые железные компоненты (GPU, TPU, ...) должны поступать в датацентры и эффективно шедулиться
- Trust & safety - результаты работы систем, основывающихся на AI моделях, должны быть выровнены относительно человеческих стандартов
- Эксплуатация и автоматизация - тренировка моделей и пайлайны для fine-tuning, релизов, откатов и так далее (вообще это можно называть MLOps)

3) Как AI помогает SRE
- Генеративный AI для документации и постмортемов - сохранение документации чистой и актуальной, создание изначальных постмортемов (видимо, рыба с автозаполнением части инфы)
- Автоматизация workflow - агентские процессы служат как workflow runners и выполняют часть функций на проде
- Оценка риска - еще до возникновения инцидента модели могут детектировать проблемы и исправлять часть из них
- Эффективность ресурсов - начиная с температур в датацентрам и до размещения сервисов по доступным машинкам ML модели помогают проду быть более здоровым и эффективным

В итоге, это доклад на хайповую тему, но вот содержание не уходит дальше рассказов о том, что SRE в Google теперь на AI-стероидах и применяется к AI системам:))

#SRE #Management #ML #AI #Processes #SystemDesign #DistributedSystems

🛠 Внезапное открытие сегодняшнего утра - оказывается, с помощью systemd и опций IPAddressDeny/IPAddressAllow в unit файле, можно контролировать сетевой доступ для приложения. Подробнее об этом...

- IP Accounting and Access Lists with systemd;
- Unintentionally troubleshooting a new way to filter traffic;
- systemd application firewalls by example.

#systemd #network #напочитать

Вышел ceph 19.2.0 (squid)

Вышел первый стабильный релиз 19 ветки с кодовым названием squid.

Пользователям iSCSI рекомендуется ознакомиться с трекером перед обновлением т.к. разработчики сталкивались с проблемами при обновлении с 19.1.1 до 19.2.0.

Краткое содержание основных изменений, которые принесла 19 ветка:

-RADOS: BlueStore был оптимизирован для лучше производительности при snapshot-intensive сценариях.
- RADOS: Сжатие LZ4 в BlueStore RocksDB теперь включено по умолчанию для повышения средней производительности и использования пространства на быстрых дисках.
- RADOS: Другие улучшения включают в себя более гибкие конфиги EC, OpTracker для помощи отладки проблем в модулях mgr, и улучшеный планировщик скраба.
- Dashboard: Улучшение в навигационном слое
- CephFS: Поддержка управления снапшотами и клонами CephFS, а также управление расписанием снапшотов.
- CephFS: управление возможностями авторизации для ресурсов CephFS
- CephFS: помощники монтирования cephfs volumes
- RBD: Функция diff-iterate теперь может выполняться локально, что значительно повышает производительность при использовании QEMU для оперативной синхронизации дисков и резервного копирования.
- RBD: Добавлена поддержка клонирования из снапшотов non-user типа.
- RBD: windows драйвер rbd-wnbd получил возможность мультиплексировать мапинг образов.
- RGW: Функция "Учетные записи пользователей" открывает несколько новых AWS совместимых IAM API для самостоятельного управления пользователями, ключами, группами, ролями, политиками и многим другим.
- RADOS: Это первый релиз в котором crimson, в качестве tech preview, доступен для широкого круга пользователей. Пока поддерживается только RBD на реплицируемых пулах. Для получения дополнительной информации про Crimson смотрите https://ceph.io/en/news/crimson

И многое другое.

Как всегда release notes первого стабильного релиза достаточно объемные и там много чего интересного.

Подробнее тут:

https://ceph.com/en/news/blog/2024/v19-2-0-squid-released/

P.S. Как обычно не рекомендую катить в прод с ценными данными первый релиз, даже не смотря на то, что его называли стабильным ;)

#ceph #squid #release #cephexpert

​ClickHouse как бэкенд для Prometheus

Вы узнаете про мощные возможности ClickHouse для эффективного долгосрочного хранения метрик Prometheus. В статье также есть рекомендации по использованию инструмента и описание альтернативных решений, таких как Thanos, Grafana Mimir и Victoria Metrics. Читать статью.

How To Use Proxy Server To Access Internet at Shell Prompt With http_proxy Variable

Как указывать прокси сервер в командной строке. В коментах к статье есть дополнительные примеры.

https://www.cyberciti.biz/faq/linux-unix-set-proxy-environment-variable/

#linux #shell #proxy #env

​pgbackweb

Утилита для управления бэкапами PostgreSQL с графическим интерфейсом.

Репыч на Гитхабе

Для надежной записи просто fsync – недостаточно. О подводных камнях записи и гарантий сохранения - в слайдах свежей лекции Дмитрия Родионова (Пикодата). Видео: https://www.youtube.com/watch?v=1V_UfMZdO6Q

💣 Почему бы в пятницу не грохнуть часть инфраструктуры своего прода и посмотреть как пойдут дела?

- Deploy on Friday? How About Destroy on Friday! A Chaos Engineering Experiment - Part 1;
- Destroy on Friday: The Big Day. A Chaos Engineering Experiment - Part 2.

#sre #напочитать

https://habr.com/ru/articles/852536/

#linux #performance #talos

Называется где взять время на все
SRE Day новый 2024 Q4 вышел - https://www.youtube.com/@sreday/videos
Observability Day и AI Day Вышли - https://www.youtube.com/@cncf/videos
SRE Unix Linux etc видео вышли - https://www.youtube.com/@UsenixOrg/videos

Я конечно рад, но не от всего сердца =)

Red Hat объявила о передаче набора инструментов для работы с контейнерами, включая Podman, Buildah и Skopeo, под управление Cloud Native Computing Foundation: https://goo.su/nK98BDU

Это обеспечит повышение прозрачности разработки, поддержку открытых стандартов и активное участие сообщества в развитии инструментов.

https://habr.com/ru/companies/yandex/articles/858662/

#network #loadbalancer