The Complete DevOps Roadmap [2024]

Go from zero to a DevOps Engineer in 10-14 months. This step-by-step roadmap covers the essential skills you need to become a DevOps Engineer in 2024.

📺 YouTube

Clean Code #видео #Devops

🎙 В эфире DevOps FM — свежий пятничный подкаст.

Когда-то мы уже рассказывали о Kube FM — подкасте, направленном на расширение знаний о Kubernetes, новейших инструментах, тенденциях и обмене экспертным мнением.

В новом выпуске "Which Kubernetes PostgreSQL operator should you choose?" Дэвид Вагнер рассказывает, как выбрать наиболее подходящий оператор PostgreSQL для Kubernetes. Обсуждаются популярные операторы, их особенности и рекомендации по использованию в кластерах. Подходит как для новичков, так и для опытных пользователей Kubernetes.

🖖 Желаем приятного прослушивания и хороших выходных! А тем, кто работает — спокойных дежурных смен!

#подкаст #пятница #DevOps

🖥 Репозиторий: Руководство по DevOps

Руководство по DevOps включает все конфигурации от этапа разработки до рабочей среды с важными заметками для эффективной отладки.

— Этот репозиторий содержит:
1. Определение DevOps;
2. Дорожную карту DevOps;
3. Практические лабораторные работы по IBM Kubernetes;
4. Как стать DevOps-инженером за шесть месяцев и многое другое.

⏺ Ссылка на GitHub (https://github.com/Tikam02/DevOps-Guide)

#DevOps #GitHub
@hackernews_lib

С весной приходит тепло, а со средой — новостной дайджест на DevOps FM.

🟡 OpenSSF выпустили сборник по безопасности и open source проектов.

Open Source Security Foundation опубликовали Security Baseline for Open Source Projects — документ с набором рекомендаций, направленных на повышение уровня безопасности проектов с открытым исходным кодом.

Что туда входит:
• Процессы для выявления, отслеживания и устранения уязвимостей в проектах;
• Практики по безопасному управлению зависимостями (OSA/SCA);
• Требования к созданию документации, а также рекомендации по управлению правами доступа к репозиториям и CI/CD.

Критерии безопасности и элементы управления, которым должны соответствовать проекты, организованы по уровню зрелости и категориям. Прочитать можно тут и на GitHub.

⚫️ HashiCorp — всё. IBM завершили сделку по приобретению компании.

Новости о покупке появились еще в апреле прошлого года. Не смотря на это, HashiCorp продолжит работать под своим названием и после поглощения, являясь подразделением IBM.

С этим приобретением IBM стремится продолжать инвестировать в возможности HashiCorp и расширять их, и вместе с ведущими технологиями HashiCorp и обширным сообществом разработчиков, наша цель — внедрить технологии HashiCorp в каждый дата центр.

О возможности возвращения продуктов HashiCorp (Terraform, Vagrant, Packer, Hermes, Nomad) на открытую лицензию все еще ничего не известно.

🟡 Cloudflare блокирует пользователей непопулярных браузеров, считая их подозрительными.

Пользователи браузеров Pale Moon, SeaMonkey, Falkon и других сталкиваются с блокировкой доступа к сайтам из-за системы защиты Cloudflare. Алгоритмы компании ошибочно принимают эти браузеры за ботов, что приводит к бесконечным циклам загрузки или полному отказу в доступе.

Жалобы на блокировки поступают с 2015 года, и несмотря на периодические исправления, проблема продолжает возникать снова и снова. Популярные браузеры также не гарантируют доступ — с ограничениями сталкиваются пользователи старых версий, например, Firefox 115 ESR.

Cloudflare ориентированы на корпоративных клиентов, и у обычных пользователей нет прямого способа сообщить о проблеме, кроме форума сообщества. Что иронично, доступ к нему также может быть ограничен для вышеперечисленных браузеров.

#devops #opensource #security

Всем DevOps! Мы уже рассказывали вам про зомби-ресурсы в облачных инфраструктурах. Вот только облака — не единственное место их обитания.

🧟 Зомби-memcg — остаточные memory cgroups в Linux, которые продолжают существовать, даже если все связанные с ними процессы завершены. Они могут нести за собой высокие нагрузки, нехватку производительности системы и памяти.

Почему это происходит?

• Баги в старых версиях ядра Linux, где очистка невозможна из-за ссылок на memcg;
• Некоторые структуры данных продолжают "удерживать" memcg, даже если сам он уже не используется (например pagecache, kernel stack, shared memory и др.).

О том, как найти и победить зомби-memcg рассказали в статье Oracle. Читаем и проверяем, не спряталась ли у вас парочка зомби!

#DevOps #Linux

На канале DevOps FM — подборка свежих статей и релизов.

🟡 Опубликована Debian 12.10

Новый релиз включает в себя улучшенный установочный носитель, 66 багфиксов и 44 обновления с устранением уязвимостей. Версия 12.10 является последней в ветке, следующий мажорный выпуск Debian 13 должен выйти во второй половине 2025 года.

Полный список фиксов — тут.

⚫️ В блоге CNCF рассказали о создании масштабируемых, гибких и безопасных API с использованием Kubernetes и микросервисов. В статье обсуждаются инструменты и практики для обеспечения высокой доступности и эффективности API, а также рекомендации по обеспечению безопасности с помощью Kubernetes.

🟡 Релизнули Git v2.49. В обновление вошли 460 функций и исправления ошибок от 89 разработчиков. Из интересного:

• Добавили новый инструмент git backfill;
• git clone научился делать shallow clone для одного коммита;
• Ускорили упаковку благодаря name‑hash v2;
• Были добавлены первые фрагменты кода Rust.

⚫️ OpenSearch поделились новой функцией векторного поиска с GPU ускорением, которая будет добавлена в предстоящем релизе OpenSearch 3.0. Функция необходима для ускорения обработки больших объёмов векторных данных. Для этого обновили архитектуру, алгоритмы взаимодействия и сделали сравнительный анализ.

Подробное описание и результаты анализа смотрим в блоге.

#Devops #Git #OpenSearch

🔒 Отключаем анонимный доступ к kube-apiserver, но оставляем health checks!

Привет! Недавно ко мне пришел коллега-безопасник (Дима привет!) с интересным вопросом: как полностью отключить анонимный доступ к API-серверу Kubernetes, но оставить рабочими проверки /livez, /readyz и /healthz? 🤔 Сходу не ответил, полез копаться в исходниках и KEPах.

Проблема в том, что по умолчанию (`--anonymous-auth=true`) любой может дернуть эндпоинты health-чеков и не только health-чеков:

curl -k https://<API_SERVER_IP>:6443/livez
# Output: ok

Это удобно, но создает потенциальный вектор атаки, если RBAC настроен не идеально или найдется уязвимость. Безопасники такое не любят. 😟

К счастью, в KEP-4633 сообщество Kubernetes предложило решение! Теперь можно тонко настроить, к каким путям разрешен анонимный доступ, даже если глобально он выключен.

Сделать это можно так:

Сначала выключаем глобальный анонимный доступ в манифесте kube-apiserver:

    spec:
      containers:
      - command:
        - kube-apiserver
        # ... другие флаги ...
        - --anonymous-auth=false # <--- Выключаем!
        - --authentication-config=/etc/kubernetes/auth-config.yaml # <--- Указываем конфиг
    

Затем создаем файл конфигурации /etc/kubernetes/auth-config.yaml на control plane нодах и монтируем его в под kube-apiserver:

    # /etc/kubernetes/auth-config.yaml
    apiVersion: apiserver.config.k8s.io/v1beta1
    kind: AuthenticationConfiguration
    anonymous:
      enabled: true # Включаем анонимный доступ *только* для указанных путей
      conditions:
      - path: /livez
      - path: /readyz
      - path: /healthz
    

*(Не забудьте добавить volume и volumeMount в манифест kube-apiserver для этого файла)*

В итоге получаем:
- Запросы к /livez, /readyz, /healthz проходят как system:anonymous.
- Запросы к другим путям (например, /apis) без аутентификации получают 401 Unauthorized.

Кстати, эта функциональность появилась как Alpha в Kubernetes 1.31 и стала Beta в 1.32.

Теперь можно спать спокойнее, зная, что анонимный доступ под контролем!

#kubernetes #k8s #security #authentication #kubeadm #devops #infosec

Полезная таблица инструментов DevSecOps

Если ты учишься с нуля, устраняешь пробелы или заменяешь существующие инструменты, начни с Периодической таблицы, чтобы подобрать оптимальные решения для своей DevOps-пайплайна.

#devops #девопс

@devopsitsec

Привет! В эту пятницу предлагаем разобраться, как Kubernetes управляет сетями — от ядра Linux до сервис-мешей.

Лука Каваллин написал подробную статью о том, что происходит с пакетами и подами в Kubernetes-кластере. В статье — фундаментальные принципы работы сетей в Linux, контейнерах и Kubernetes, а также современные абстракции: Service, Ingress и Gateway API. Автор не обошёл стороной и работу в мультикластерах, и типичные проблемы с сетевой доступностью между подами.

С деталями можно ознакомиться по ссылке.

Желаем приятного чтения! Тем, кто отдыхает — хороших выходных, а тем, кто работает — спокойных дежурных смен!

#devops #kubernetes #networking #pods

💡 Ещё один продвинутый совет для Linux-админов:
Проверь, какие процессы активно используют swap — даже если в системе вроде бы хватает RAM.

Это поможет найти медленные службы, которые вы не ожидали увидеть в свопе, и улучшить производительность.

for pid in $(ls /proc | grep -E '^[0-9]+$'); do  
  cmd=$(cat /proc/$pid/comm 2>/dev/null)  
  swap=$(grep VmSwap /proc/$pid/status 2>/dev/null | awk '{print $2}')  
  if [ "$swap" != "" ] && [ "$swap" -gt 0 ]; then  
    echo "$swap KB swap used by $cmd (PID $pid)"  
  fi  
done | sort -nr | head  

🐌 Процессы, активно использующие swap (swap hog detector)

📌 Даже если swap включен "про запас", вы удивитесь, сколько "вроде бы активных" сервисов частично выгружены на диск — отсюда тормоза, задержки в API, медленные реакции.

Решения:
– пересмотреть vm.swappiness
– перезапустить эти процессы
– увеличить RAM или выделить hugepages

#linux #performance #swap #memory #sysadmin #devops

Alerting best practices

https://victoriametrics.com/blog/alerting-best-practices

#sre #devops #observability #monitoring