В этом туториале показано, как развернуть мультитенантную платформу Apache Spark в Kubernetes с использованием Spark Operator, Volcano, Helm, Airflow, общих образов, ограничений на рабочие нагрузки и мониторинга.

➜ https://medium.com/towards-data-engineering/building-a-production-grade-apache-spark-platform-on-kubernetes-2984e083dd71

👉 DevOps Portal

ИИ-агенты для DevOps-инженеров: объяснение принципов работы

ИИ-агенты становятся важной частью DevOps и платформенной инженерии.

Но прежде чем создавать собственного агента, необходимо разобраться, что именно делает приложение агентом.
В отличие от традиционного приложения, которое следует фиксированному набору инструкций, ИИ-агент может самостоятельно решать, что делать дальше, на основе полученной информации.

В одном из недавних выпусков рассылки разобрали ключевые концепции ИИ-агентов, включая фреймворки для разработки агентов, инструменты, циклы работы агента, машины состояний, этапы согласования и память.

Начать изучение: https://newsletter.devopscube.com/p/ai-agents-part01

👉 DevOps Portal

DevOps-инструмент недели: Kubetail

Отладка по логам нескольких подов Kubernetes может быть неудобной. Приходится запускать kubectl logs, переключаться между подами и разбираться, что пошло не так.

Ситуация усложняется, когда у приложения несколько реплик.

Здесь на помощь приходит Kubetail — опенсорсный дашборд для просмотра логов Kubernetes в реальном времени, который позволяет собирать логи нескольких подов в одном интерфейсе.

Основные возможности:
• Просмотр логов нескольких подов и контейнеров в одном месте.
• Автоматическое обновление временной шкалы при запуске, остановке или замене подов.
• Фильтрация логов по временному диапазону, зоне доступности, архитектуре CPU или ноде.
• Переключение между несколькими кластерами через десктопное приложение.

Начать работу: GitHub

Kubetail читает логи напрямую через Kubernetes API, поэтому данные остаются внутри кластера без необходимости подключать внешний сервис логирования.

Вместо постоянного переключения между терминалами можно отслеживать происходящее в подах приложения через единый интерфейс.

👉 DevOps Portal

Подготовлены две новые практические задачи для освоения сетевого взаимодействия контейнеров:

Лёгкая: перенаправить запросы контейнера без изменения кода приложения — https://labs.iximiuz.com/challenges/docker-networking-redirect-app-to-request-sink

Сложная: перехватить и проанализировать зашифрованный трафик подозрительного контейнера — https://labs.iximiuz.com/challenges/docker-networking-intercept-encrypted-traffic

Удачного хакинга!

👉 DevOps Portal

В этом кейсе рассказывается, как платёжная компания перестроила процесс деплоя на Kubernetes, внедрив GitOps с Argo CD. Теперь каждое изменение в продакшене оформляется в виде Git-коммита, который проходит код-ревью, а подготовка к аудитам PCI перестаёт быть гаданием.

➤ https://dodopayments.com/engineering/deployment-pipeline-gitops-argocd-kubernetes

👉 DevOps Portal

31 октября AvitoTech собирает инфраструктурных инженеров на Avito Infraween Party 🤩

Вместо классических докладов — два круга открытых дискуссий: можно будет обсудить инфраструктурные задачи, поделиться своими кейсами и поспорить о решениях с экспертами AvitoTech и другими участниками.

А на афтерпати устроят настоящий чемпионат по метанию старой списанной техники 🔥

Победителей наградят реальными чемпионскими поясами!

Хороший повод пообщаться с инфракомьюнити — зарегаться можно тут!

P. S. Кстати, костюмы максимально приветствуются! Так что если хотите прийти в образе, welcome.

Fluentd vs Fluent Bit: что выбрать для Kubernetes?

Краткое сравнение 👇

Fluentd:
- Полноценный инструмент для обработки логов.
- Написан на Ruby (с расширениями на C).
- Справляется с высокими нагрузками и сложной маршрутизацией логов.
- Лучше всего подходит для централизованного сбора и обработки логов.
- Потребляет больше ресурсов (CPU и памяти).

Используйте Fluentd, если вам нужны продвинутые возможности фильтрации, парсинга и маршрутизации логов в больших масштабах.

Fluent Bit:
- Легковесный инструмент для пересылки логов.
- Написан на C (высокая производительность и минимальное потребление ресурсов).
- Отлично подходит для периферийных узлов, DaemonSet в Kubernetes и встраиваемых систем.
- Обычно используется для сбора и отправки логов во Fluentd, Elasticsearch или другие бэкенды.
- Оптимизирован для высокой производительности и низкого потребления ресурсов.

Используйте Fluent Bit, если вам нужен максимально легковесный сборщик логов, который не создаёт дополнительной нагрузки на узлы.

Примечание: оба инструмента имеют статус Graduated-проектов CNCF и широко используются в продакшене.

Хотите разобраться, как устроено логирование в Kubernetes?

Читайте здесь: https://devopscube.com/kubernetes-logging-tutorial/

👉 DevOps Portal

В этом туториале показано, как мигрировать кластер EKS с выведенного из эксплуатации контроллера ingress-nginx на Gateway API. Разбираются CRD контроллера AWS Load Balancer Controller и переключение трафика без простоя (zero-downtime).

➜ https://medium.com/@douglas0n/migrating-from-ingress-nginx-to-gateway-api-on-eks-0a514952e91b

👉 DevOps Portal