MemOps 😃

Как мы построили наш конвейер развёртывания: GitOps, ArgoCD и Kubernetes в Dodo Payments

Мы — Dodo Payments, компания по инфраструктуре платежей и биллинга. Мы обрабатываем реальные деньги для бизнеса в нескольких странах. Это означает, что соответствие стандарту PCI DSS не является опциональным — оно жизненно необходимо. А PCI требует чего-то, чего у нас не было: полной, аудируемой истории всех изменений в нашей производственной среде.

📌 Подробнее: https://dodopayments.com/engineering/deployment-pipeline-gitops-argocd-kubernetes

MemOps🤨

MemOps 😃

Grafana 13.3. Главные изменения:

— Переменные между дашбордами. Переменную окружения, региона или кластера теперь можно определить один раз и использовать на нескольких дашбордах. Поддерживаются глобальная область и область папки — больше не придется вручную синхронизировать одинаковые настройки.

— Grafana Notebooks. Запросы, панели, выводы Grafana Assistant и собственные комментарии можно собрать в одном редактируемом документе.

— Обновленный интерфейс. Grafana получила новые темную и светлую темы, переработанную типографику, более мягкие границы, новые цвета и унифицированные компоненты. При этом навигация и привычные рабочие процессы не поменялись, а плагины на стандартных компонентах автоматически подхватят новый стиль.

— Предварительный план дашборда от Grafana Assistant. Перед созданием дашборда помощник может показать его структуру: панели, строки, вкладки, типы визуализаций и переменные. План можно уточнить, посмотреть в режиме предварительного просмотра и только потом применить.

— Отмена изменений Assistant. Если результат редактирования дашборда не понравился, теперь можно отменить весь последний набор изменений одним действием.

— Общие переменные, Notebooks и новый дизайн пока доступны в режиме Public Preview. В self-managed Grafana их необходимо активировать через feature toggles. В релиз также вошли дополнительные изменения визуализаций, Alerting и Git Sync.

📌 Подробнее: https://grafana.com/blog/grafana-13-3-release-all-the-latest-features/

MemOps🤨

MemOps 😃

Мы доказали, что многокластерный Kafka работает на Kubernetes… Вот всё, что мы узнали

Мы создали рабочий прототип Apache Kafka, распределённого по трём независимым кластерам Kubernetes с использованием Strimzi, Submariner и Cilium, обеспечив переключение без простоя в случае полного отказа одного из кластеров.

📌 Подробнее: https://aswin6303.medium.com/we-proved-multi-cluster-kafka-works-on-kubernetes-heres-everything-we-learned-853dd5f1c03c

MemOps🤨

MemOps 😃

Ваша резервная копия Kubernetes успешно восстановлена. Так почему же приложение сломано?

Я потратил некоторое время на создание тестовой среды для резервного копирования и восстановления с использованием Velero, запустив MariaDB, PostgreSQL и MongoDB под нагрузкой, и узнал, что при резервном копировании баз данных в Kubernetes существует две сложные проблемы, а не одна. Первая — получить резервную копию, которая не является скрыто повреждённой. Вторая — восстановить эту резервную копию в другом месте и заставить её действительно работать.

📌 Подробнее: https://medium.com/@ishay7/your-kubernetes-backup-restored-successfully-so-why-is-the-app-broken-0685d0a43814

MemOps🤨

MemOps 😃

VictoriaMetrics или Prometheus: что выбрать для хранения метрик?

В статье разбирают отличия этих двух решений:

— архитектура хранения и обработки метрик

— single-node и кластерный варианты VictoriaMetrics

— различия между PromQL и MetricsQL

— репликация, дедупликация и сроки хранения

— миграция через Remote Write без немедленного отключения Prometheus

— совместимость с ServiceMonitor, PodMonitor и PrometheusRule в Kubernetes

— ограничения бесплатной и Enterprise-редакций VictoriaMetrics

Автор также рассматривает альтернативы: Thanos, Grafana Mimir, Cortex, M3 и GreptimeDB. Отдельно объясняется важное различие между системами хранения и коллекторами вроде vmagent, Prometheus Agent, Grafana Alloy и OpenTelemetry Collector.

Как ни казался бы очевидным победитель, универсального решения под все задачи нет. Для одного кластера и нескольких недель хранения часто достаточно обычного Prometheus. VictoriaMetrics становится интереснее при росте объёма метрик, увеличении retention и необходимости эффективнее использовать локальные диски. Если же данные принципиально должны храниться в объектном хранилище, стоит смотреть в сторону Thanos или Mimir.

📌 Подробнее: https://stdout.adegoodyer.com/posts/victoriametrics-vs-prometheus/

MemOps🤨

MemOps 😃

KiviDB — быстрая многопоточная альтернатива Redis® и Valkey, написанная на Rust. поддерживает протокол Redis (RESP2 и RESP3), поэтому существующие клиенты Redis, redis-cli и библиотеки работают без изменений, и в него встроен полнотекстовый и векторный поиск. Он работает на всех устройствах. ядро на основе сегментированной архитектуры ключ-значение в оперативной памяти, и данные сохраняются в моментальные снимки и опционально. файл, содержащий только дополнения.

На тех же 32 ядрах KiviDB обрабатывает 21 миллион конвейерных запросов GET в секунду: примерно в 9 раз больше, чем Redis 8. и в 2,3 раза лучше, чем Dragonfly , с задержкой p99 менее чем вдвое меньшей, чем у Dragonfly

Возможности:
- протокол : Интерфейс командной строки, совместимый с Redis ( COMMANDS.md ). список поддерживаемых команд см. в файле
- поиск и векторы : в стиле Redis Stack FT.*команды для полнотекстового, тегового, числового и векторного (FLAT / HNSW) поиска
- скриптинг на Lua : дополнительная функция Cargo. EVAL, SCRIPT, FUNCTION, FCALLа также связанные с ними команды доступны в сборках с --features lua(см. Команды скриптов (Lua) )
- TLS

📌 Подробнее: https://github.com/kividbio/kividb

MemOps🤨

MemOps 😃

Меньше суток на восстановление сервисов после сбоя в облаке

Заранее подготовленные и проверенные бэкапы упрощают восстановление сервисов. Но чтобы вернуть приложения в работу, нужно ещё развернуть инфраструктуру на новой площадке, настроить окружение, перенести данные и запустить компоненты в правильном порядке.

С такой задачей столкнулись инженеры KTS, когда облачная инфраструктура заказчика стала недоступна. В ход пошли Terraform, Ansible и заранее подготовленные бэкапы, восстановление из которых команда проверяла ещё до аварии. Однако не всё зависело от команды: приходилось ждать выделения ресурсов и передачи данных.

Ключевые сервисы удалось вернуть в работу менее чем за сутки без потери данных. Как проходило восстановление и  какие инженерные практики помогли вернуть бизнес в рабочее состояние.

📌 Подробнее: https://habr.com/ru/companies/kts/articles/1101622/

MemOps🤨

MemOps 😃

В вашем кластере Kubernetes уже есть центр сертификации — используйте его для всего

Вот в чём дело: cert-manager может выпускать и этот сертификат. Он может выпускать сертификаты для любого ресурса, для которого у вас есть доменное имя DNS, независимо от того, работает ли он в Kubernetes или нет. Большинство команд об этом не знают.

📌 Подробнее: https://medium.com/@michaelpechner/your-kubernetes-cluster-already-has-a-certificate-authority-use-it-for-everything-f6fbe3f20ada

MemOps🤨

MemOps 😃