🔥 Elasticsearch или PostgreSQL: зачем платить за сложность?

В DevOps-сообществе тренд «просто используй Postgres» с каждым годом становится всё более актуальным. Команда TigerData выкатили отличную статью, в которой разобрали 10 главных болей при эксплуатации Elasticsearch в продакшене и объяснили, как архитектура PostgreSQL помогает их избежать.

Спойлер: с великой силой (ES) приходит великая операционная боль.

Вот лишь несколько классических проблем, о которых идет речь в материале:

☕ JVM Garbage Collection (GC). Elasticsearch работает на Java, а значит, внезапные паузы "stop-the-world" при сборке мусора - часть вашей жизни. Если нода «подвисает» надолго, кластер считает ее мертвой и начинает панически перераспределять данные. Итог: каскадный отказ на пустом месте. Postgres написан на C, управляет памятью напрямую и не страдает от подобных фризов.

🧩 Математика шардирования. Неправильный сайзинг шардов в ES - это бомба замедленного действия. Слишком маленькие шарды создают оверхед, слишком большие приводят к проблемам с ребалансировкой и восстановлением.

🔄 ETL-пайплайны и синхронизация. Держать основные данные в реляционной БД и постоянно переливать их в ES для поиска - это всегда костыли, риск рассинхрона, задержки (lag) и лишняя точка отказа.

📈 Оверхед на мониторинг. ES требует отдельного зоопарка инструментов и глубокой узконаправленной экспертизы для поддержания кластера в зеленом статусе.

Какой выход предлагают авторы?
Для большинства проектов полномасштабный ES просто не нужен. Современный PostgreSQL (благодаря мощным расширениям вроде pg_textsearch с поддержкой BM25 и pgvector для векторного поиска) отлично справляется с задачами поиска. Вы получаете полноценные ACID-транзакции, единую точку правды и предсказуемое потребление ресурсов без возни с настройкой JVM.

Рекомендуется к прочтению всем, кто устал дебажить кластеры ES по ночам и задумывается о консолидации инфраструктуры.

https://www.tigerdata.com/blog/10-elasticsearch-production-issues-how-postgres-avoids-them

#devops #elasticsearch #postgresql #database #architecture #backend


📲 Мы в MAX

Подпишись 👉@i_DevOps

Kubefirst

Платформа с открытым исходным кодом Kubefirst

Это полностью автоматизированная и операционная платформа с открытым исходным кодом, которая включает в себя некоторые из самых популярных инструментов с открытым исходным кодом, доступных в пространстве Kubernetes, и все они работают вместе из одной команды.

Мы поддерживаем локальные облака, облака AWS и Civo. Запустив наши команды cli в пустой среде, вы получите экосистему облачного управления и доставки приложений GitOps с автоматизированными рабочими процессами Terraform, управлением секретами Vault, интеграцией GitLab или GitHub с Argo, а также демонстрационными приложениями, демонстрирующими, как все это работает вместе.

Документация https://docs.kubefirst.io/

https://github.com/kubefirst/kubefirst


📲 Мы в MAX

Подпишись 👉@i_DevOps

🚀 Подборка полезных IT каналов в Max


Системное администрирование, DevOps 📌

https://max.ru/i_odmin Все для системного администратора
https://max.ru/bash_srv Bash Советы
https://max.ru/sysadminof Книги для админов, полезные материалы
https://max.ru/i_odmin_book Библиотека Системного Администратора
https://max.ru/i_devops DevOps: Пишем о Docker, Kubernetes и др.
https://max.ru/tipsysdmin Типичный Сисадмин

1C разработка 📌
https://max.ru/odin1c_rus Cтатьи, курсы, советы, шаблоны кода 1С

Программирование C++📌
https://max.ru/cpp_lib Библиотека C/C++ разработчика

Программирование Go📌
https://max.ru/golang_lib Библиотека Go (Golang) разработчика

Программирование React📌
https://max.ru/react_lib React

Программирование Python 📌
https://max.ru/python_of Python академия.
https://max.ru/BookPython Библиотека Python разработчика

Java разработка 📌
https://max.ru/bookjava Библиотека Java разработчика

GitHub Сообщество 📌
https://max.ru/githublib Интересное из GitHub

Базы данных (Data Base) 📌
https://max.ru/database_info Все про базы данных

Фронтенд разработка 📌
https://max.ru/frontend_1 Подборки для frontend разработчиков

Библиотеки 📌
https://max.ru/programmist_of Книги по программированию
https://max.ru/proglb Библиотека программиста
https://max.ru/bfbook Книги для программистов

Программирование 📌
https://max.ru/bookflow Лекции, видеоуроки, доклады с IT конференций
https://max.ru/itmozg Программисты, дизайнеры, новости из мира IT
https://max.ru/php_lib Библиотека PHP программиста 👨🏼‍💻👩‍💻

Шутки программистов 📌
https://max.ru/itumor Шутки программистов

Защита, взлом, безопасность 📌
https://max.ru/thehaking Канал о кибербезопасности
https://max.ru/xakkep_1 Хакер Free

Книги, статьи для дизайнеров 📌
https://max.ru/odesigners Статьи, книги для дизайнеров

Математика 📌
https://max.ru/Pomatematike Канал по математике
https://max.ru/phismat_1 Обучающие видео, книги по Физике и Математике

Вакансии 📌
https://max.ru/progjob Вакансии в IT

Мир технологий 📌
https://max.ru/mir_teh Канал для любознательных


Бонус 📌
https://max.ru/piterspb_78 Свежие новости Санкт-Петербурга
https://max.ru/mockva_life Свежие новости Москвы

Процессы в Linux — Всё, что нужно знать

Что такое процесс?
Процесс — это экземпляр выполняемой программы. Он содержит код программы и её активность. В зависимости от операционной системы (ОС), процесс может состоять из нескольких потоков выполнения, которые выполняют инструкции параллельно.

https://reliabilityengineering.substack.com/p/everything-you-need-to-know-about

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps

💡Полезный совет

Автоматическая принудительная перезагрузка после успешного обновления или установки пакета.

apt update && apt install -y needrestart <PKGNAME>

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps

🌟 GitHub Actions для Terraform 🌟

Если вы используете Terraform и хотите интегрировать его с CI/CD процессами на GitHub Actions, используйте библиотеку terraform-github-actions.

С её помощью вы сможете:
- Автоматизировать и тестировать Terraform-код.
- Настраивать проверки terraform plan и terraform apply.
- Ускорить деплой инфраструктуры.

Документация в репозитории описывает примеры использования и тонкости настройки.

https://github.com/dflook/terraform-github-actions

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps

Когда PSS недостаточно: как выстроить безопасность в Kubernetes

В Kubernetes безопасность часто выглядит так: есть Pod Security Standards и есть внутренние договорённости команд. Но каждая команда по-своему понимает «безопасно», а отвечать за результат приходится вам.

Чтобы навести порядок, нужен системный подход с едиными правилами и встроенным контролем.

На бесплатном вебинаре 28 апреля разберём, как выстроить управляемую модель безопасности в Kubernetes и какие возможности Deckhouse Kubernetes Platform позволяют реализовать её на практике.

В программе:
• где заканчиваются возможности PSS;
• как задать единые правила для команд;
• какие механизмы безопасности есть в DKP;
• как получить практические навыки и пройти сертификацию.

28 апреля в 12:00, онлайн

👉 Зарегистрироваться

Лучшие практики Kubernetes, о которых я хотел бы знать раньше

Kubernetes, без сомнения, преобразил то, как мы создаём, доставляем и запускаем приложения. Но давайте будем честны: начать работу с Kubernetes может ощущаться как попытка взобраться на Эверест в шлёпанцах.

Как человек, увлечённый облачными технологиями и Kubernetes, я понял на собственном опыте: существует целый набор лучших практик из серии «лучше бы я знал это раньше». Они могли бы сэкономить мне время, деньги и нервы.

https://www.pulumi.com/blog/kubernetes-best-practices-i-wish-i-had-known-before/

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps

DNS-хаос, зомби-поды и майнеры в кластере: самые невероятные случаи при работе с Kubernetes

Kubernetes — мощный и одновременно сложный инструмент, работа с которым неизбежно порождает… инциденты. И на практике DNS виновата далеко не всегда. Иногда всё ломает слишком длинное имя деплоймента, протухший CA-сертификат или сбой сетевой карты, из-за которого TCP-пакеты просто отбрасываются. В статье вас ждут самые интересные и поучительные инженерные истории с Reddit.

https://habr.com/ru/companies/flant/articles/931902/

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps

Glasskube

Это пакетный менеджер с открытым исходным кодом для Kubernetes. Он делает развертывание, обновление и настройку пакетов в Kubernetes в 20 раз быстрее по сравнению с такими инструментами, как Helm или Kustomize. Вдохновлён простотой Homebrew и npm. Вы можете выбрать: использовать Glasskube через интерфейс (UI), командную строку (CLI) или развёртывать пакеты напрямую через GitOps.

https://github.com/glasskube/glasskube

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps

k8s-cleaner — это утилита для автоматической очистки ресурсов Kubernetes, которые больше не используются.
Она помогает поддерживать кластеры в чистоте, удаляя устаревшие объекты (Pods, Deployments, ConfigMaps и др.), которые больше не нужны, снижая нагрузку и освобождая ресурсы.

Основные возможности:

- Анализирует ресурсы в кластере и находит неиспользуемые.
- Поддерживает разные типы объектов Kubernetes.
- Может запускаться по расписанию.
- Упрощает администрирование и уменьшает «мусор» в кластере.

https://github.com/gianlucam76/k8s-cleaner

#devops #девопс

📲 Мы в MAX

Подпишись 👉@i_DevOps

👉 Сократите расходы на инференс без потери производительности

В Selectel добавили поддержку видеокарт в управляемых кластерах Kubernetes на выделенных серверах.

Модели ИИ работают на отдельном железе, с изоляцией данных и стабильной производительностью даже под пиковыми нагрузками. По стоимости — до 40% дешевле, чем использовать ускорители в облачных серверах.

Можно протестировать бесплатно — на запуск дают до 30 000 бонусных рублей: https://slc.tl/mmlks

Реклама. АО "Селектел". erid:2W5zFGRFWNV