​В статье описано как запустить OpenSearch в Kubernetes при помощи OpenSearch Kubernetes Operator. Разворачивание OpenSearch в k8s позволит легко раскатывать rolling updates, зачищать ноды кластера перед их отключением да и вообще легко управлять кластером.

Статья

Репозиторий OpenSearch Kubernetes Operator на GitHub

Документация по OpenSearch Kubernetes Operator

​Вышел OpenSearch 2.10

Мы непрерывно следим за обновлениями OpenSearch и вот уже вышла новая версия. Отличный темп и интересный функционал. По нашему мнению, отделение OpenSearch в полностью отдельную ветку пошло ему на пользу. В этом посте разбираемся что нового там появилось и анонсируем курс по OpenSearch 9-11 октября.

⚡️Удаленное хранилище для резервирования данных

В OpenSearch 2.10 появилось удаленное резервное хранилище, которое представляет собой альтернативу снапшотам или копиям реплик. Функционал дает возможность автоматически создавать резервные копии всех транзакций по каждому индексу на удаленном хранилище с использованием облачных сервисов по выбору (включая S3).

Удаленное хранилище интегрировано с репликацией сегментов OpenSearch. Это позволяет выбрать удаленное хранилище в качестве источника для репликации. А еще, в этом релизе репликация сегментов и индексов на удаленном хранилище поддерживает различные версии Lucene, что необходимо для rolling updates.

⚡️Повышение релевантности поиска

В OpenSearch 2.9 в GA перешли нейронный поиск и поисковые конвейеры. В 2.10 эти инструменты дополнены процессором нормализации и функцией гибридных запросов. Теперь можно повысить релевантность поиска, комбинируя оценки релевантности лексических запросов с векторными поисковыми запросами k-NN на основе естественного языка.

⚡️Доступ и анализ большего количества логов в Security Analytics с помощью пользовательских типов логов

С момента выпуска OpenSearch Security Analytics в инструментарий была добавлена поддержка ряда популярных источников логов безопасности. В этом релизе в OpenSearch учли пожелания коммьюнити, добавив пользовательские типы логов. Новый CRUD API позволяет определять собственные типы логов и использовать их так же, как и другие логи — для создания детекторов, пользовательских правил, дополнительных сопоставлений и т.д.

⚡️Превращение данных в выводы с помощью нового Discover

В релизе 2.10 улучшено удобство использования и значительно обновлен бэкенд инструмента Discover в Dashboards. Теперь есть возможность использовать как новую версию инструмента Discover, так и предыдущую. Предполагается, что новая версия будет использоваться по умолчанию начиная с OpenSearch 2.11.

⚡️Обогащение данных GeoIP

В этом релизе появился новый способ обогащения данных географической информацией. С помощью нового процессора IP2Geo OpenSearch может получать информацию о географическом положении IPv4- или IPv6-адреса и добавлять ее в поступающие данные во время их записи или обогащать данные позднее. Ранее OpenSearch получал географические IP-адреса из статической базы данных, которая могла устаревать. В этом процессоре доступ к актуальным географическим IP-адресам осуществляется из внешних баз данных, предоставляемых компанией MaxMind.

⚡️Повышение производительности поиска с помощью параллельного поиска по сегментам

При стандартном подходе OpenSearch выполняет поисковые запросы последовательно по всем сегментам на каждом шарде. В экспериментальной версии функции параллельного поиска по сегментам появилась возможность параллельного запроса к сегментам индекса на уровне шарда. Это снижает задержку для многих типов поисковых запросов, например, для длительных запросов, содержащих агрегированные данные или большие диапазоны.

Release Notes

OpenSearch Playground (песочница)

Загрузить новую версию

❗️Приглашаем вас на обновленный курс по OpenSearch, который состоится 9-11 октября. Программа курса по ссылке. Вопросы можно задать @galssoftware либо на почту welcome@gals.software.

Вышел OpenSearch 2.11

В этом посте разберем что же там появилось нового.

⚡️Мультимодальный поиск

В этом релизе представлен мультимодальный поиск по тексту и изображениям с использованием нейронного поиска. Эта функциональность позволяет искать пары изображений и текста, например, элементы каталога товаров (изображение и описание товара), на основе визуального и семантического сходства. Например, пользователи могут искать "белую блузку", получая изображения продуктов — модель машинного обучения (ML), на которой основан механизм, способна ассоциировать семантику и визуальные характеристики. Теперь можно встроить эти возможности в свое приложение, чтобы напрямую подключаться к мультимодальным моделям и выполнять мультимодальные поисковые запросы без необходимости создания собственного промежуточного ПО.

⚡️Сравнение и настройка результатов поиска

Представленный в OpenSearch 2.4 в качестве беты, в этом выпуске инструмент сравнения результатов поиска стал GA. Этот инструмент позволяет сравнивать результаты двух различных поисковых запросов в OpenSearch Dashboards. Например, можно сравнить результаты лексического поиска с результатами семантического поиска, чтобы просмотреть оба результата и соответствующим образом скорректировать запросы.

⚡️Эффективная защита данных благодаря взаимодействию между снапшотами и удаленными хранилищами

OpenSearch предлагает два встроенных способа повышения сохранности данных: удаленное хранение, позволяющее автоматически сохранять все транзакции по каждому индексу в выбранном облачном сервисе, и снапшоты, позволяющие создавать по запросу моментальный снимок индексов и метаданных кластера в настроенном хранилище. Эта функция позволяет использовать снапшоты более эффективно, с меньшей нагрузкой на вычислительные ресурсы, делая снапшоты, которые ссылаются на данные в удаленном хранилище, а не дублируют их полностью.

⚡️Улучшение удобства использования Security Analytics

Были внесены изменения в пользовательский интерфейс, призванные облегчить начало работы с Security Analytics. Новый воркфлоу упрощает процесс создания детекторов угроз и настройки оповещений в OpenSearch Dashboards, сокращая количество шагов и уточняя некоторые поля формы. Еще одно изменение добавляет категории к типам журналов, упорядочивая встроенные и кастомные логи по предопределенным категориям для упрощения фильтрации и сортировки.

⚡️Повышение уровня безопасности OpenSearch Dashboards

В OpenSearch 2.11 была устранена зависимость от AngularJS в OpenSearch Dashboards.

⚡️Авторизация на уровне REST для разработки подключаемых модулей

Авторизация на уровне REST позволяет разработчикам подключаемых модулей создавать безопасные средства управления доступом к конечным точкам REST в дополнение к авторизации на транспортном уровне. Ранее OpenSearch осуществлял проверку авторизации исключительно на транспортном уровне.

⚡️Отслеживание запросов OpenSearch с помощью трассировки

В OpenSearch 2.11 в качестве экспериментальной функциональности появилась возможность отслеживания запросов и задач OpenSearch. В этом выпуске OpenSearch представляет новую структуру данных, позволяющую разработчикам отслеживать запросы и задачи OpenSearch в процессе их прохождения через компоненты и сервисы распределенной архитектуры.

Скачать OpenSearch 2.11

Заметки к релизу

Песочница OpenSearch 2.11

Наш новый канал по Zabbix

Мы запустили новый канал @zabbix_ru, посвященный понятно какой системе. Будем публиковать полезные материалы, записи вебинаров, конференций, митапов, а также делиться собственным опытом. Пост там пока только один, но скоро будет много.

Совет на каждый день

Этой статье уже два года, но она не потеряла актуальность. Коллеги из Мегафон рассказывают как они тонко умеют настраивать Filebeat. Это действительно высокое искусство, потому что иначе есть риск потери сообщений.

​Примерно пару недель назад Elastic объявил о выходе нового релиза для всего стэка — 8.12. Ключевое:

Elasticsearch. Apache Lucene 9.9 под капотом Elasticsearch, новые возможности машинного обучения, коннекторы в GA и другое

Observability. SLO в GA, Observability AI Assistant в GA, Mobile APM на базе OpenTelemetry в GA и другое

Статья в блоге Elastic

​grokdebugger.com

Онлайн-эмулятор grok-паттерна для Logstash. Нет сомнений, что многие о нём знают, но тем, кто слышит впервые, этот инструмент сэкономит часы на отладку grok-паттернов.

Полезный инструмент мониторинга для пользователей Elasticsearch — DBeast. Никто не спорит, что есть Zabbix, Prometheus, TICK Stack и много чего ещё. А есть DBeast: открытый и бесплатный.

Какой мониторинг на борту:
🔍Elastic stack monitor
🔍Elasticsearch host overview
🔍Logstash overview
🔍Logstash instance monitor
🔍Logstash pipeline analytics
🔍Elasticsearch ingest pipelines overview
🔍Elasticsearch ingest pipeline analytics
🔍Elasticsearch index level monitor
🔍Elasticsearch index patterns monitor
🔍Elasticsearch shard level monitor
🔍Machine Learning Jobs monitoring

Запуск официальных тренингов по Zabbix на русском языке

Галс Софтвэр (Казахстан) получил статус Zabbix Certified Trainer, а это означает возможность проведения сертифицированных тренингов с возможностью получения официальных сертификатов вендора. Все тренинги и сертификации будут проводиться на русском языке. Предлагаем ознакомиться с расписанием ближайших публичных тренингов:

Zabbix Certified Specialist (ZCS) 11-15 марта 2024 года (оффлайн + онлайн)

Zabbix Certified Professional (ZCP) 8-10 апреля 2024 года (оффлайн + онлайн)

Также возможно проведение закрытых тренингов по запросу.

Задать вопросы и получить дополнительную информацию вы можете у @galssoftware, по запросу на welcome@galssoftware.com или на сайте galssoftware.com.

Вышел OpenSearch 2.12 и его ключевые обновления:

✨Встроенная интеграция с Apache Spark

Не спорим, очень полезно для решения разных аналитических задач.

✨Улучшения производительности

- Конкурентный поиск по сегментам перешел в GA. Подробнее.
- Агрегированные гистограммы по датам можно фильтровать по временным интервалам
- Новый тип поля match_only_text, который похож на текстовое поле, но не поддерживает скоринг и более эффективен по части хранения данных.

✨Новый эндпоинт для отслеживания тяжелых запросов

GET /_insights/top_queries — показывает длительные запросы

И ряд других улучшений в области ML. Подробнее можно узнать в блоге OpenSearch.

Заметки к релизу
Песочница с OpenSearch 2.12

Весенняя волна 3-дневных интенсивов по OpenSearch и Elastic Stack

Программа открывается при нажатии на соответствующий курс ниже.

🔎 OpenSearch — 4-6 марта (уже на следующей неделе)
🔎 Elastic Stack — 25-27 марта

Интенсив — это как ракета-носитель, которая за 3 дня выведет вас на заданную орбиту. Вы сможете сразу приступить к работе вместо долгого изучения документации по каждому из компонентов OpenSearch или Elastic Stack. А если вы руководитель, сможете сэкономить на привлечении консалтинга со стороны.

Вопросы можно задать @galssoftware либо по почте welcome@gals.software.

Используете ли вы Elastic для мониторинга? В этой статье разобран пример мониторинга тестового приложения Elastiflix — поисковика по фильмотеке. К приложению цепляется Open Telemetry и передает данные в Elastic.

Из чего состоит приложение:
🔎javascript-frontend: фронтэнд на React.
🔎node-server: бэкэнд.
🔎dotnet-login: сервис login, который возвращает рандомное имя пользователя.

Знали ли вы, что с версии 2.4 OpenSearch Dashboards начал поддерживать несколько источников данных. То есть вы можете подключить OpenSearch Dashboards к нескольким кластерам одновременно и работать с ними из одной консоли. Ссылка на раздел документации.

1-3 апреля проведем курс по OpenSearch🔎

Приглашаем присоединиться к 3-дневному онлайн-интенсиву по OpenSearch. Программа курса.

Чем полезен курс:

🚀 за 3 дня вы получите структурированную информацию, которую при самостоятельном изучении нужно собирать по документации и по разным статьям в интернете.

🚀 вашему руководителю не придется привлекать субподряд для внедрения или поддержки OpenSearch, вы сможете работать с ним самостоятельно.

🚀 в курсе множество практических заданий, после выполнения которых вы получите бесценный опыт работы с OpenSearch, OpenSearch Dashboards, DataPrepper, Fluentbit, Logstash и другими компонентами.

Запрос на участие в курсе вы можете отправить в телеграм @galssoftware, на почту welcome@gals.software, либо через форму обратной связи на странице с программой курса.

​Используете ли вы Elastic для мониторинга? Если да, то, возможно знаете, сто стэк очень плотно дружит с OpenTelemetry, а в Kibana можно настраивать представления для наблюдения за трейсами. В этой статье из блога они рассказывают как Elastic дружит с OpenTelemetry.

Вышел Fluent Bit v3, о чем было объявлено на KubeCon EU. По ссылке описание релиза и видео с конференции.

Поставьте в комментариях 🔥 кто его использует.

Ключевые нововведения:
🚀 Новые фильтры для метрик Windows и MacOS.
🚀 Новый синтаксический анализатор на основе SQL для поиска и преобразования логов в потоке перед их маршрутизацией в хранилище.
🚀 Поддержка HTTP/2.

Вышел OpenSearch 2.13

Помимо пачки улучшений, связанных с машинным обучением, в этой версии в GA перешел функционал поиска по внешнему Apache Spark. Еще появился контроль за нагрузкой поиска и индексации, который позволяет ограничивать количество запросов в кластер. Также добавился функционал кросс-кластерного алертинга (можно настраивать оповещения на основе данных из разных кластеров.

Скачать
Заметки к выпуску
Документация

В OpenSearch есть интересный функционал — поиск по снапшотам (searchable snapshots). С ним вы можете искать по индексам, которые хранятся в виде снапшотов в удаленных репозиториях без необходимости предварительного восстановления индекса в кластер. Справедливости ради, скажем, что в ElasticSearch тоже есть такой функционал, но он доступен только с подписки уровня Enterprise.

Чтобы обеспечить доступ к таким снапшотам, одной из ролей кластера нужно присвоить роль search:

node.name: snapshots-node
node.roles: [ search ]

После этого подключить снапшот к кластеру в виде индекса:

POST /_snapshot/my-repository/my-snapshot/_restore
{
"storage_type": "remote_snapshot",
"indices": "my-index"
}

Подробнее в документации. Пользуетесь searchable snapshots?

Новый OpenSearch 2.14 уже доступен для скачивания

Что нового:

- улучшена производительность гибридного поиска
- улучшена производительность запросов по гистограммам с мульти-диапазонами
- появилась поддержка многоуровнего кэша (экспериментальная функция)
- расширена поддержка множественных источников для OpenSearch Dashboards в разрезе использования плагинов
- повышена гибкость межкластерного взаимодействия по части настроек безопасности
- дополнительные улучшения по части машинного обучения

Скачать
Заметки к выпуску
Документация

Elastic 8.14 с ES|QL уже доступен для скачивания

Ключевое: ES|QL в GA (Что такое ES|QL)

Заметки к выпуску