Вышел Data Prepper 2.11

Улучшения в основном консулись импорта данных из OTel. Как нам кажется, возможности Data Prepper многие недооценивают. А ведь там есть много интересного, в частности, агрегация собираемых данных.

Star-tree индексы — технология, которая предварительно вычисляет агрегации в OpenSearch. Функционал появился начиная с версии 2.18 и пока находится в экспериментальном формате. Если вы активно используете агрегации в работе, рекомендуем обратить внимание на эту технологию. Можно использовать только для неизменяемых индексов (подойдет для логов). Однако, есть и другие ограничения.

На приложенном изображении сравнение времени на выполнение агрегаций при традиционном способе и при помощи star-tree. Преимущество налицо.

Статья в блоге OpenSearch

Подробности в документации

Курс по поиску в ElasticSearch/OpenSearch

Мы готовим курс по поиску и подготовили программу тренинга. Тренинг будет длится два дня и охватит максимально подробно тематику поиска, агрегаций, создание оптимального индекса для поиска, формирование релевантности и многого другого.

Хотелось бы у вас узнать, есть ли интерес к такому курсу и, возможно, вы сможете предложить свои темы, которые хотели бы рассмотреть в курсе. Мы уже подготовили предварительную структуру:

Описание курса ElasticSearch/OpenSearch Поиск

Если вы или ваши коллеги хотели бы принять участие в курсе или хотели бы предложить свои темы в курс, напишите, пожалуйста, нам в @galssoftware.

Планируем проведение этого тренинга в июле-августе.

Заранее большое спасибо за обратную связь!

Get started with OpenSearch 3.1

Не успели мы опомнится от версии 3.0, как OpenSearch анонсировал 3.1. Лихо, что тут скажешь.

Статья в блоге OpenSearch

Загрузка

Заметки к выпуску

Redline-тестирование теперь доступно в OpenSearch Benchmark

Тестирование Redline содержит в себе:

🚀 Модуль управления для мониторинга пропускной способности запросов и сбоев в режиме реального времени.

🚀Саморегулирующийся механизм нагрузки, позволяющий приостанавливать и возобновлять работу клиентов на основе поведения кластера.

Читать в блоге OpenSearch

Making ingestion smarter: System ingest pipelines in OpenSearch

В OpenSearch 3.1 представлен системный ingest pipepline — новая возможность, сделанная специально для разработчиков плагинов. Она позволяет автоматически обрабатывать документы во время заливки данных, определяя системные процессоры, которые запускаются на основе полей или параметров при сопоставлении индекса. Это позволяет встраивать логику обработки непосредственно в плагин, не требуя от пользователей ручной настройки ingest pipeline. Читать в блоге OpenSearch.

Вышли Elastic 9.1/8.19

Интересный подход получается с релизами двух мажорных версий. Похоже, что в Elastic не хотят расстраивать пользователей, который уже основательно сжились с 8 версией. Но, как пишут, это в последний раз. Дальнейшего развития версии 8.х не будет. Подробности в блоге Elastic.

Пошаговое руководство по миграции из одного кластера в другой

В статье в блоге Elastic разобраны 3 способа миграции данных:

🚀 Переиндексация из удаленного кластера

🚀 Передача данных с использованием снимков

🚀 Перенос данных с помощью Logstash

Elasticsearch plugin for UBI: Analyze user behavior from search queries

UBI (User Behavioral Insights) — это стандарт, помогающий собирать и отслеживать статистику использования поисковых приложений. В этой статье рассматривается стандарт UBI и объясняется, как собирать аналитику с помощью плагина Elasticsearch.

VRL — просто, подробно и понятно

Vector является очень гибким агрегатором сообщений и поддерживает собственный язык для обработки событий - VRL. В статье разобраны примеры конфигурации Vector.