Пагинация в ElasticSearch поддерживается тремя разными способами: pagination, search-after и scroll.

Один из наших клиентов в своей системе поиска тендеров использует пагинацию. После того, как пользователь выполнил поиск в веб-интерфейсе и отобразились страницы с постраничными результатами, они заранее загружают следующую страницу. То есть, при нахождении на первой странице с результатами, при переходе на вторую страницу, она отображается мгновенно. Когда пользователь загружает вторую страницу, сразу же подгружается третья и так далее. Такой подход весьма улучшает UX. В этом посте рассмотрим все три вида пагинации и определимся с предназначением каждого типа.

Опубликовали статью на Хабре.

В ElasticSearch и OpenSearch могут храниться данные как в виде временных рядов с полем времени (например, логи приложений) так и без специального поля с указанием времени (например, каталог товаров интернет-магазина). Данные, которые содержат время, удобнее всего хранить в виде потоков данных (data streams). В этом посте на примере OpenSearch мы расскажем чем потоки данных отличаются от обычных индексов и когда их можно использовать.

Данные в виде временных рядов обладают следующими свойствами:
🔎 есть поле @timestamp и оно обязательное
🔎 документы не обновляются
🔎 документы делятся на индексы, основываясь на времени
🔎 поиск по старым документам менее вероятен, чем по новым

В OpenSearch для перемещения данных используется ISM (Index State Management). Эта технология позволяет определять политики для автоматизации перемещения данных между узлами или их удаления при определенных условиях. Таким образом, можно разделить данные по возрасту и определить их перемещение, например, с SSD-дисков на HDD-диски и, в конечном итоге, их удалить.

В этот момент в игру вступают потоки данных. Нужен какой-то способ указать ISM как разделить данные на индексы и это как раз он. Потоки данных используют шаблоны индексов. Для начала создадим шаблон индекса и определим поток данных:

PUT _index_template/logs-template
{
  "index_patterns": [
    "logs-*"
  ],
  "data_stream": {}
}

Выше мы определили, что все индексы, начинающиеся с logs будут потоками данных. Теперь запишем документ в индекс logs-messages

POST logs-messages/_doc
{
  "@timestamp": "2023-04-26T09:30:33.132+03:00",
  "message": "съешь ещё этих мягких французских булок да выпей чаю"
}

А теперь магия! Извлечем этот документ и увидим, что он оказался в потоке данных:

{
  "_index" : ".ds-logs-messages-000001",
  "_id" : "y0UApX0BzzHCVHV5VzYo",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}

Что здесь произошло? Мы записали документ в поток данных, а Opensearch создал базовый индекс, в котором будут храниться записанные данные. Имя потока данных — это псевдоним. Можно даже не беспокоиться о том, какой индекс мы выполнили запись. Нужно просто выполнять запись в поток данных, настроить политику ISM, а OpenSearch сам разберется куда записать. Согласитесь, удобно.

Если ISM будет настроен выполнять перенос через день, то через 1 день появится индекс .ds-logs-messages-000002 и так далее. Обратите внимание, что индекс начинается с точки, это означает, что индекс скрыт. Не нужно взаимодействовать с индексом напрямую. Две следующие команды помогут извлечь полезную статистику по использованию потоков данных:

GET _data_stream/logs-messages
GET _data_stream/logs-messages/_stats

Искать в потоке данных тоже просто:

GET

logs-messages

/_search

Takeaway, как говорится:

🔎Потоки данных предназначены для неизменных данных, которые только дополняются
🔎Поле @timestamp обязательно
🔎Поисковые запросы выполняются по всем индексам в потоке, запросы на запись к последнему индексу
🔎Вам не нужно выбирать индекс, в который записывать, записывайте данные в поток

Ребята, накидайте, пожалуйста огней, если пост был вам полезен😊

Сколько шардов на ноду ок и сколько не ок — такой вопрос нам часто задают на обучении или в ходе проектов. Самый простой совет — 20 шардов на каждый Гб JVM Heap. В этом посте мы попытались разобраться что же в действительности утилизирует аппаратные ресурсы на ноде, когда мы говорим про овершардинг.

Каждый индекс и каждый шард требуют определенных ресурсов памяти и процессора. Небольшой набор крупных шардов использует меньше ресурсов, чем множество мелких шардов. Сегменты также играют большую роль в использовании ресурсов шарда. Большинство шардов содержат несколько сегментов, в которых хранятся данные. Elasticsearch хранит некоторые метаданные сегментов в JVM Heap, чтобы их можно было быстро извлечь при поиске. По мере роста шарда его сегменты объединяются в меньшее количество более крупных сегментов. Это уменьшает количество сегментов, а значит, меньше метаданных хранится в JVM Heap.

Каждое поле документа также вносит определенные накладные расходы в виде использования памяти и дискового пространства. По умолчанию Elasticsearch автоматически создает маппинг полей в каждом индексируемом документе, этим можно управлять при необходимости. Нужно учитывать дополнительные накладные расходы, если шарды имеют большое количество сегментов, а соответствующий маппинг содержит большое количество полей и/или очень длинные имена полей.

Ещё один момент состоит в том, что более крупные шарды дольше восстанавливаются после сбоя. Когда нода выходит из строя, Elasticsearch восстанавливает баланс между шардами. Этот процесс копирует содержимое шарда по сети, поэтому для восстановления шарда размером 100 ГБ потребуется в два раза больше времени, чем для шарда размером 50 ГБ. В отличие от этого, маленькие хранилища несут пропорционально больше накладных расходов и менее эффективны при поиске. Поиск в пятидесяти хранилищах размером 1 ГБ займет значительно больше ресурсов, чем поиск в одном хранилище размером 50 ГБ, содержащем те же данные. Важен баланс.

Не существует жестких ограничений на размер шарда, но опыт показывает, что для логов и данных временных рядов обычно подходят шарды размером от 10 до 50 ГБ. Вы можете определять размеры шардов в зависимости от ёмкости сети и условий использования. Если используете ILM, установите порог max_primary_shard_size действия rollover на 50 ГБ, чтобы избежать использования шардов размером более 50 ГБ. А чтобы узнать текущий размер шардов, используйте cat shards API.

Запомнить:

Удаляйте индексы, а не документы
Удаленные документы Elasticsearch помечает как удаленный на каждом связанном с ним шарде. Помеченный документ будет продолжать использовать ресурсы, пока не будет удален во время периодического слияния сегментов.

Удаляйте целые индексы
Elasticsearch может немедленно удалить удаленные индексы непосредственно из файловой системы и освободить ресурсы.

Используйте потоки данных и ILM для временных рядов данных
Потоки данных позволяют хранить данные временных рядов в нескольких индексах, основанных на времени. В рамках ILM можно настраивать размеры шардов.

Если тема вам интересна, рекомендуем пару статей к прочтению:

How many shards should I have in my Elasticsearch cluster? (блог Elastic)
Size your shards (документация Elastic)

Два интересных API для получения детальной информации по хранению данных

Field usage stats API — возвращает детальную информацию о полях документа для каждого шарда и индекса.

Analyze index disk usage API — анализирует использование диска каждым полем индекса или потока данных.

​Если вы планируете использовать или уже используете Elasticsearch в качестве поискового сервиса для вашего ecommerce-проекта, то статья о структуре о схеме документов вам определённо будет полезна. Здесь описан здравый подход по формированию вложенности полей в зависимости от цвета, размера и SKU товаров.

Если вы считаете, что ваш поиск работает медленно или у вас есть понимание необходимости его оптимизации — приходите к нам на консультацию (запрос можно отправить в телеграм @galssoftware или через форму обратной связи на сайте).

Используете Elasticsearch в качестве поискового движка?

Как понять, что с вашим поисковым запросом в ElasticSearch что-то не так? Правильный ответ — попробуйте профилирование запроса. Profile API дает низкоуровневое представление о том, как выполняются поисковые запросы, чтобы понять, почему определенные запросы выполняются медленно и как-то их улучшить. Profile API не измеряет сетевую задержку, время, затраченное на фазу выборки поискового запроса, время, затраченное на нахождение запросов в очереди или на объединение ответов шардов на координирующей ноде. Пример выполнения:

GET /products/_search
{
  "profile": true,
  "query" : {
    "match" : { "position" : "огурцы" }
  }
}

Обратите внимание, что это дорогая с точки зрения производительности операция. В текущей версии документации Elasticsearch добавлено подробное описание блоков результатов профилирования для того, чтобы было понятно что и где искать. Страница документации.

Помогало ли вам в работе профилирование поискового запроса?

​Векторный поиск, дополняющий полнотекстовый, помогает находить семантически схожие документы. В этой статье описано создание гибридного поиска, сочетающего в себе возможности полнотекстового и векторного поиска. Используемый стек состоит из OpenSearch и Sentence Transformers.

Статья для тех, кто хочет повысить релевантность поиска в своём проекте.

​❗️Вышел OpenSearch 2.7.0

В этом посте мы расскажем, что появилось нового. Ключевое — это переход из беты в GA* возможностей репликации сегментов и поиска по снэпшотам. В конце поста вы найдете ссылки на пост в блоге OpenSearch и заметки к релизу. Поехали!

*General Available — возможность использования фичи в продуктивных средах

🔎Поиск по снэпшотам

Такая возможность в качестве экспериментальной появлась в OpenSearch 2.4.0, а с текущей версии в GA. Снэпшоты с возможностью поиска позволяют выполнять поиск по индексам, которые хранятся в виде снэпшотов в удаленных репозиториях в режиме реального времени, без необходимости предварительно загружать набор проиндексированных данных в кластер. Кстати, в оригинальном Elastisearch такая функция входит в подписку Enterprise.

🔎Репликация сегментов

Эта функциональность также перешла в режим GA из экспериментальной (появилась начиная с версии 2.3). Репликация сегментов — это иная стратегия репликации данных в отличие от репликации документов. Репликация сегментов копирует файлы сегментов Lucene с основного шарда на реплики. Сегментная архитектура Lucene, основанная на принципе «запись только один раз», означает, что копировать нужно только новые сегменты, вместо того, чтобы дописывать новые документы в существующие шарды. Этот подход позволяет повысить производительность индексирования и снизить нагрузку на аппаратные ресурсы.

Визуализация данных из нескольких источников

Запущенная в качестве экспериментальной в OpenSearch 2.4.0, эта функция также перешла в режим GA и позволяет использовать несколько источников данных для OpenSearch Dashboards. Теперь можно динамически управлять источниками данных на нескольких кластерах OpenSearch, создавать шаблоны индексов на основе этих источников, запускать запросы к определенному источнику данных и объединять визуализации в единый дашборд.

🔎Мультитенантость в OS Dashboards

OpenSearch Dashboards использует тенанты в качестве пространства для хранения и обмена шаблонами индексов, визуализациями, дашбордами и другими объектами, с административным контролем над тем, какие пользователи могут получить доступ к тенанту и уровнем предоставляемого доступа. В предыдущих версиях создание и отображение тенантов поддерживалось в Dashboards, а их конфигурация выполнялась в файлах YAML, что требовало внесения изменений на каждой ноде для поддержания согласованности между нодами и перезапуск Dashboards для вступления изменений в силу. В этом релизе администраторы могут просматривать, настраивать, включать или отключать тенанты в Dashboards и вносить эти изменения без необходимости перезапуска.

Анализ событий безопасности с помощью встроенных инструментов корреляции

Данные из логов, содержащие события безопасности, могут охватывать несколько индексов и потоков данных, а визуализация взаимосвязей между связанными событиями даст ценные сведения для аналитиков безопасности. Механизм корреляции позволяет определять взаимосвязи в данных о событиях безопасности из различных источников данных, таких как DNS, Netflow, Active Directory и др. Построенный граф можно использовать для определения закономерностей и исследования взаимосвязей между различными системами в контролируемой инфраструктуре.

О других новведениях в OpenSearch 2.7 читайте по ссылкам ниже.

🔍Статья с описанием релиза в блоге OpenSearch

🔍Заметки к релизу

🔍Загрузка новой версии OpenSearch

🔍Песочница OpenSearch

Какая у вас версия OpenSearch в продуктивной среде?

​Репликация сегментов в OpenSearch стала доступна для использования в продуктивных средах начиная с версии 2.7. Этот подход заключается не в подокументной индексации документов в реплики, а в копировании файлов сегментов полностью. В этой статье на Хабре рассказали немного подробнее об этом подходе.

В продолжение темы OpenSearch предлагаем вам обратить внимание репозиторий с утилитой для тестирования нагрузки на OpenSearch.

Возможности:

🔍 Запуск эталонных тестов производительности и запись результатов

🔍 Настройка и отключение кластеров OpenSearch для проведения бенчмарков

🔍 Управление данными и спецификациями бенчмарков в разных версиях OpenSearch

🔍 Обнаружение проблем с производительностью путем подключения телеметрических устройств

🔍 Сравнение результатов производительности

🔍 Создание специализированных нагрузок

12-14 июля проведем 3-дневный курс по работе с Elastic Stack.

Мы добавили в курс разделы с конвертированием SQL в DSL, нагрузочное тестирование кластера Elastic при помощи утилиты Rally и SIEM.

После прохождения курса вы будете уметь разворачивать защищенный кластер, настраивать обработку различных данных, создавать визуализации в Kibana, рассчитывать сайзинг, обнаруживать уязвимости системы и многое другое.

Курс — это как ракета-носитель, которая за 3 дня выведет вас на заданную орбиту. Вы сможете сразу приступить к работе вместо долгого изучения документации по каждому из компонентов Elastic Stack.

Программа курса и заявка на участие по ссылке. Вопросы можно задать @galssoftware.

6 июня был анонсирован выпуск OpenSearch 2.8. Можно с уверенностью сказать, что частота релизов OpenSearch приближается к ElasticSearch. Однако, справедливости ради нужно сказать, что в последнем нововведений в каждой новой минорной версии гораздо больше.

Что нового

1. Поддержка PPL (Piped Processing Language) для кросс-кластерного поиска. Подробнее в репозитории на Гитхабе.

2. Упрощение задач управления индексами. Управлять индексами теперь можно из интерфейса OpenSearch Dashboards. Оттуда же можно настроить оповещения о длительных процессах в рамках ISM, а также о завершении переиндексации, разделения или слияния индексов.

3. Поисковые конвейеры. Для разработчиков поисковых приложений эта функциональность открывает возможность интегрировать сложные цепочки поисковых процессоров в OpenSearch без дополнительной обработки конечными пользователями. Этот релиз включает три встроенных процессора: filter_query, rename_field и script request.

Заметки к выпуску

​7 петабайт логов в Elastic

Интересная и познавательная статья о том как устроено хранилище данных в Тинькофф.

Вышел DataPrepper 2.4

DataPrepper — это компонент OpenSearch, который является аналогом ingest-node в ElasticSearch и предназначен для трансформации данных.

Из ключевых обновлений: поддержка в качестве источника Apache Kafka, пакетная обработка событий Amazon S3, фильтрация внутри синков, новые кодеки для синков S3 и потоковое обнаружение аномалий.

Поддержка Apache Kafka. Добавлена поддержка Kafka и Amazon Managed Streaming for Apache Kafka (Amazon MSK) в качестве источника, что принимать данные из одного или нескольких топиков в кластере Kafka. Также есть возможность настроить несколько конвейеров на считывание данных из одного топика в Kafka, что позволяет настраивать количество потребителей топика на стороне Kafka.

Пакетная обработка событий S3. Добавлена поддержка функции сканирования S3, которая сканирует бакеты Amazon S3 для обработки объектов без необходимости настройки уведомлений о событиях Amazon S3. Фича подходит для случаев, когда необходимо перенести большие объемы исторических данных или для пользователей, которые хотят запускать задания ночного сканирования данных, загруженных в бакеты S3.

Фильтрация внутри синков. Добавлены опции include_keys и exclude_keys для синков, что дает возможность получать данные из любого источника и применять правила обогащения с помощью цепочки процессоров. Также можно выборочно отправлять данные в определенный приемник, например OpenSearch или S3 для архивации.

Кодеки S3. Появились новые кодеки: JSON codec, Avro codec, Parquet codec.

Потоковое обнаружение аномалий. Потоковый детектор аномалий теперь содержит опцию identification_keys, которая создает модель Random Cut Forest (RCF) для каждого значения в данных временного ряда. С помощью опции identification_keys аномалии обнаруживаются по уникальному набору ключей.

Скачать новую версию DataPrepper 2.4

Release Notes к DataPrepper 2.4

Roadmap для DataPrepper

Как понять, что ваши удаленные сотрудники работают не из России

В последнее время многие российские компании по разным причинам перестали благоволить удаленной работе за пределами России. В одном из проектов у нас была задача визуализации таких подключений в Kibana.

Реализуется всё следующим образом: с VPN-шлюза (например, Cisco ASA) настраивается отправка сообщений syslog в Logstash, который их разбирает. Далее на стороне ingest-ноды Elasticsearch настраивается GeoIP processor и далее при помощи Kibana Alerts и ElastAlert настраиваются оповещения в телеграм или почту, если вход был не из России.

У Elastic есть собственная база IP-адресов https://geoip.elastic.co/v1/database. При желании, для сопоставления, можно использовать другие собственные или внешние ресурсы.

Полтора месяца назад вышел OpenSearch 2.9

Ключевое: обновление инструментария ML, обновления по части работы с событиями по ИБ, обновления визуализации геоданных и улучшенное сжатие данных для повышения производительности и уменьшения размера индексов.

Улучшения в поиске при помощи поисковых конвейеров. Поисковые конвейеры включают в себя три встроенных процессора: filter_query, rename_field и script request, а также новые API, ориентированные на разработчиков, позволяющие создавать собственные процессоры.

Семантический поиск стал проще. В OpenSearch 2.4.0 появилась экспериментальная функциональность нейронного поиска. С версии 2.9.0 нейронный поиск перешел в статус GA. Этот инструмент позволяет векторизовать документы и запросы, чтобы осуществлять поиск по преобразованным векторам с использованием алгоритма k-NN. Теперь можно объединить лексический поиск BM25 с семантическим поиском на основе глубокого обучения для повышения релевантности поиска.

Интеграция и управление моделями ML в кластере OpenSearch. ML-фреймворк, выпущенный в 2.4.0 в качестве экспериментальной функции, позволяет загружать собственные модели ML в OpenSearch, поддерживая модели с текстовым вложением из таких инструментов как PyTorch и ONNX. В рамках подготовки фреймворка к переходу в GA в OpenSearch 2.9.0 также введено управление доступом к ML-моделям. Эта функция позволяет администраторам управлять доступом к отдельным моделям, интегрированным в фреймворк.

Интеграция ML-моделей, управляемых извне. В OpenSearch 2.9.0 расширена функциональность ML-фреймворка, позволяя создавать коннекторы к сервисам искусственного интеллекта и ML-платформам. Эти коннекторы позволяют пользователям использовать модели, размещенные на подключенных сервисах и платформах. В качестве примера такой возможности в релиз 2.9 включен коннектор для моделей, размещенных на Amazon SageMaker. В ближайшее время будут опубликованы коннекторы для Cohere Rerank и OpenAI ChatGPT.

Расширение поиска за счет усовершенствования векторных баз данных. В этом релизе реализация k-NN поддерживает предварительную фильтрацию для запросов, использующих механизм Facebook AI Similarity Search (FAISS). Теперь можно фильтровать запросы с помощью метаданных до выполнения поиска ближайших соседей в k-NN-индексах, построенных с помощью FAISS. Это обеспечивает более эффективный k-NN-поиск и более высокую производительность. Ранее OpenSearch поддерживал предварительную фильтрацию только для индексов Lucene.

Еще одно обновлением в OpenSearch k-NN — поддержка векторов Lucene размером в байт. Теперь пользователи могут получать и использовать векторы, квантованные до размера одного байта на измерение вместо четырех. Это снижает требования к объему памяти для загрузки, сохранения и выполнения векторного поиска, но при этом потенциально снижает точность.

Создание мониторов и детекторов в OpenSearch Dashboards. Теперь можно видеть оповещения и аномалии наложенными на основные дашборды. Пользователи также могут создавать мониторы оповещений или детекторы аномалий непосредственно из своих визуализаций.

Комплексные мониторы для получения более содержательных оповещений. В версии 2.9.0 появились комплексные мониторы. Они позволяют объединять оповещения, генерируемые несколькими отдельными мониторами, в единое целое. Пользователи получают уведомления при выполнении условий срабатывания всех мониторов. Это позволяет анализировать источники данных по нескольким критериям и получать более детальную информацию о них.

Продолжение в следующем посте.

​Повышение производительности с помощью опции сжатия индексов. OpenSearch 2.9 предоставляет встроенные кодеки, которые выполняют сжатие индексов, влияя на размер сегментов и производительность операций индексирования. Предыдущие версии включали два типа кодеков: кодек для индексов по умолчанию, в котором приоритет отдается производительности, а не сжатию, и кодек best_compression, который обеспечивает высокую степень сжатия и меньший размер индекса, но при этом потенциально увеличивает нагрузку на процессор во время индексирования и может приводить к увеличению задержек. В версии 2.9.0 в OpenSearch добавлены два новых кодека, zstd и zstd_no_dict, которые используют алгоритм сжатия Zstandard от Facebook. Оба кодека направлены на достижение баланса между сжатием и производительностью, при этом в zstd_no_dict исключена функция сжатия словарей, что дает потенциальный выигрыш в производительности индексирования и поиска за счет несколько большего размера индекса.

Упрощение обнаружения угроз с помощью Security Analytics. Security Analytics теперь поддерживает новую схему ввода логов, соответствующую Open Cybersecurity Schema Framework (OCSF), что позволяет использовать журналы OCSF из Amazon Route 53, AWS CloudTrail и Amazon Virtual Private Cloud (Amazon VPC). Также стал доступен механизм корреляции для OpenSearch Security Analytics. Можно создавать пользовательские правила корреляции, которые отображают визуальный граф и список обнаруженных угроз по различным источникам, таким как DNS, Netflow и Active Directory. Граф можно использовать при проведении расследований в области безопасности для анализа связанных с ними угроз, что помогает выявить закономерности и взаимосвязи угроз в различных системах.

Агрегированные метрики для геоданных. В OpenSearch геоданные хранятся с использованием типов полей geoshape и geopoint. В предыдущих версиях пользователи могли выполнять агрегирование для типов данных geopoint. В версии 2.9.0 OpenSearch также поддерживает агрегирование для типов данных geoshape в качестве внутренней функциональности, доступной через API. В этом релизе добавлена поддержка геошаблонов для трех типов агрегаций: geo_bounds — метрическая агрегация, которая вычисляет ограничительную рамку, содержащую все геозначения в поле; geo_hash — агрегация с несколькими бакетами, которая группирует геошаблоны в бакеты, представляющие ячейки в сетке; и geo_tile — агрегация с несколькими бакетами, которая группирует геошаблоны в бакеты, представляющие плитки карты.

Скачать OpenSearch 2.9

Заметки к релизу

OpenSearch Playground (песочница)

​Познакомьтесь с силой искусственного интеллекта

В этом видео показано как при помощи ChatGPT можно создавать фильтры для Logstash. Невероятно удобно!

​Вышел Elastic 8.10 & анонс курса по Elastic 20-22 сентября

Нежданно-негаданно, очень даже буднично, 12 сентября на сайте Elastic появился анонс новой версии. Присаживайтесь поудобнее, расскажем о том, что появилось нового в каждой из областей: Observability, Security, Search.

Observability

В Elastic Observability 8.10 представлены Elastic Universal Profiling уже в режиме GA и усовершенствования в Elastic AI Assistant для Observability.

Elastic Universal Profiling — это инструмент профилирования, который устраняет необходимость в инструментарии кода, перекомпиляции и перезапуска служб. Магия? Нет, просто он использует для получения данных eBPF. Инструмент профилирует строки кода, включая приложения, ядро и библиотеки сторонних разработчиков.

Elastic AI Assistant для Observability был представлен в бете в Elastic Observability 8.9, а в текущей версии дополнен новыми возможностями чата, включая возможность взаимодействия с пользователем на естественном языке, запоминания и обобщения информации в ходе разговора, а также создания базы знаний (на основе Elastic Learned Sparse Encoder) для предоставления дополнительного контекста и рекомендаций на основе данных.

Security

В Elastic Security 8.10 переосмыслена работа аналитиков, чтобы ускорить и повысить эффективность расследования угроз. В боковой панели Alert можно получить рекомендации и контекстную информацию для ускорения процесса расследования. Аналитик увидит причину срабатывания предупреждения и получит доступ к подробной информации о правилах и предупреждениях, а также к соответствующим тактикам и методикам MITRE ATT&CK. Теперь рядом с оповещением можно просмотреть полное руководство по расследованию.

Search

В Elastic Search 8.10 расширился каталог интеграций с открытым кодом за счет коннекторов для баз знаний и коммуникационных систем. Также появились правила для поиска и Synonyms API для упрощения работы с синонимами.

Дополнительная вещь, которую хотелось бы добавить — это появление output в виде Kafka для Elastic Agent (пока что в бете).

Новая версия уже доступна для скачивания на сайте Elastic (для России нужен VPN).


🧑‍🎓 Приглашаем вам на обновленную версию курса по Elastic 8, который мы проведем 20-22 сентября. Подробная программа и запись на курс по ссылке.

​В статье описано как запустить OpenSearch в Kubernetes при помощи OpenSearch Kubernetes Operator. Разворачивание OpenSearch в k8s позволит легко раскатывать rolling updates, зачищать ноды кластера перед их отключением да и вообще легко управлять кластером.

Статья

Репозиторий OpenSearch Kubernetes Operator на GitHub

Документация по OpenSearch Kubernetes Operator