​Сравнение Битрикс-Sphinx vs Elasticsearch для поисковых задач

Статья хоть и написана в основном во славу Elasticsearch, но позволяет проанализировать некоторые интересные особенности работы Битрикс на базе встроенного Sphinx.

Opensearch, Logstash и dynamic mapping

В этой статье рассказано о том, как в Домклик настроен маппинг в индексах Opensearch и какие «фишки» они используют, чтобы минимизировать работы по настройке маппинга.

​Прочитайте интересную статью на Хабре о том, как устроена архитектура Elastic в Контур Диадок (это сервис для ЭДО). Рассказывают как они оптимизировали поиск.

​В этой статье рассмотрено, как на базовом уровне интегрировать Elasticsearch в Laravel, используя Docker и PHP-библиотеку elasticsearch/elasticsearch. Весьма себе прикладное использование Elastic.

​В это сложно поверить, но ElasticSearch в этом году 15 лет (а библиотеке Lucene 25 лет)

Более 1,45 млрд загрузок, 83000 коммитов от 2400 уникальных контрибьюторов.

Пост с ключевыми вехами в блоге Elastic

OpenSearch as a SIEM Solution

Может вы знали, а может и нет, но в OpenSearch есть встроенный пакет аналитики безопасности (Security Analytics), который предоставляет возможности SIEM для расследования, обнаружения, анализа и устранения угроз безопасности в режиме реального времени.

В блоге OpenSearch есть небольшое overview по возможностям решения в области беопасности.

С чем вас и поздравляем!

Elastic 9.0 под капотом имеет Lucene 10.0, что знаменует собой действительно крупное обновление Elasticsearch, платформы Elastic Search AI и основных решений — Elastic Observability и Elastic Security. Этот релиз более производителен и эффективен благодаря встроенным улучшениям Lucene 10.0, таким как улучшенный параллелизм, более умное индексирование и аппаратная оптимизация.

Для тех, кто (пока) не готов расстаться 8 релизом, у Elastic есть новости: они перенесли многие (но не все) новые функции из 9.0 в версию 8.18.

Подробнее о новинках в версиях

Прочитайте как в МТС управляют кластером OpenSearch на 400 Тб и из чего он состоит.

Тренинги 🔍ElasticSearch и 🔍OpenSearch c нуля до администратора в июне — отличный способ прокачать скиллы в начале лета!

Приходите на наши авторские курсы по ElasticSearch или OpenSearch и развивайте внутреннюю экспертизу по этим решениям. Если вашей команде требуется экспертиза по поддержке этих систем и нет времени на их изучение, наши трёхдневные интенсивы дадут максимум знаний и опыта по установке, настройке и администрированию ElasticSearch/OpenSearch. Вложитесь в обучение один раз и не тратьте время сотрудников на многодневное изучение документации. А еще интенсивы лучше многомесячных тренингов, когда к середине курса улетучивается желание учиться.

За время курса вы:

🔎 разберетесь в принципах работы ElasticSearch/OpenSearch
🔎 установите и настроите кластер
🔎 настроите сбор и обработку неструктурированных данных
🔎 получите опыт работы с политикам жизненного цикла индексов
🔎 научитесь проработке архитектуры будущего кластера в зависимости от нагрузки
🔎 поймете как оптимизировать хранение данных
🔎 узнаете много интересного, о чём не написано в документации

Ближайшие курсы в июне:

▶️ Программа ElasticSearch 2-4 июня

▶️ Программа OpenSearch 9-11 июня

Тренинг состоит из теоретической и практической части. Для практической части мы предоставляем лабораторные стенды. Оставить заявку, узнать стоимость обучения и другие детали можно через бот @gals_education_bot. Также заявку можно оставить через форму обратной связи на соответствующей странице тренинга (выше) либо написать на почту welcome@gals.software.

Это просто праздник какой-то! Вслед за Elastic и его релизом версии 9.0, OpenSearch также объявил о релизе версии 3.0.

Пишут, что работает в 9,5 раз быстрее, чем OpenSearch 1.3 при поиске по ключевым типам запросов. Под капотом 3.0 работает Lucene 10, что привносит дополнительную производительность в частности для векторного поиска. А еще OpenSearch научили работать по модели pull. Это означает, что он теперь может сам затягивать данные, например, из Kafka.

Статья в блоге с описанием нововведений

Песочница

Заметки к выпуску

Скачать OpenSearch

Вышел Data Prepper 2.11

Улучшения в основном консулись импорта данных из OTel. Как нам кажется, возможности Data Prepper многие недооценивают. А ведь там есть много интересного, в частности, агрегация собираемых данных.

Star-tree индексы — технология, которая предварительно вычисляет агрегации в OpenSearch. Функционал появился начиная с версии 2.18 и пока находится в экспериментальном формате. Если вы активно используете агрегации в работе, рекомендуем обратить внимание на эту технологию. Можно использовать только для неизменяемых индексов (подойдет для логов). Однако, есть и другие ограничения.

На приложенном изображении сравнение времени на выполнение агрегаций при традиционном способе и при помощи star-tree. Преимущество налицо.

Статья в блоге OpenSearch

Подробности в документации

Курс по поиску в ElasticSearch/OpenSearch

Мы готовим курс по поиску и подготовили программу тренинга. Тренинг будет длится два дня и охватит максимально подробно тематику поиска, агрегаций, создание оптимального индекса для поиска, формирование релевантности и многого другого.

Хотелось бы у вас узнать, есть ли интерес к такому курсу и, возможно, вы сможете предложить свои темы, которые хотели бы рассмотреть в курсе. Мы уже подготовили предварительную структуру:

Описание курса ElasticSearch/OpenSearch Поиск

Если вы или ваши коллеги хотели бы принять участие в курсе или хотели бы предложить свои темы в курс, напишите, пожалуйста, нам в @galssoftware.

Планируем проведение этого тренинга в июле-августе.

Заранее большое спасибо за обратную связь!

Get started with OpenSearch 3.1

Не успели мы опомнится от версии 3.0, как OpenSearch анонсировал 3.1. Лихо, что тут скажешь.

Статья в блоге OpenSearch

Загрузка

Заметки к выпуску

Redline-тестирование теперь доступно в OpenSearch Benchmark

Тестирование Redline содержит в себе:

🚀 Модуль управления для мониторинга пропускной способности запросов и сбоев в режиме реального времени.

🚀Саморегулирующийся механизм нагрузки, позволяющий приостанавливать и возобновлять работу клиентов на основе поведения кластера.

Читать в блоге OpenSearch

Making ingestion smarter: System ingest pipelines in OpenSearch

В OpenSearch 3.1 представлен системный ingest pipepline — новая возможность, сделанная специально для разработчиков плагинов. Она позволяет автоматически обрабатывать документы во время заливки данных, определяя системные процессоры, которые запускаются на основе полей или параметров при сопоставлении индекса. Это позволяет встраивать логику обработки непосредственно в плагин, не требуя от пользователей ручной настройки ingest pipeline. Читать в блоге OpenSearch.

Вышли Elastic 9.1/8.19

Интересный подход получается с релизами двух мажорных версий. Похоже, что в Elastic не хотят расстраивать пользователей, который уже основательно сжились с 8 версией. Но, как пишут, это в последний раз. Дальнейшего развития версии 8.х не будет. Подробности в блоге Elastic.

Пошаговое руководство по миграции из одного кластера в другой

В статье в блоге Elastic разобраны 3 способа миграции данных:

🚀 Переиндексация из удаленного кластера

🚀 Передача данных с использованием снимков

🚀 Перенос данных с помощью Logstash

Elasticsearch plugin for UBI: Analyze user behavior from search queries

UBI (User Behavioral Insights) — это стандарт, помогающий собирать и отслеживать статистику использования поисковых приложений. В этой статье рассматривается стандарт UBI и объясняется, как собирать аналитику с помощью плагина Elasticsearch.