Advance Optimization Techniques for Elasticsearch
Несколько интересных способов.
Несколько интересных способов.
Write Elasticsearch Queries with Logical Conditions in a Simpler Way
Когда в запросах требуется использование логических выражений NOT, AND и OR, обычно в дело вступают конструкции must, should, must_not. Логические запросы могут использоваться для выполнения всех типов расширенного поиска. Но для простого поиска с базовыми условиями NOT, AND и OR использование логических запросов было бы излишним, поскольку нужно написать много шаблонного кода. В такой ситуации больше подойдут запросы query_string, т.к. у них более простой синтаксис.
Когда в запросах требуется использование логических выражений NOT, AND и OR, обычно в дело вступают конструкции must, should, must_not. Логические запросы могут использоваться для выполнения всех типов расширенного поиска. Но для простого поиска с базовыми условиями NOT, AND и OR использование логических запросов было бы излишним, поскольку нужно написать много шаблонного кода. В такой ситуации больше подойдут запросы query_string, т.к. у них более простой синтаксис.
👍1👎1
The same, but different: Boosting the power of Elasticsearch with synonyms
Для поисковой системы важно знать, какие термины в документах и запросах должны совпадать, даже если они выглядят по-разному. Поскольку это сильно зависит от целей использования, пользователи должны предоставить соответствующие правила. Фильтры синонимов, которые можно использовать в пользовательских анализаторах, заменяют или добавляют дополнительные токены на основе пользовательских правил либо во время индексирования, чтобы сохранить, например, оба варианта слова в проиндексированном документе, либо во время запроса в чтобы расширить условия запроса и сопоставить более релевантные документы. Из этой статьи в блоге Elastic вы узнаете о мощи использования синонимов при поиске в Elastic.
Для поисковой системы важно знать, какие термины в документах и запросах должны совпадать, даже если они выглядят по-разному. Поскольку это сильно зависит от целей использования, пользователи должны предоставить соответствующие правила. Фильтры синонимов, которые можно использовать в пользовательских анализаторах, заменяют или добавляют дополнительные токены на основе пользовательских правил либо во время индексирования, чтобы сохранить, например, оба варианта слова в проиндексированном документе, либо во время запроса в чтобы расширить условия запроса и сопоставить более релевантные документы. Из этой статьи в блоге Elastic вы узнаете о мощи использования синонимов при поиске в Elastic.
10 common questions answered with formulas and time travel in Kibana
В этой статье 10 примеров создания аналитических представлений в Kibana.
⚡️Is the proportion of errors increasing?
⚡️How does performance compare to last week?
⚡️How does this data compare to peers?
⚡️What is having the biggest effect on my average?
⚡️What's the raw gain/loss compared historically?
⚡️What's the gain/loss as a percentage of past performance?
⚡️How did the data get to where it is now?
⚡️How can I explore a dashboard in space interactively?
⚡️What's the per-unit version of this metric?
⚡️What's my industry-specific calculation— like a "Net Promoter Score"— for the last period?
В этой статье 10 примеров создания аналитических представлений в Kibana.
⚡️Is the proportion of errors increasing?
⚡️How does performance compare to last week?
⚡️How does this data compare to peers?
⚡️What is having the biggest effect on my average?
⚡️What's the raw gain/loss compared historically?
⚡️What's the gain/loss as a percentage of past performance?
⚡️How did the data get to where it is now?
⚡️How can I explore a dashboard in space interactively?
⚡️What's the per-unit version of this metric?
⚡️What's my industry-specific calculation— like a "Net Promoter Score"— for the last period?
В этом посте 3 статьи Аделя Сачкова, который в своё время интересно писал о своём опыте работы с Elastic. Этим статьям уже 4+ года, но актуальность они по большей части не потеряли.
Сохранить данные и веру в человечество: большая миграция кластера ElasticSearch
Мониторинг Elasticsearch без боли и страданий
Девять граблей Elasticsearch, на которые я наступил
Сохранить данные и веру в человечество: большая миграция кластера ElasticSearch
Мониторинг Elasticsearch без боли и страданий
Девять граблей Elasticsearch, на которые я наступил
Too many fields! 3 ways to prevent mapping explosion in Elasticsearch
Несколько советов о том, как предотвратить излишнее создание полей в документах Elasticsearch.
Несколько советов о том, как предотвратить излишнее создание полей в документах Elasticsearch.
Оптимизация производительности кластера Elasticsearch
В этом вольном переводе оригинальной статьи, опубликованной ebay, вы узнаете несколько подходов по оптимизации производительности поиска и индексирования документов Elasticsearch.
В этом вольном переводе оригинальной статьи, опубликованной ebay, вы узнаете несколько подходов по оптимизации производительности поиска и индексирования документов Elasticsearch.
👍4
Fluent Bit 2.0 and OpenSearch
В октябре уже прошлого 2022 года на KubeCon North America был представлен Fluent Bit 2.0 с большим количеством новых возможностей на борту. Ключевым нововведением этой версии является поддержка динамического индекса для записи в OpenSearch. Например, если вы читаете данные из логов Kubernetes, вы можете следовать стратегии индексации, в которой каждый индекс именован по пространству имен Kubernetes. Благодаря поддержке динамического индекса с помощью Record Accessor теперь можно настроить индекс для извлечения значений из потока входящих сообщений.
Подробнее ->
В октябре уже прошлого 2022 года на KubeCon North America был представлен Fluent Bit 2.0 с большим количеством новых возможностей на борту. Ключевым нововведением этой версии является поддержка динамического индекса для записи в OpenSearch. Например, если вы читаете данные из логов Kubernetes, вы можете следовать стратегии индексации, в которой каждый индекс именован по пространству имен Kubernetes. Благодаря поддержке динамического индекса с помощью Record Accessor теперь можно настроить индекс для извлечения значений из потока входящих сообщений.
Подробнее ->
👍1
Курс выходного дня по Elastic Stack 8/OpenSearch
Мы проводим 3-дневные семинары-инструктажи по Elastic Stack и OpenSearch, которые обычно случаются в рабочие дни. Появилась идея разбить эти три дня на три недели, например, по субботам. Если вам было бы интересно пройти обучение в таком формате, напишите @galssoftware или оставьте заявку через форму обратной связи на странице соответствующего курса.
И ещё небольшой анонс. 22-24 марта мы проведем курс по OpenSearch, регистрация на него уже открыта.
Программа курса по Elastic 8
Программа курса по OpenSearch
Мы проводим 3-дневные семинары-инструктажи по Elastic Stack и OpenSearch, которые обычно случаются в рабочие дни. Появилась идея разбить эти три дня на три недели, например, по субботам. Если вам было бы интересно пройти обучение в таком формате, напишите @galssoftware или оставьте заявку через форму обратной связи на странице соответствующего курса.
И ещё небольшой анонс. 22-24 марта мы проведем курс по OpenSearch, регистрация на него уже открыта.
Программа курса по Elastic 8
Программа курса по OpenSearch
Effortlessly monitor your Elasticsearch logs and receive real-time alerts on your phone with Elastalert 2 and Telegram
В этой статье рассмотрено, как настроить и использовать Elastalert 2 для получения предупреждений о важных событиях из Elasticsearch.
В этой статье рассмотрено, как настроить и использовать Elastalert 2 для получения предупреждений о важных событиях из Elasticsearch.
Кластер ElasticSearch на 1Ptb+
Статья о том, как устроен кластер с реально большим количеством данных.
Статья о том, как устроен кластер с реально большим количеством данных.
Одно из ключевых предназначений Elastic — использование в качестве SIEM системы. В связи с этим возникает необходимость настройки детекций, которые бы оповещали о подозрительной активности. По этой ссылке вы найдете список сетевых портов, которые могут быть использованы при атаке при помощи троянского зловреда. Список можно использовать для ваших детекций.
Единственный нативный и бесплатный способ отправки оповещений из Elasticsearch — использование Kibana Alerts. Но у Kibana Alerts в лицензии Basic есть существенный минус — возможность отправки (если это можно назвать отправкой) алертов в индекс или текстовый лог, чтобы потом оттуда их чем-то выгребать. Наверное, это можно делать через Zabbix.
Если же нет желания использовать описанную выше конструкцию, на помощь может прийти ElastAlert — бесплатная оповещалка с открытым исходным кодом. В этой статье описан небольшой воркшоп по его использованию.
Если же нет желания использовать описанную выше конструкцию, на помощь может прийти ElastAlert — бесплатная оповещалка с открытым исходным кодом. В этой статье описан небольшой воркшоп по его использованию.
👍3
Vector: руководство по уходу за граблями. Если уже используете или собираетесь использовать в качестве шиппера Vector вместе с OpenSearch/Elasticsearch, нужно обязательно прочитать эту статью на Хабре.
👍5
Airflow Log Integration with Fluent Bit + ELK Stack (Kubernetes). Вы можете спросить: а зачем мне это? Ключевое — можно удалить персистентность логов из подсистем airflow и обеспечить безопасное хранение критически важных логов ну и плюшки в виде аналитики/визуализаций в Kibane никто не отменял. Читать.
👍1
Родители и дети. Связываем документы в Elasticsearch. Статья об использовании непопулярного архитектурного решения — join field type. Может вам пригодиться, если считаете, что обновлять весь документ из-за изменения пары полей — ту мач. Важно учитывать, что родительские и дочерние документы должны находиться в одном шарде, что может отразиться в дальнейшем на масштабировании. Читать.
👍1
Elasticsearch in Action: Loading PDFs into Elasticsearch
Допустим, есть бизнес-задача — загрузить PDF-файлы в Elasticsearch, чтобы пользователи могли проводить по ним поиск. Elasticsearch позволяет индексировать PDF-файлы с помощью специального процессора, называемого процессором attachment.
Процессор attachment, как и любой другой процессор ingest, используется в ingest-пайпланах для загрузки вложений - таких как PDF-файлы, документы Word, электронные письма и так далее. Он использует библиотеку Tika (https://tika.apache.org) от Apache для извлечения данных из файла. Ожидается, что исходные данные будут преобразованы в формат base64 перед загрузкой в конвейер. В статье вы узнате как реализовать процесс от и до. Читать.
Допустим, есть бизнес-задача — загрузить PDF-файлы в Elasticsearch, чтобы пользователи могли проводить по ним поиск. Elasticsearch позволяет индексировать PDF-файлы с помощью специального процессора, называемого процессором attachment.
Процессор attachment, как и любой другой процессор ingest, используется в ingest-пайпланах для загрузки вложений - таких как PDF-файлы, документы Word, электронные письма и так далее. Он использует библиотеку Tika (https://tika.apache.org) от Apache для извлечения данных из файла. Ожидается, что исходные данные будут преобразованы в формат base64 перед загрузкой в конвейер. В статье вы узнате как реализовать процесс от и до. Читать.
🔥2👍1
1-3 марта проведем 3-дневный вводный курс по работе с Elastic Stack.
Мы добавили в курс разделы с конвертированием SQL в DSL, нагрузочное тестирование кластера Elastic при помощи утилиты Rally и SIEM.
После прохождения курса вы будете уметь разворачивать защищенный кластер, настраивать обработку различных данных, создавать визуализации в Kibana, рассчитывать сайзинг, обнаруживать уязвимости системы и многое другое.
Курс — это как ракета-носитель, которая за 3 дня выведет вас на заданную орбиту. Вы сможете сразу приступить к работе вместо долгого изучения документации по каждому из компонентов Elastic Stack.
Программа курса и заявка на участие по ссылке. Вопросы можно задать @galssoftware.
Мы добавили в курс разделы с конвертированием SQL в DSL, нагрузочное тестирование кластера Elastic при помощи утилиты Rally и SIEM.
После прохождения курса вы будете уметь разворачивать защищенный кластер, настраивать обработку различных данных, создавать визуализации в Kibana, рассчитывать сайзинг, обнаруживать уязвимости системы и многое другое.
Курс — это как ракета-носитель, которая за 3 дня выведет вас на заданную орбиту. Вы сможете сразу приступить к работе вместо долгого изучения документации по каждому из компонентов Elastic Stack.
Программа курса и заявка на участие по ссылке. Вопросы можно задать @galssoftware.
👍5