ElasticSearch — как мы делали свою речевую аналитику

Мы в TQM используем Elastic потому, что он гибкий, широко известный, имеет удобный и простой синтаксис, множество библиотек для работы как на Python, так и на C# (NEST). Хорошо скейлится под наши объемы (1—30 Тб).Kibana также очень удобна, мы используем ее для мониторинга, консоль Kibana применяем для запросов. А еще по сравнению с тем же Sphinx, Elastic удобно масштабировать (просто добавляем шарды, ноды, и он сам распределяет данные по ним). В случае с тем же Sphinx нам пришлось бы писать этот распределенный поиск самим, и не факт, что у нас получилось бы хорошо с первого раза. На Хабр!

Короткая статья о нечетком поиске в Elasticsearch

https://medium.com/@vipulkumar_36528/fuzzy-query-in-elastic-search-393c8db7c496

Короткая статья об опыте обновления 10 нод Elasticsearch. Полезно на волне новостей об уязвимостях log4j.

​How to Quickly Setup an ELK Stack and Elastic Agent to Monitor macOS Event Data

Читать на Медиуме.

16-18 февраля проведем 3-дневный вводный курс по работе с Elastic Stack.

Мы добавили в курс разделы с конвертированием SQL в DSL, нагрузочное тестирование кластера Elastic при помощи утилиты Rally, работы с задачами машинного обучения и SIEM.

После прохождения курса вы будете уметь разворачивать защищенный кластер, настраивать обработку различных данных, создавать визуализации в Kibana, рассчитывать сайзинг и многое другое.

Курс — это как ракета-носитель, которая за 3 дня выведет вас на заданную орбиту. Вы сможете сразу приступить к работе вместо долгого изучения документации по каждому из компонентов Elastic Stack.

Подробная программа, условия и на нашем сайте. Вопросы можно задать @galssoftware

Elastic 8.0: A new era of speed, scale, relevance, and simplicity

Ждали, ждали и дождались. Что нового?

​Migrating MySQL Data to ElasticSearch Using Logstash

Подход к миграции из MySQL в Elasticsearch для повышения скорости поиска по данным. Ссылка.

Investigate Log4Shell exploits with Elastic Security and Observability — в этой статье в блоге Elastic пример реализации поиска уязвимости Log4Shell при помощи модулей Observability и Security. Эти модули доступны и в бесплатной версии Elastic, поэтому использовать их можно совершенно свбодно.

В связи с приостановкой поставок в РФ таких известных APM-решений как Appdynamics или Dynatrace, возможности Elastic APM будут как нельзя кстати.

Рубрика «Удивительное рядом». И никто не знает чей. И как там появляются новые записи.

Эксперты обнаружили сервер Elasticsearch с содержимым СМС-сообщений от сервисов и банков, включая «Тинькофф» и «Озон»

В сети Интернет с 1 апреля 2022 года находится в открытом доступе сервер Elasticsearch, в индексе которого содержатся СМС-сообщения от различных российских и зарубежных сервисов и банков. Читать дальше.

Synonym Search in Elasticsearch and Alternatives — поиск синонимов в Elasticsearch. Ссылка.

​В принципе, даже понятно почему так часто бывают утечки из кластеров Elasticsearch. Обратите внимание, при разворачивании Elasticsearch в docker-контейнерах, если ничего не сделать, docker залезет в ваш iptables и откроет доступ к порту 9200 из внешней среды. Это не очень страшно если ваш сервер во внутреннем контуре, но если во внешнем, рано или поздно ваш открытый кластер будет обнаружен. Синк эбаут ит.

Вот парочка статей на тему:

Be careful with Docker ports!

Securing Your ElasticSearch Instances

​И немного о настройке интеграции Elasticsearch с SQL Server

Let’s Data Transfer from Sql Server to Elasticsearch using Logstash

With this article, I will try to explain how we can get data from Sql Server to Elasticsearch using Logstash on windows.

https://link.medium.com/FObfyOyo3ob

​У ELK’и иголки колки: минимизируем потерю сообщений в Logstash, следим за состоянием Elasticsearch

Интересная статья на Хабре о persistent queue — возможности Logstash скидывать данные на диск при невожности их передать.

How to Migrate from Elasticsearch to OpenSearch

Если по каким-то причинам вы решили отказаться от бесплатной версии Elastic, либо лишились возможности продлить подписку, то, скорее всего, уже рассматриваете OpenSearch. Основное очевидное преимущество — возможность штатной интеграции c AD. Остальные преимущества, на наш взгляд, весьма спорны.

Но если рассматриваете — вот неплохой гайд.

​На одном проекте был написан свой поиск на базе SQL с фильтрами и прочей лабудой. И пока было мало записей в БД все работало отлично, но в один прекрасный день мы сделали выгрузку в БД на 100000 уникальных записей, и что-то резко пошло не так...

Подключение и Настройка ElasticSearch + MySql + Yii2

​Если используете кросс-кластерный поиск между кластерами в различных локациях, ниже ссылка на интересное решение проблемы, при которой нода удаленного кластера переставала отвечать (проблемы с сетью, повышенная нагрузка etc.) и поиск крэшился. А всего-то нужно было добавить...

ElasticSearch: отказоустойчивый сервер отказал

​Интересная статья о реализации поиска в Lamoda.

Нам нужно уметь искать товары в сфере Fashion & Lifestyle. Например, запрос «американка»: для Lamoda это может быть водолазка без рукавов или мужская куртка-бомбер. Но если задать этот запрос в Google, он выдаст другие результаты, при этом тоже релевантные. Например, «американкой» может называться резьбовое соединение или игра в бильярд.

​Если много кластеров и групп пользователей

Как мы «завели» десятки команд в один кластер OpenSearch и разделили доступы

​Как мы логшипим в Elasticsearch и что думаем о Filebeat

Команда Мегафон пишет про неочевидные опции конфигурации Filebeat, которые позволят обеспечить надежную доставку логов. Спасибо им за это!