30 сентября и 1 октября мы будем проводить двухдневное обучение по Elastic Stack. В программе теоретическая часть с основами решения и обширная лабораторная работа.

На лабораторной работе мы установим отказоустойчивый кластер Elasticsearch, научимся разбирать лог-файлы, настроим безопасность кластера, поработаем с Index Lifecycle Management, отключим ноду кластера и посмотрим что произойдет. Мы также загрузим интересные массивы данных по авиваперелетам, каталогами музыки и фильмов, научимся работать с этими данными и красиво визуализируем. В лабораторной работе также будет настройка оповещений через Elast Alert, работа со снапшотами в хранилище S3 и много чего еще.

Если хотите прокачать ваши навыки работы с Elastic или только начинаете с ним работать — приходите к нам на обучение в следующие потоки. Подробнее об обучении.

Как устроено голосование за мастер ноду и как устроен кворум — читайте в новом посте в блоге у нас на сайте.

Новый функционал в Elastic 7.15 — анализ утилизации диска каждым полем индекса. Интересная штука, чтобы обнаружить неоптимальные настройки вашего кластера. Этот API пока что экспериментальный.

Field usage stats API — возвращает информацию об использовании различных типов полей для каждого шарда и поля индекса. Поможет посмотреть на индекс с новой стороны. Этот API пока что экспериментальный.

День Эластика в России и СНГ

Приглашаем вас на онлайн-мероприятие 14 декабря в 14 часов по московскому времени. Будут выступать как представители Elastic так и конечные пользователи. Подробная программа и регистрация по ссылке.

​Hazelcast + Kibana: лучшие друзья для исследования и визуализации данных

Интересный кейс визуализации данных по изменениям в Википедии в Kibana. Читать на Хабре.

​Онлайн-калькулятор для расчета сайзинга кластера Elasticsearch. Основан на формулах из нашей статьи о сайзинге Elasticsearch на Хабре.

Elasticsearch Indexing Strategy in Asset Management Platform (AMP)

В блоге Neflix рассказывают как они работают с 7Тб хранилищем.

​Lamoda интересно рассказывает об устройстве своего поиска.

Вы «продоете теплых кросовок»: ищем идеальную пару обуви с помощью Elasticsearch

В этой статье мы расскажем:

⚡️ что находится «под капотом» поиска в Lamoda;

⚡️ как мы понимаем пользователей и разбираем поисковые запросы;

⚡️ как обогащаются атрибуты товаров и по какой логике формируется запрос к Elasticsearch;

⚡️ над чем работаем сейчас и какие есть планы на будущее.

Читать дальше на Хабре.

​Только Elastic Stack и ничего лишнего

Приглашаем на ближайшее 3-дневное обучение Elastic Stack. Обучение будет проходить 20-22 декабря в онлайн-формате через Zoom.

Каждый день обучения состоит из блоков теории и практики. Мы пройдем путь от установки отказоустойчивого кластера Elasticsearch до настроек продвинутых визуализаций в Kibana, разберемся с сайзингом кластера, настроим оповещения, создадим снэпшоты на хранилище S3 и отключим одну из нод, чтобы увидеть что произойдет с кластером. На курсе также подробно разбирается тема Index Lifecycle Management (ILM).

Для лабораторных работ мы подготовили интересные датасеты с хитами чарта Rolling Stones, героями игры Heroes of Might and Magic 3 и другими. За 3 дня вы научитесь проектировать и разворачивать отказоустойчивый кластер Elasticsearch, создавать информативные визуализации в Kibana и формировать комплексные ingest-pipelines.

Подробная программа курса на нашем сайте. Места ещё есть.

Как мы логшипим в Elasticsearch и что думаем о Filebeat

Привет, я - Эдгар, backend-разработчик личного кабинета МегаФон, поделюсь решением проблемы log shipping-процесса в централизованное хранилище Elasticsearch, которое мы нашли вместе с командой. На Хабр!

ElasticSearch — как мы делали свою речевую аналитику

Мы в TQM используем Elastic потому, что он гибкий, широко известный, имеет удобный и простой синтаксис, множество библиотек для работы как на Python, так и на C# (NEST). Хорошо скейлится под наши объемы (1—30 Тб).Kibana также очень удобна, мы используем ее для мониторинга, консоль Kibana применяем для запросов. А еще по сравнению с тем же Sphinx, Elastic удобно масштабировать (просто добавляем шарды, ноды, и он сам распределяет данные по ним). В случае с тем же Sphinx нам пришлось бы писать этот распределенный поиск самим, и не факт, что у нас получилось бы хорошо с первого раза. На Хабр!

Короткая статья о нечетком поиске в Elasticsearch

https://medium.com/@vipulkumar_36528/fuzzy-query-in-elastic-search-393c8db7c496

Короткая статья об опыте обновления 10 нод Elasticsearch. Полезно на волне новостей об уязвимостях log4j.

​How to Quickly Setup an ELK Stack and Elastic Agent to Monitor macOS Event Data

Читать на Медиуме.

16-18 февраля проведем 3-дневный вводный курс по работе с Elastic Stack.

Мы добавили в курс разделы с конвертированием SQL в DSL, нагрузочное тестирование кластера Elastic при помощи утилиты Rally, работы с задачами машинного обучения и SIEM.

После прохождения курса вы будете уметь разворачивать защищенный кластер, настраивать обработку различных данных, создавать визуализации в Kibana, рассчитывать сайзинг и многое другое.

Курс — это как ракета-носитель, которая за 3 дня выведет вас на заданную орбиту. Вы сможете сразу приступить к работе вместо долгого изучения документации по каждому из компонентов Elastic Stack.

Подробная программа, условия и на нашем сайте. Вопросы можно задать @galssoftware

Elastic 8.0: A new era of speed, scale, relevance, and simplicity

Ждали, ждали и дождались. Что нового?

​Migrating MySQL Data to ElasticSearch Using Logstash

Подход к миграции из MySQL в Elasticsearch для повышения скорости поиска по данным. Ссылка.

Investigate Log4Shell exploits with Elastic Security and Observability — в этой статье в блоге Elastic пример реализации поиска уязвимости Log4Shell при помощи модулей Observability и Security. Эти модули доступны и в бесплатной версии Elastic, поэтому использовать их можно совершенно свбодно.

В связи с приостановкой поставок в РФ таких известных APM-решений как Appdynamics или Dynatrace, возможности Elastic APM будут как нельзя кстати.