Elastic Stack recipes
Приглашаем вас на совместный вебинар Yandex Cloud и Галс Софтвэр, посвящённый возможностям и практическим аспектам работы с сервисом Managed OpenSearch. 📅 Дата: 2 февраля 2026 года 🕒 Формат: онлайн 🎙 Участие: бесплатное, по предварительной регистрации 👉…
Вебинар по OpenSearch уже сегодня в 10 часов по московскому времени
Уже меньше, чем через час будет наш совместный вебинар с Яндекс Облаком, где мы поговорим о возможностях управляемого сервиса OpenSearch и расскажем как снизить затраты на хранение данных. Приходите!
Регистрация
Уже меньше, чем через час будет наш совместный вебинар с Яндекс Облаком, где мы поговорим о возможностях управляемого сервиса OpenSearch и расскажем как снизить затраты на хранение данных. Приходите!
Регистрация
🔥6👍2
Запись нашего сегодняшнего вебинара уже на нашем канале на Youtube! Подписка на канал горячо приветствуется👍
Все зарегистрированные участники дополнительно получат ссылку на презентации.
Все зарегистрированные участники дополнительно получат ссылку на презентации.
🔥13👍5
How to Collect, Process, and Ship Log Data with Vector
Если вы уже используете Vector или только планируете его использовать, обратите внимание на эту статью. Здесь разбираются практические кейсы настройки этого популярного сборщика и агрегатора данных.
@elasticstack_ru
Vector — это мощный агрегатор логов с открытым исходным кодом, разработанный компанией Datadog. Он позволяет создавать конвейеры мониторинга, легко получая логи из множества источников, преобразуя данные по мере необходимости и направляя их в нужное место назначения. Vector выделяется своей легковесностью, исключительной скоростью и эффективностью использования памяти, в основном благодаря реализации на языке Rust, известном своими возможностями управления памятью.
Если вы уже используете Vector или только планируете его использовать, обратите внимание на эту статью. Здесь разбираются практические кейсы настройки этого популярного сборщика и агрегатора данных.
@elasticstack_ru
🔥7👍4👎1
Вышел OpenSearch 3.5
Не успели мы толком развернуть и насладиться 3.4, как вышла версия 3.5.
Что нового:
🚀 Расширена поддержка Prometheus для более глубокого анализа метрик (интерфейс Prometheus внутри OSD)
🚀 Улучшенная оптимизация поиска с помощью Search Relevance Workbench
🚀 Поддержка памяти агента для самообучающихся приложений (добавили ИИ-агентам постоянную структурированную память непосредственно в OpenSearch)
🚀 Повышен контроль над производительностью и эффективностью запросов (улучшен Query insights)
Подробности в блоге OpenSearch
@elasticstack_ru
Не успели мы толком развернуть и насладиться 3.4, как вышла версия 3.5.
Что нового:
🚀 Расширена поддержка Prometheus для более глубокого анализа метрик (интерфейс Prometheus внутри OSD)
🚀 Улучшенная оптимизация поиска с помощью Search Relevance Workbench
🚀 Поддержка памяти агента для самообучающихся приложений (добавили ИИ-агентам постоянную структурированную память непосредственно в OpenSearch)
🚀 Повышен контроль над производительностью и эффективностью запросов (улучшен Query insights)
Подробности в блоге OpenSearch
@elasticstack_ru
🔥5👍4
Гулять так гулять!
Вышел ElasticSearch 9.3
Elastic Workflows теперь доступен в режиме предварительной версии. Эта штука реализует автоматизацию рабочих процессов в Elasticsearch.
Elastic Agent Builder теперь GA. Предоставляет набор возможностей на основе искусственного интеллекта, позволяющих разработчикам напрямую взаимодействовать с данными Elasticsearch и упростить разработку пользовательских агентов ИИ.
Три модели Jina AI (jina-embeddings-v3, jina-reranker-v2-base-multilingual и jina-reranker-v3) теперь GA через Elastic Inference Service (EIS). Обеспечивают быструю, ускоренную на графическом процессоре многоязычную эмбеддинговую обработку и высокоточную переранжировку.
Ускоренная на графическом процессоре векторная индексация появилась в качестве предварительной версии. Благодаря интеграции с NVIDIA cuVS — библиотеки с открытым исходным кодом для работы на графических процессорах, векторный поиск и кластеризация данных позволяет юзерам on-prem Elasticsearch ускорить индексирование данных с помощью графических процессоров NVIDIA.
Подробности в блоге Elastic
@elasticstack_ru
Вышел ElasticSearch 9.3
Elastic Workflows теперь доступен в режиме предварительной версии. Эта штука реализует автоматизацию рабочих процессов в Elasticsearch.
Elastic Agent Builder теперь GA. Предоставляет набор возможностей на основе искусственного интеллекта, позволяющих разработчикам напрямую взаимодействовать с данными Elasticsearch и упростить разработку пользовательских агентов ИИ.
Три модели Jina AI (jina-embeddings-v3, jina-reranker-v2-base-multilingual и jina-reranker-v3) теперь GA через Elastic Inference Service (EIS). Обеспечивают быструю, ускоренную на графическом процессоре многоязычную эмбеддинговую обработку и высокоточную переранжировку.
Ускоренная на графическом процессоре векторная индексация появилась в качестве предварительной версии. Благодаря интеграции с NVIDIA cuVS — библиотеки с открытым исходным кодом для работы на графических процессорах, векторный поиск и кластеризация данных позволяет юзерам on-prem Elasticsearch ускорить индексирование данных с помощью графических процессоров NVIDIA.
Подробности в блоге Elastic
@elasticstack_ru
🔥7👍2👎1
elasticsearch-labs
В этом репозитории на Github вы найдете Python notebooks, примеры приложений и другие ресурсы для тестирования платформы Elastic:
🚀 Использование Elasticsearch в качестве векторной базы данных для хранения эмбеддингов, обеспечения гибридного и семантического поиска.
🚀 Разработка сценариев: расширенная генерация поисковых запросов (RAG), суммаризация и ответы на вопросы (QA).
🚀 Примеры интегрираций OpenAI, Hugging Face и LangChain и использование Elasticsearch в качестве основы для приложений, работающих на базе LLM.
@elasticstack_ru
В этом репозитории на Github вы найдете Python notebooks, примеры приложений и другие ресурсы для тестирования платформы Elastic:
🚀 Использование Elasticsearch в качестве векторной базы данных для хранения эмбеддингов, обеспечения гибридного и семантического поиска.
🚀 Разработка сценариев: расширенная генерация поисковых запросов (RAG), суммаризация и ответы на вопросы (QA).
🚀 Примеры интегрираций OpenAI, Hugging Face и LangChain и использование Elasticsearch в качестве основы для приложений, работающих на базе LLM.
@elasticstack_ru
🔥8👍1👎1
Как мы организовали работу с логами с помощью OpenSearch
В этой статье вы узнаете об использовании OpenSearch в качестве системы аналитики логов.
@elasticstack_ru
В этой статье вы узнаете об использовании OpenSearch в качестве системы аналитики логов.
@elasticstack_ru
🔥13👎4
Вышел Data Prepper 2.14
В этой версии расширена поддержка сценариев мониторинга благодаря обновленной карте сервисов мониторинга производительности приложений (APM) и улучшена поддержка Prometheus.
🚀 Появился процессор
🚀 Улучшена логика приема метрик от Prometheus (remote write). Добавлены механизмы сортировки и дедупликации. Также появилась опция
🚀 Появилась поддержка ARM-архитектуры.
🚀 Образ Docker для Data Prepper стал на 46% меньше по размеру.
Статья в блоге OpenSearch
@elasticstack_ru
В этой версии расширена поддержка сценариев мониторинга благодаря обновленной карте сервисов мониторинга производительности приложений (APM) и улучшена поддержка Prometheus.
🚀 Появился процессор
otel_apm_service_map, который является развитием процессора service_map в части возможностей отслеживания вызовов между компонентами с течением времени. Также новый процессор автоматически генерит метрики Rate, Errors и Duration (RED).🚀 Улучшена логика приема метрик от Prometheus (remote write). Добавлены механизмы сортировки и дедупликации. Также появилась опция
out_of_order_time_window, которая позволяет принимать и пересортировать метрики, поступающие не по порядку.🚀 Появилась поддержка ARM-архитектуры.
🚀 Образ Docker для Data Prepper стал на 46% меньше по размеру.
Статья в блоге OpenSearch
@elasticstack_ru
🔥9👍2👎1
Snapshot Operations in OpenSearch
Статья хоть и не совсем свежая, но с момента ее публикации механизм создания снапшотов не изменился. Здесь описана структура хранения данных, как происходит обновление хранящихся данных и как выполняется восстановление из снапшотов.
@elasticstack_ru
Статья хоть и не совсем свежая, но с момента ее публикации механизм создания снапшотов не изменился. Здесь описана структура хранения данных, как происходит обновление хранящихся данных и как выполняется восстановление из снапшотов.
@elasticstack_ru
👍7⚡1
The 2026 OpenSearch Roadmap: Four pillars for AI-native innovation
Роудмэп развития проекта на 2026 год состоит из 4 основных компонентов:
🔴 Модернизация поиска
🔴 Наблюдаемость и аналитика
🔴 Масштабируемость и отказоустойчивость
🔴 Сообщество и платформа
В этой статье в блоге OpenSearch рассматривается каждый из компонентов, начиная с общего обзора и заканчивая техническими деталями. В статье вы найдете ссылки на соответствующие RFC и задачи GitHub, где можно изучить конкретные нововведения, оставить отзыв и внести свой вклад в разработку.
@elasticstack_ru
Роудмэп развития проекта на 2026 год состоит из 4 основных компонентов:
🔴 Модернизация поиска
🔴 Наблюдаемость и аналитика
🔴 Масштабируемость и отказоустойчивость
🔴 Сообщество и платформа
В этой статье в блоге OpenSearch рассматривается каждый из компонентов, начиная с общего обзора и заканчивая техническими деталями. В статье вы найдете ссылки на соответствующие RFC и задачи GitHub, где можно изучить конкретные нововведения, оставить отзыв и внести свой вклад в разработку.
@elasticstack_ru
🔥5👍2👎1
Вышел Data Prepper 2.15
Что нового:
🚀 появилась поддержка Apache Iceberg в качестве источника. Apache Iceberg — это формат хранения, используемый в архитектурах типа datalake. Пайплайн в data Prepper регулярно считывает состояние (изменения) таблиц Iceberg и записывает их в OpenSearch.
🚀 Data Prepper теперь может извлекать данные из Prometheus (RW) и записывать в него. Поддерживаются все стандартные типы метрик Prometheus, включая counter, gauge, histogram и sum. Можно использовать его вместе с приемником Prometheus для создания сквозных конвейеров метрик Prometheus в Data Prepper.
Подробнее в блоге OpenSearch
@elasticstack_ru
Что нового:
🚀 появилась поддержка Apache Iceberg в качестве источника. Apache Iceberg — это формат хранения, используемый в архитектурах типа datalake. Пайплайн в data Prepper регулярно считывает состояние (изменения) таблиц Iceberg и записывает их в OpenSearch.
🚀 Data Prepper теперь может извлекать данные из Prometheus (RW) и записывать в него. Поддерживаются все стандартные типы метрик Prometheus, включая counter, gauge, histogram и sum. Можно использовать его вместе с приемником Prometheus для создания сквозных конвейеров метрик Prometheus в Data Prepper.
Подробнее в блоге OpenSearch
@elasticstack_ru
🔥5👍3👎1
OpenSearchCon Europe 2026
Посмотрите записи с мероприятия. Много интересных докладов.
@elasticstack_ru
Посмотрите записи с мероприятия. Много интересных докладов.
@elasticstack_ru
👍3🔥2
Вышел Elastic 9.4: Workflows в GA, обновления Agent Builder и поддержка Prometheus/PromQL
Подробности в блоге Elastic
@elasticstack_ru
Подробности в блоге Elastic
@elasticstack_ru
🔥6👍2
Мы пропустили этот момент, но 7 апреля вышел OpenSearch 3.6
Что нового:
🚀 Автоматизация разработки поисковых приложений при помощи OpenSearch Launchpad
🚀 OpenSearch Relevance Agent для автоматической настройки релевантности поиска
🚀 APM-мониторинг с визуализацией в OpenSearch Dashboards, где можно группировать сервисы по атрибутам ресурсов, таким как язык SDK, фильтровать по пороговым значениям частоты ошибок или сбоев
🚀 Улучшен опыт использования PPL
🚀 Улучшен опыт использования Query Insights
Подробности в блоге OpenSearch
@elasticstack_ru
Что нового:
🚀 Автоматизация разработки поисковых приложений при помощи OpenSearch Launchpad
🚀 OpenSearch Relevance Agent для автоматической настройки релевантности поиска
🚀 APM-мониторинг с визуализацией в OpenSearch Dashboards, где можно группировать сервисы по атрибутам ресурсов, таким как язык SDK, фильтровать по пороговым значениям частоты ошибок или сбоев
🚀 Улучшен опыт использования PPL
🚀 Улучшен опыт использования Query Insights
Подробности в блоге OpenSearch
@elasticstack_ru
🔥5👍1
8-10 июня тренинг OpenSearch Advanced
Приходите на 3-дневный интенсив по продвинутой работе с OpenSearch для тех, кто уже с ним знаком. На интенсиве вас ждет погружение в расширенный функционал системы, у вас будет возможность поработать в лабораторном окружении с функциями, которые вы, возможно, раньше не использовали.
🚀 Безопасность в OpenSearch (ролевая модель и уровни доступа).
🚀 Распределенная архитектура (кросс-кластерный поиск и репликация).
🚀 Продвинутая репликация (распределение нагрузки, удаленное хранилище и поиск по снапшотам).
🚀 Оптимизация хранения данных (продвинутый маппинг и другие настройки индексов).
🚀 Работа с Vector, DataPrepper, Ingest Pipeline и Kafka (загрузка и обработка данных).
🚀 Работа с PPL, DQL и SQL (эффективный поиск по данным).
🚀 Мониторинг кластера (методы и инструменты).
🚀 OpenSearch Dashboards (ролевая модель, Workspaces, Tenants, отчеты, Data Sources и визуализации).
В лабораторном окружении мы развернем два кластера OpenSearch, Prometheus, Vector, Kafka и много чего другого, чтобы вы смогли поработать с перечисленным выше функционалом. Приходите и познакомьтесь с OpenSearch поближе!
Программа тренинга OpenSearch Advanced
Дополнительные вопросы можно задать через hello@gals.software или @galssoftware.
Приходите на 3-дневный интенсив по продвинутой работе с OpenSearch для тех, кто уже с ним знаком. На интенсиве вас ждет погружение в расширенный функционал системы, у вас будет возможность поработать в лабораторном окружении с функциями, которые вы, возможно, раньше не использовали.
🚀 Безопасность в OpenSearch (ролевая модель и уровни доступа).
🚀 Распределенная архитектура (кросс-кластерный поиск и репликация).
🚀 Продвинутая репликация (распределение нагрузки, удаленное хранилище и поиск по снапшотам).
🚀 Оптимизация хранения данных (продвинутый маппинг и другие настройки индексов).
🚀 Работа с Vector, DataPrepper, Ingest Pipeline и Kafka (загрузка и обработка данных).
🚀 Работа с PPL, DQL и SQL (эффективный поиск по данным).
🚀 Мониторинг кластера (методы и инструменты).
🚀 OpenSearch Dashboards (ролевая модель, Workspaces, Tenants, отчеты, Data Sources и визуализации).
В лабораторном окружении мы развернем два кластера OpenSearch, Prometheus, Vector, Kafka и много чего другого, чтобы вы смогли поработать с перечисленным выше функционалом. Приходите и познакомьтесь с OpenSearch поближе!
Программа тренинга OpenSearch Advanced
Дополнительные вопросы можно задать через hello@gals.software или @galssoftware.
🔥5👍1
Хотим провести вебинар по OpenSearch в ближайшие недели. Выберите какая тема была бы интереснее.
Anonymous Poll
21%
безопасность (ролевая модель, разграничение доступов)
29%
репликация (документная, сегментная, удаленное хранилище)
50%
оптимизация хранения (кодеки, маппинг полей)
Elastic Stack recipes
Хотим провести вебинар по OpenSearch в ближайшие недели. Выберите какая тема была бы интереснее.
Спасибо за ваши голоса🙏
На этой неделе анонсируем вебинар по оптимизации хранения. Следите за анонсами 🔥
На этой неделе анонсируем вебинар по оптимизации хранения. Следите за анонсами 🔥
👍3
Вышел OpenSearch 3.7
Пролетели 2 месяца и вот уже следующая версия подоспела.
Что нового:
➡️ Метрики Prometheus теперь можно запрашивать при помощи PromQL непосредственно из OSD
➡️ Новое представление Explore Metrics позволяет выполнять запросы в Prometheus и визуализировать эти данные
➡️ Новый унифицированный интерфейс оповещений: мониторы OpenSearch + правила оповещений Prometheus
➡️ Новый каталог SLO с бюджетом ошибок с указанием скорости расходования бюджета
➡️ Появились переменные дашбордов, что позволяет параметризовать панели мониторинга с помощью многократно используемых переменных вместо поддержания практически идентичных копий для каждого набора данных.
➡️ Появился конвейер преобразований на уровне визуализации при выполнении PPL-запросов.
➡️ Появилась симуляция выполнения ISM-политики
➡️ В интерфейс Query Insights добавились инструменты профилирования (ранее для профилирования запроса приходилось переходить в отдельное представление)
➡️ Появились API-ключи, предоставляющие разрешения для кластера и индекса, непосредственно связанные с ключом.
И многое другое. Подробнее в блоге OpenSearch.
@elasticstack_ru
Пролетели 2 месяца и вот уже следующая версия подоспела.
Что нового:
И многое другое. Подробнее в блоге OpenSearch.
@elasticstack_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥1
ES|QL Workshop
Регистрируйтесь на воркшоп от Elastic, который состоится 23 июня в 11 часов по московскому времени.
@elasticstack_ru
Регистрируйтесь на воркшоп от Elastic, который состоится 23 июня в 11 часов по московскому времени.
ES|QL вскоре будет основным языком запросов для Elasticsearch. Он разработан таким образом, чтобы его было легко освоить и использовать конечным пользователям, командам SRE, аналитикам безопасности, разработчикам приложений и администраторам. Используя ES|QL, вы сможете находить конкретные события, проводить статистический анализ и создавать визуализации.
@elasticstack_ru
👍2🔥2