Бывало ли вам интересно, какие баги может таить исходный код проектов, которыми пользуются большие компании по всему миру? Не упустите шанс познакомиться с интересными ошибками, которые нашёл...

Так исторически сложилось, что Apache Kafka использует для своих сообщений смещения (или же offset). В зависимости от нужд для настроек консьюмера можно выставить в параметр auto.offset.reset три...

О чем статья Хочу поделиться тем, как мы используем kafka для организации оперативного хранилища справочной информации. Архитектура системы и требования Сейчас я работаю на достаточно...

Привет, Хабр! На связи Александр Бобряков, техлид в команде МТС Аналитики. В предыдущей части я рассказал про создание Flink-джобы Kafka-to-Kafka с оператором на основе встроенных таймеров. Такой...

Привет, Хабр! Меня зовут Михаил, я являюсь ФинТех системным аналитиком, исполняющим роль архитектора на проектах. И сегодня я хочу поделиться материалами по Kafka, которые подготовил...

DSL — это то, что делает Kafka Streams таким простым и позволяет подняться на более высокий уровень абстракции. В прошлой статье мы рассматривали следующий код: KStream<String, String> source =...

Так уж получилось что как держатель профессии системного анализа я не раз в ходе занятий со студентами, собеседований, и ассесментов сталкивался с проблемой непонимания базовых...

Как я себя чувствовал Привет, Хабр! Меня зову Амир и я хотел бы сегодня поделиться с Вами своим опытом поднятия сервиса SSO на базе решения KeyCloak. Вводные: Требования со стороны бизнеса: Для...

Осознаем проблему Предположим, что у нас есть Postgres, Kafka и Elastic. В Postgres живет сущность, например, item. Иногда возникает необходимость создать поисковый индекс отдельно...

В предыдущих статьях [ ноль , один ] мы рассмотрели основные концепции Kafka Streams и сравнили их со стандартными подходами обработки потоковых данных. В этой части мы сосредоточимся на stateless...

Всем привет! Меня зовут Максим, я QA в Максилекте. Недавно коллеги попросили меня рассказать о базовых вещах в Kafka, которые могут быть полезны при тестировании общающихся между собой микросервисов...

В этой статье мы рассмотрим эволюцию стратегий репликации данных, начиная с ручных подходов и заканчивая автоматизированными решениями, использующими современные технологии, такие как Kafka и...

Ремизов Роман Аналитик ГК Юзтех Здравствуй, мир! Коллеги, доброго дня и отличного настроения! Меня зовут Ремизов Роман, я системный аналитик ГК Юзтех, и в этой статье я расскажу про использование JDBC...

При проектировании интеграций через Kafka или другие брокеры сообщений можно столкнуться с проблемой зависимых сообщений в разных очередях/топиках. Давайте изучим эту проблему подробнее и...

В предыдущих статьях Kafka Streams ч1: Привет, мир Kafka Streams ч2: DSL, Processor API Kafka Streams ч3: Stateless processing мы познакомились с основами Kafka Streams и рассмотрели stateless...

Apache Kafka — популярный распределенный брокер сообщений, который собирает и сохраняет сообщения (данные) со всех источников, а после предоставляет их программам и сервисам-получателям. Благодаря...

Привет Хабр! Меня зовут Дмитрий Ларин, я руководитель продуктового направления по защите баз данных группы компаний «Гарда», отвечаю за наш продукт «Гарда DBF». Это система класса DAM/DBF (Database...

В 2024 году мы не дождались выхода в свет Apache Kafka 4.0, в которой окончательно исчезнет поддержка ZooKeeper, оставив нам для создания кластеров только KRaft. Кто-то давно уже перешёл на эту...