Gunnar Morling HPG сделали прикольный вебсайтик, где собрали все возможные около-кафковские штуки.
https://a-great-day-out-with.github.io/kafka.html

#kafka #landscape

Тут Netflix рассказывает почему они выбрали Alpakka-Kafka, как утилизируют и мониторят свою Kafka.

Alpakka-Kafka - это коннектор для Kafka реализованный на Akka для подключения к Akka стримам и создания реактивной кафки.

#kafka #alpakka_kafka #akka #netflix

https://netflixtechblog.com/towards-a-reliable-device-management-platform-4f86230ca623

Kcctl - утилита командной строки для работы с Kafka Connect. Клиент реализован с оглядкой на kubectl, позволяет регистрировать и проверять коннекторы, удалять их, перезапускать и т.д.
Более подробно в видео https://youtu.be/F9bUsM1ZwKk

#kcctl #kafka #kafka_connect #cli

https://github.com/kcctl/kcctl

KLoadGen - плагин генератора нагрузки kafka для jmeter, предназначенный для работы со схемой AVRO и JSON. Он позволяет отправлять сообщения в kafka, подключается к серверу Scheme Registry, извлекает тему для отправки и каждый раз генерирует случайное сообщение.

#kafka #jmeter #perfomance

https://github.com/corunet/kloadgen

Cruise-control - это инструмент полностью автоматизирующий динамическую перебалансировку рабочей нагрузки и самовосстановление кластера Kafka, обнаружает аномалии, следит за утилизацией ресурсов брокерами, топиками и партишенами.

Поддерживает авторизацию HTTP Basic и JWT, аутентификацию. Также предоставляет параметры администрирования, такие как: добавление и удаление брокеров, ребалансировка, исправление реплик, перевыборы лидера, исправление аномалий и управление фактором репликации. А управлять всем этим можно через REST API или cccli утилиту командной строки.

#kafka #cccli

https://github.com/linkedin/cruise-control
Как LinkedIn настраивает Kafka для 7 триллионов сообщений в день

А вот подборка event listeners для Keycloak которые позволяют отправлять события в шины Kafka или RabbitMQ, что может быть полезно для аудита действий пользователей (UAM, User activity monitoring)

#keycloak #mqtt #kafka #rabbitmq #UAM #audit

Keycloak events listener - MQTT
Keycloak events listener - RabbitMQ
Keycloak events listener - Kafka

Тут DZone обзор на KubeMQ написали, это такая альтернативная Kafka, написанная на Go, нацеленная на cloud-native и kubernetes.
Из интересного, про прозрачную миграцию с кафки рассказывают при помощи KubeMQ Kafka connector. Я уж успел забыть про проект, а он оказывается растёт активно. Думаю, может взять протестить.
https://dzone.com/articles/seamless-migration-from-kafka-to-kubemq

#kubemq #kafka

https://github.com/kubemq-io/kubemq-community

Plumber — это CLI инструмент для проверки, передачи, обмена сообщениями и перенаправления данных в таких системах как Kafka, RabbitMQ и подобных брокерах сообщений.

Инструмент позволяет:

▫️Безопасный просмотр содержимого ваших потоков данных
▫️Запись простых или закодированных данных в любую систему
▫️Маршрутизация данных из одного места в другое
▫️Декодирование данных protobuf/avro/thrift/JSON в режиме реального времени
▫️Ретрансляция данных в Batch platform
▫️Воспроизведение событий в системе сообщений в вашей локальной сети

А поддерживает эта утилита и в правду много систем. А именно: Kafka, RabbitMQ, GCP PubSub, MQTT, Amazon Kinesis Streams, Amazon SQS, Amazon SNS, ActiveMQ, Azure Service Bus, Azure Event Hub, NATS, NATS Streaming, Redis-PubSub, Redis-Streams, Postgres CDC, MongoDB CDC, Apache Pulsar, NSQ, KubeMQ 😳

#cli #kafka #rabbitmq #pubsub

https://github.com/batchcorp/plumber

cruise-control-ui - одностраничное веб-приложение для управления крупными кластерами Kafka под управлением Cruise Control о котором ранее упоминал.

Дает возможности смотреть и управлять:
▫️Kafka Cluster Status
▫️Kafka Cluster Load
▫️Kafka Partition Load
▫️Cruise Control State
▫️Cruise Control Tasks
▫️Kafka Cluster Administration
▫️Cruise Control Proposals
▫️Cruise Control Tasks
▫️Preferences

Подробности смотрите в wiki проекта (есть скриншотики UI).

#kafka #cccli #ccfe #cruise_control

https://github.com/linkedin/cruise-control-ui

KIP-833: Mark KRaft as Production Ready - принят.
В релизе Kafka 3.3 режим KRaft будет production-ready 🥳

Приблизительная шкала времени и релизов:

▫️08 2022 Kafka 3.3: KRaft production-ready
▫️12 2022 Kafka 3.4: прекращение поддержки ZooKeeper
▫️04 2023 Kafka 3.5: одновременная подержка KRaft и ZK
▫️08 2023 Kafka 4.0: поддержка только режима KRaft

#kafka #kraft #KIP833

https://cwiki.apache.org/confluence/display/KAFKA/KIP-833%3A+Mark+KRaft+as+Production+Ready