​Свежая статья от Neil Buesing в которой он раскрывает все тонкости настройки Apache Kafka в режиме KRaft! Для тех кто не в курсе (что очень странно для меня т.к. мой видос про Kraft давно в сети), KRaft — это KRaft mode in Apache Kafka, режим, который позволяет Kafka работать без использования Apache ZooKeeper.
В статье вы найдете подробные инструкции и лучшие практики по настройке этого режима.
🔗 Статью вы можете прочитать по этой ссылке: тут
А если вы предпочитаете действовать на практике, у нас есть хорошая новость: код и docker compose файлы из статьи доступны на Github!
🔗 GitHub репозиторий: тут

📣 Всем привет!
Те, кто не смог посетить недавнюю конференцию Kafka Summit, теперь могут радоваться! Все видеозаписи события теперь доступны онлайн и бесплатно!
Видео можно найти на сайте Confluent.
Всем пока!

​🖼️ Danica Fine из Confluent подробно рассказывает о выходе Apache Kafka 3.5 и всех улучшениях и нововведениях, которые этот релиз внесёт в мир потоковых данных. 🎥🎬

https://youtu.be/BVxDFL5iTx8

📣 На правах рекламы (а может быть и нет) - очень клевая конфа Scale (не путать со Scala) By The Bay https://www.scale.bythebay.io возвращается из онлайна в офлайн. В этом году она пройдет в Окленде, штат Калифорния с 13 по 15 ноября!
Будет много классных докладов (в том числе по Кафке). Так же обещают, Gwen Shapira будет делать keynote.
Для пользователей этого чата нам выписали скидку на билет GRECHA15. За подробностями пишите вашему одмену или @oli_kitty в личку!
Надеюсь увидять многих в ноябре!

Какой ппц, конечно

После слияния VmWare и Broadcom начали выпиливать крутые кадры. Гари Расселл, автор множественных фреймворков спринга (amqp, jms, kafka, pulsar) и активный пользователь Stackoverflow (если вы когда-то гуглили вопросы про Spring+Kafka то точно видели его ответы) твитанул сегодня...

https://x.com/gprussell/status/1729644902235987976

Не знаю как это сложится на общем состоянии поддержки Kafka в Spring. Следим за развитием событий.

🎄 всех с наступившим! Давно я в канал не заходил и ничего не постил. Буду исправляться в 2024!

P.s. Давайте попробуем вот эту игру с бустом канала https://t.me/AwesomeKafka_ru?boost

Kafka: Очереди сейчас и в будущем

Kafka поддерживает режим publish-subscribe, когда каждый клиент получает все сообщения топика. Однако, чаще требуется, чтобы клиенты потребляли уникальные подмножества сообщений. Это возможно благодаря consumer groups: в группе каждый потребитель получает набор партиций, из которых может потреблять данные.

Тем не менее, данный подход имеет ограничения. Поэтому появился KIP-932, направленный на добавление новых возможностей очередей в Kafka.

KIP-932 предлагает концепцию Shared Groups, позволяя кооперативное потребление сообщений из топика с произвольным числом потребителей. В отличие от consumer groups, назначение партиций (partition assignment) не эксклюзивное, что снимает ограничения по числу участников в consumer group.
Для тех, кто использует Kafka в продакшене, новые функции предложат значительные улучшения в производительности и гибкости. В статье Adam Warsky подробно рассматриваются текущие характеристики и ограничения consumer groups, новые возможности по KIP-932 и как их можно реализовать с помощью паттерна KMQ.

https://softwaremill.com/kafka-queues-now-and-in-the-future/

​Мой бывший коллега по Confluent Robin Moffatt https://twitter.com/rmoff/ уже некоторое время ведет замечательный альманах Checkpoint Chronicles и собирает лучшие материалы по Kafka, Flink, Stream Processing. Поддержите моего бро, подпишитесь! Там годнота!

https://www.decodable.co/tag/checkpoint-chronicle

🚀 Чат! Я так понимаю, что на моей доисторической Родине Clickhouse любят больше, но не могу не похвалиться в этом чате!
Рад объявить о выходе нового курса на канале StarTree, посвященного продвинутым темам в Apache Pinot™!
Смотрите плейлист здесь! 📽️
Перед началом курса настоятельно рекомендую ознакомиться с курсом Apache Pinot 101
Все бесплатно, даже есть материалы для самостоятельного обучения
🚀 В первой серии мы познакомим вас с курсом и расскажем, что вас ждет впереди.
🛠️ Во втором видео мы углубимся в настройку вашего собственного кластера Apache Pinot™! Узнайте, как настроить кластер.
🔒 В третьем видео мы расскажем о настройке тенантов в Apache Pinot™. Узнайте, как изолировать и управлять различными наборами данных и рабочими нагрузками.
🗂️ Четвертое видео посвящено созданию схем, таблиц и сегментов в Apache Pinot™. Узнайте, как эффективно структурировать и организовывать данные.
📥 В пятом видео мы исследуем техники загрузки данных в Apache Pinot™. Узнайте, как эффективно загружать данные в реальном времени и пакетные данные.
🔄 Шестое видео посвящено Upserts в Apache Pinot™. Узнайте, как обновлять существующие записи или вставлять новые без проблем.
🔄 В седьмом видео мы исследуем трансформацию данных во время загрузки в Apache Pinot™. Узнайте, как очищать и обогащать данные на лету.
🔍 В восьмом видео мы рассмотрим запросы данных с использованием одноэтапного и многоэтапного механизмов запросов в Apache Pinot™. Узнайте, какой подход лучше всего подходит для ваших запросов.
⚡ В девятом видео мы исследуем различные типы индексов в Apache Pinot™. Узнайте, как оптимизировать производительность запросов с помощью правильных индексов.
🤖 В десятом видео мы познакомим вас с Minions в Apache Pinot™. Узнайте, как эти фоновые процессы могут автоматизировать и оптимизировать ваши операции с данными. Готовы встретиться с Minions?

​​Чат, у меня тут новости. В общем, не отпускает меня Кафка. Поэтому я с сегодняшнего дня снова в $CFLT. Как у нас тут говорят, я очень excited по этому поводу.
Будет много разного про Кафку (duh!), Flink ну и смежные технологии!

​😱 Если вы в Bay Area сегодня, то приходите поручкаться

- Data Streaming Summit (former Pulsar Summit) https://datastreaming-summit.org/event/north-america-2024/sessions/north-america-2024-uncorking-real-time-analytics-with-pulsar-pinot-and-flink
- BA Kafka meetup https://www.meetup.com/kafkabayarea/events/303887082/

🎥 Запускаем новый канал Confluent Developer. Только технологии, маркетинг булшит сведен к минимуму .

🔔Подпишись и в колокольчик позвони

https://youtu.be/IQ3VCAQMp9M?si=RdrkTHwQLEgAKc4d

А вы уже попробовали новый плагин Confluent для VSCode?

Качаем с маркетплейса, делимся впечатлениями в комментах!

​​​🤯 Чувак решил попробовать Claude 3.7 и сговнякал очень прикольный симулятор и визуализатор Кафки.

Попробовать https://evoura.com/kafka-traffic-visualizer/
Код https://github.com/evouraorg/kafka-traffic-visualizer
Пост в LI https://www.linkedin.com/posts/renatomefi_kafka-traffic-visualizer-with-claude-37-activity-7302805325873664000-7E8H

​🔴 Чат, вы не просили, но я сделяль ™

Я возобновляю стримы на канале Confluent Developer (отличный от корпоративного канала, где я раньше стримил, back in a day).
Please, welcome - Streaming Frontiers - Where No Data Streaming Engineers Has Gone Before.

Планирую выходить лайв хотя бы раз в месяц, если понравится аудитории, то чаще.
Формат будет - «Витя делает вид что понимает что-то в программировании и в Кафке».

Заходите на огонек завтра, где мы поковыряем Confluent Extension для VS Code и попробуем сделать что-то интересное с ним.

Слылка https://www.youtube.com/watch?v=qzTzo7VLx9c

Простите не удержался. Весь день тестировал 4o на предмет созния картинок. Очень серьёзно подтянули генерацию текста.

​🎤 Весенний тур 2025 — встретимся на конференциях!

Этой весной меня ждёт серия выступлений по Европе. Kafka, Flink, Kotlin, real-time data — если ты будешь на одном из этих ивентов, обязательно подойди, пообщаемся!

🇵🇱 Краков, Польша
— 13 мая: Kraków Kafka Meetup
— 14 мая: GeeCON 2025

🇬🇧 Лондон, Великобритания
— 21 мая: Current 2025

🇩🇰 Копенгаген, Дания
— 23 мая: KotlinConf 2025

🇳🇱 Нидерланды
— 3 июня: IntelliJ IDEA Conf (онлайн)
— 3 июня: Utrecht Java User Group
— 4 июня: Amsterdam Java User Group
— 5 июня: J-Spring 2025

Ссылки на мероприятия:
meetup.com/krakow-kafka
2025.geecon.org
confluent.swoogo.com/currentlondon
kotlinconf.com
lp.jetbrains.com/intellij-idea-conf-2025
meetup.com/utrecht-java-user-group
meetup.com/amsterdam-java-user-group
jspring.nl

Если ты из этих городов — до встречи на конференциях!

🐿️ Пытались ли вы понять почему вы не видите результатов работы Flink-а?
Пробовали ли вы когда-нибудь разобраться с Watermarks в Apache Flink и не поехать крышей?
Сделали вам «веселые картинки», чтобы разбираться было проще.
Надеюсь пригодится!

https://flink-watermarks.wtf/
https://flink-watermarks.wtf/
https://flink-watermarks.wtf/

👩‍💻 Сходил в гости на стрим к VSCode Live! Поговорили про Confluent Extension для VSCode. Показал основные фичи - локальна разработка, message viewer, темплейты проектов (показал Python и Go, но есть и другие). Так же показал интеграции с Copilot (chat participant, MCP сервер). В общем, кмк, получилось неплохо.

🔴 Запись уже тут https://www.youtube.com/live/KRBqLjRjX70?si=d_8IY44SNb-kBj8H
⬇️ скачать extension https://marketplace.visualstudio.com/items?itemName=confluentinc.vscode-confluent

​📝 сделал демку с streaming lakehouse на опинсорсных технологиях (без confluent cloud и tableflow) и написал блог. Как раз к Iceberg Summit на след неделе.
Почитайте, покомментируйте

https://gamov.io/posts/streaming-lakehouse/