🤯 Вот это поворот - Confluent покупает стартап Immerok, который специализируется на предоставлении Managed Apache Flink.

Джей Крепс в анонсе:

Why add Flink? Well, we’ve watched the excitement around Flink grow for years, and saw it gaining adoption among many of our customers. Flink has the best multi-language support with first class support for SQL, Java, and Python. It has a principled processing model that generalizes batch and stream processing. It has a fantastic model for state management and fault tolerance.

In short: we believe that Flink is the future of stream processing.

Так же Джей сказал, что Confluent продолжит поддержку Kafka Streams и ksqlDB.

Как вам новость? Используете Flink с Кафкой?

https://www.confluent.io/blog/cloud-kafka-meets-cloud-flink-with-confluent-and-immerok/

​🐍 Confluent завезли курс по Кафке для Питонистов. Enjoy!
https://developer.confluent.io/learn-kafka/kafka-python/intro/

К разговору про .NET и Kafka в чате вспомни, что рассказывал про это на (внимание) SpringOne. Очень просили сделать что-то для .NET разработчиков. Даже запись сохранилась https://youtu.be/KrrnUrPWUZY

​Jack Vanlightly конечно, графоман, но никто не пишет про бенчмарки так как он. В последнем опубликованном посте, он сравнил производительность Apache Kafka® и redpanda. И на удивление (на самом деле нет) AK оказалась быстрее. Если кратко
Его тесты производительности показали, что Redpanda значительно уступает Apache Kafka по нескольким параметрам. Тесты проводились на идентичном оборудовании с одинаковыми настройками. Вот несколько ключевых выводов:

- Изменение количества продюсеров и консьюмеров с 4 до 50 резко снизило производительность Redpanda, несмотря на сохранение пропускной способности.
- Постоянная нагрузка на Redpanda в течение 24 часов приводила к замедлению дисков NVMe, вызывая высокие задержки. - С Kafka таких проблем не возникало из-за его более последовательного IO доступа.
- При достижении лимита хранения Redpanda показывала большие конечные задержки. Kafka оставался стабильным.
- Использование записей-ключей приводило к снижению пропускной способности и увеличению задержек у Redpanda. Kafka показывал лучшую производительность.
- Только Kafka смог полностью использовать пропускную способность дисков NVMe в 2 ГБ/с.
- Консьюмеры могли только сократить задержки с Kafka при постоянной нагрузке продюсера.
- Несмотря на утверждения, Redpanda не может обеспечить работу с нагрузкой 1 ГБ/с с тремя брокерами i3en.6xlarge.

Более подробные детали с картинками в блоге у Jack Vanlightly.

​Свежая статья от Neil Buesing в которой он раскрывает все тонкости настройки Apache Kafka в режиме KRaft! Для тех кто не в курсе (что очень странно для меня т.к. мой видос про Kraft давно в сети), KRaft — это KRaft mode in Apache Kafka, режим, который позволяет Kafka работать без использования Apache ZooKeeper.
В статье вы найдете подробные инструкции и лучшие практики по настройке этого режима.
🔗 Статью вы можете прочитать по этой ссылке: тут
А если вы предпочитаете действовать на практике, у нас есть хорошая новость: код и docker compose файлы из статьи доступны на Github!
🔗 GitHub репозиторий: тут

📣 Всем привет!
Те, кто не смог посетить недавнюю конференцию Kafka Summit, теперь могут радоваться! Все видеозаписи события теперь доступны онлайн и бесплатно!
Видео можно найти на сайте Confluent.
Всем пока!

​🖼️ Danica Fine из Confluent подробно рассказывает о выходе Apache Kafka 3.5 и всех улучшениях и нововведениях, которые этот релиз внесёт в мир потоковых данных. 🎥🎬

https://youtu.be/BVxDFL5iTx8

📣 На правах рекламы (а может быть и нет) - очень клевая конфа Scale (не путать со Scala) By The Bay https://www.scale.bythebay.io возвращается из онлайна в офлайн. В этом году она пройдет в Окленде, штат Калифорния с 13 по 15 ноября!
Будет много классных докладов (в том числе по Кафке). Так же обещают, Gwen Shapira будет делать keynote.
Для пользователей этого чата нам выписали скидку на билет GRECHA15. За подробностями пишите вашему одмену или @oli_kitty в личку!
Надеюсь увидять многих в ноябре!

Какой ппц, конечно

После слияния VmWare и Broadcom начали выпиливать крутые кадры. Гари Расселл, автор множественных фреймворков спринга (amqp, jms, kafka, pulsar) и активный пользователь Stackoverflow (если вы когда-то гуглили вопросы про Spring+Kafka то точно видели его ответы) твитанул сегодня...

https://x.com/gprussell/status/1729644902235987976

Не знаю как это сложится на общем состоянии поддержки Kafka в Spring. Следим за развитием событий.

Kafka: Очереди сейчас и в будущем

Kafka поддерживает режим publish-subscribe, когда каждый клиент получает все сообщения топика. Однако, чаще требуется, чтобы клиенты потребляли уникальные подмножества сообщений. Это возможно благодаря consumer groups: в группе каждый потребитель получает набор партиций, из которых может потреблять данные.

Тем не менее, данный подход имеет ограничения. Поэтому появился KIP-932, направленный на добавление новых возможностей очередей в Kafka.

KIP-932 предлагает концепцию Shared Groups, позволяя кооперативное потребление сообщений из топика с произвольным числом потребителей. В отличие от consumer groups, назначение партиций (partition assignment) не эксклюзивное, что снимает ограничения по числу участников в consumer group.
Для тех, кто использует Kafka в продакшене, новые функции предложат значительные улучшения в производительности и гибкости. В статье Adam Warsky подробно рассматриваются текущие характеристики и ограничения consumer groups, новые возможности по KIP-932 и как их можно реализовать с помощью паттерна KMQ.

https://softwaremill.com/kafka-queues-now-and-in-the-future/

​Мой бывший коллега по Confluent Robin Moffatt https://twitter.com/rmoff/ уже некоторое время ведет замечательный альманах Checkpoint Chronicles и собирает лучшие материалы по Kafka, Flink, Stream Processing. Поддержите моего бро, подпишитесь! Там годнота!

https://www.decodable.co/tag/checkpoint-chronicle

🚀 Чат! Я так понимаю, что на моей доисторической Родине Clickhouse любят больше, но не могу не похвалиться в этом чате!
Рад объявить о выходе нового курса на канале StarTree, посвященного продвинутым темам в Apache Pinot™!
Смотрите плейлист здесь! 📽️
Перед началом курса настоятельно рекомендую ознакомиться с курсом Apache Pinot 101
Все бесплатно, даже есть материалы для самостоятельного обучения
🚀 В первой серии мы познакомим вас с курсом и расскажем, что вас ждет впереди.
🛠️ Во втором видео мы углубимся в настройку вашего собственного кластера Apache Pinot™! Узнайте, как настроить кластер.
🔒 В третьем видео мы расскажем о настройке тенантов в Apache Pinot™. Узнайте, как изолировать и управлять различными наборами данных и рабочими нагрузками.
🗂️ Четвертое видео посвящено созданию схем, таблиц и сегментов в Apache Pinot™. Узнайте, как эффективно структурировать и организовывать данные.
📥 В пятом видео мы исследуем техники загрузки данных в Apache Pinot™. Узнайте, как эффективно загружать данные в реальном времени и пакетные данные.
🔄 Шестое видео посвящено Upserts в Apache Pinot™. Узнайте, как обновлять существующие записи или вставлять новые без проблем.
🔄 В седьмом видео мы исследуем трансформацию данных во время загрузки в Apache Pinot™. Узнайте, как очищать и обогащать данные на лету.
🔍 В восьмом видео мы рассмотрим запросы данных с использованием одноэтапного и многоэтапного механизмов запросов в Apache Pinot™. Узнайте, какой подход лучше всего подходит для ваших запросов.
⚡ В девятом видео мы исследуем различные типы индексов в Apache Pinot™. Узнайте, как оптимизировать производительность запросов с помощью правильных индексов.
🤖 В десятом видео мы познакомим вас с Minions в Apache Pinot™. Узнайте, как эти фоновые процессы могут автоматизировать и оптимизировать ваши операции с данными. Готовы встретиться с Minions?

​​Чат, у меня тут новости. В общем, не отпускает меня Кафка. Поэтому я с сегодняшнего дня снова в $CFLT. Как у нас тут говорят, я очень excited по этому поводу.
Будет много разного про Кафку (duh!), Flink ну и смежные технологии!

​😱 Если вы в Bay Area сегодня, то приходите поручкаться

- Data Streaming Summit (former Pulsar Summit) https://datastreaming-summit.org/event/north-america-2024/sessions/north-america-2024-uncorking-real-time-analytics-with-pulsar-pinot-and-flink
- BA Kafka meetup https://www.meetup.com/kafkabayarea/events/303887082/

🎥 Запускаем новый канал Confluent Developer. Только технологии, маркетинг булшит сведен к минимуму .

🔔Подпишись и в колокольчик позвони

https://youtu.be/IQ3VCAQMp9M?si=RdrkTHwQLEgAKc4d

А вы уже попробовали новый плагин Confluent для VSCode?

Качаем с маркетплейса, делимся впечатлениями в комментах!

​​​🤯 Чувак решил попробовать Claude 3.7 и сговнякал очень прикольный симулятор и визуализатор Кафки.

Попробовать https://evoura.com/kafka-traffic-visualizer/
Код https://github.com/evouraorg/kafka-traffic-visualizer
Пост в LI https://www.linkedin.com/posts/renatomefi_kafka-traffic-visualizer-with-claude-37-activity-7302805325873664000-7E8H

​🔴 Чат, вы не просили, но я сделяль ™

Я возобновляю стримы на канале Confluent Developer (отличный от корпоративного канала, где я раньше стримил, back in a day).
Please, welcome - Streaming Frontiers - Where No Data Streaming Engineers Has Gone Before.

Планирую выходить лайв хотя бы раз в месяц, если понравится аудитории, то чаще.
Формат будет - «Витя делает вид что понимает что-то в программировании и в Кафке».

Заходите на огонек завтра, где мы поковыряем Confluent Extension для VS Code и попробуем сделать что-то интересное с ним.

Слылка https://www.youtube.com/watch?v=qzTzo7VLx9c

Простите не удержался. Весь день тестировал 4o на предмет созния картинок. Очень серьёзно подтянули генерацию текста.