​​Чат, всем привет. Это Витя. На следующей неделе я выступаю на #kafkasummit London. Буду рассказывать про Testcontainers.
Пользуясь правами админа реквестирую накидать в комментах мне всяких странных (и не только) проектов тестирования Кафки, стримов и всего того, что с ними связано. Это поможет мне лучше раскрыть топик Тестирования Кафки.
Так же можете кидать всякие проблемы, которые у вас возникали при тестировании приложений стандартными средствами типа EmbeddedKafkaBroker и EmbeddedZookeeper.

​​Ну что, коллеги!
It's happening!!!

https://twitter.com/ijuma/status/1526608727293325313

https://cwiki.apache.org/confluence/display/KAFKA/KIP-833%3A+Mark+KRaft+as+Production+Ready

Не дня без новой streaming database

https://techcrunch.com/2022/07/13/deltastream-lands-10m-to-build-real-time-streaming-databases/

А интересно это все тем, что Ходжат (CEO Deltastream) был оригинальным создателем ksqlDB. Посмотрим как пойдут у них дела.

На Confluent Developer вышли три новый БЕСПЛАТНЫХ курса

- Apache Kafka Security
- Kafka Connect (new and updated)
- Confluent Cloud Networking (возможно менее relevant Для нашей аудитории, но тем не менее)

Адрес https://developer.confluent.io/learn-kafka/

​​Свежие новости с конференции Current 2022 - KRAFT официально production-ready с Apache Kafka 3.3

В этом канале я часто пишу про всякие истории успеха Кафки и комьюнити.
Истории успеха являются ценными и важными для сообществ. Они мотивируют и вдохновляют, давая нам надежду и уверенность, что успех действительно возможен. Но иногда неплохо бы и критику почитать.

В Apache Kafka® community не все так радужно, как кажется на первый взгляд. Понятное дело, в нашей уютной телеге все не так, и все друг другу помогают. Но вот тут некий KNOWLES ATCHISON, JR написал статью о том как он пытался создать KIP и как он страдал.
Как я хотел помочь сообществу кафки и каким кошмаром это обернулось "
Сталкивались ли вы с чем-то подобным, можете привести пример community, в котором все гладко?

​Статья из разряда «А почему бы и нет 🤔» - чувак сделал Kafka Connect connector для Xbox LIVE events (используется API https://xbl.io).
👩‍💻 https://github.com/dalelane/kafka-connect-xboxlive-source
🧵 https://dalelane.co.uk/blog/?p=4779

На самом деле, я вижу это как отличную идею для демо, когда со сцены играешь в Xbox через Cloud Gaming и события провесишь в Кафке. К тому же еще один пример open source connector для Кафки.

🎧 📖 Записали интервью для GOTO Conference про книгу Kafka in Action.

https://youtu.be/2l-JsB10WaI

Кстати сегодня и завтра на сайте Manning Publishing можно забрать любую с 50% скидкой!

​🎄🎄 Чат! Всех с новым годом!
В уходящем году мы таки получили Production Ready Kafka без Zookeeper и много всяких других приятных мелочей.
В уходящем году я таки дописал книгу про Kafka.

Желаю вам пуленепробиваемых внедрение кафки и меньше часов on-call.

Мы тут все о Кафке и Кафке, но есть и другие тулы в экосистеме.
Всплыла в моей ленте статья (и туториал) о том как использовать Kafka вместе с Apache Pinot (процессинг) и Apache Superset (визуализация).
Пример построения на данных, полученных из Github events API (я когда-то делал стрим про GH Connector https://www.youtube.com/live/VA5FRk1OnTY)

Использовали ли вы что-то из этого стека?

https://medium.com/apache-pinot-developer-blog/using-apache-pinot-and-kafka-to-analyze-github-events-93cdcb57d5f7

https://docs.pinot.apache.org/basics/recipes/github-events-stream

🤯 Вот это поворот - Confluent покупает стартап Immerok, который специализируется на предоставлении Managed Apache Flink.

Джей Крепс в анонсе:

Why add Flink? Well, we’ve watched the excitement around Flink grow for years, and saw it gaining adoption among many of our customers. Flink has the best multi-language support with first class support for SQL, Java, and Python. It has a principled processing model that generalizes batch and stream processing. It has a fantastic model for state management and fault tolerance.

In short: we believe that Flink is the future of stream processing.

Так же Джей сказал, что Confluent продолжит поддержку Kafka Streams и ksqlDB.

Как вам новость? Используете Flink с Кафкой?

https://www.confluent.io/blog/cloud-kafka-meets-cloud-flink-with-confluent-and-immerok/

​🐍 Confluent завезли курс по Кафке для Питонистов. Enjoy!
https://developer.confluent.io/learn-kafka/kafka-python/intro/

К разговору про .NET и Kafka в чате вспомни, что рассказывал про это на (внимание) SpringOne. Очень просили сделать что-то для .NET разработчиков. Даже запись сохранилась https://youtu.be/KrrnUrPWUZY

​Jack Vanlightly конечно, графоман, но никто не пишет про бенчмарки так как он. В последнем опубликованном посте, он сравнил производительность Apache Kafka® и redpanda. И на удивление (на самом деле нет) AK оказалась быстрее. Если кратко
Его тесты производительности показали, что Redpanda значительно уступает Apache Kafka по нескольким параметрам. Тесты проводились на идентичном оборудовании с одинаковыми настройками. Вот несколько ключевых выводов:

- Изменение количества продюсеров и консьюмеров с 4 до 50 резко снизило производительность Redpanda, несмотря на сохранение пропускной способности.
- Постоянная нагрузка на Redpanda в течение 24 часов приводила к замедлению дисков NVMe, вызывая высокие задержки. - С Kafka таких проблем не возникало из-за его более последовательного IO доступа.
- При достижении лимита хранения Redpanda показывала большие конечные задержки. Kafka оставался стабильным.
- Использование записей-ключей приводило к снижению пропускной способности и увеличению задержек у Redpanda. Kafka показывал лучшую производительность.
- Только Kafka смог полностью использовать пропускную способность дисков NVMe в 2 ГБ/с.
- Консьюмеры могли только сократить задержки с Kafka при постоянной нагрузке продюсера.
- Несмотря на утверждения, Redpanda не может обеспечить работу с нагрузкой 1 ГБ/с с тремя брокерами i3en.6xlarge.

Более подробные детали с картинками в блоге у Jack Vanlightly.

​Свежая статья от Neil Buesing в которой он раскрывает все тонкости настройки Apache Kafka в режиме KRaft! Для тех кто не в курсе (что очень странно для меня т.к. мой видос про Kraft давно в сети), KRaft — это KRaft mode in Apache Kafka, режим, который позволяет Kafka работать без использования Apache ZooKeeper.
В статье вы найдете подробные инструкции и лучшие практики по настройке этого режима.
🔗 Статью вы можете прочитать по этой ссылке: тут
А если вы предпочитаете действовать на практике, у нас есть хорошая новость: код и docker compose файлы из статьи доступны на Github!
🔗 GitHub репозиторий: тут

📣 Всем привет!
Те, кто не смог посетить недавнюю конференцию Kafka Summit, теперь могут радоваться! Все видеозаписи события теперь доступны онлайн и бесплатно!
Видео можно найти на сайте Confluent.
Всем пока!

​🖼️ Danica Fine из Confluent подробно рассказывает о выходе Apache Kafka 3.5 и всех улучшениях и нововведениях, которые этот релиз внесёт в мир потоковых данных. 🎥🎬

https://youtu.be/BVxDFL5iTx8

📣 На правах рекламы (а может быть и нет) - очень клевая конфа Scale (не путать со Scala) By The Bay https://www.scale.bythebay.io возвращается из онлайна в офлайн. В этом году она пройдет в Окленде, штат Калифорния с 13 по 15 ноября!
Будет много классных докладов (в том числе по Кафке). Так же обещают, Gwen Shapira будет делать keynote.
Для пользователей этого чата нам выписали скидку на билет GRECHA15. За подробностями пишите вашему одмену или @oli_kitty в личку!
Надеюсь увидять многих в ноябре!

Какой ппц, конечно

После слияния VmWare и Broadcom начали выпиливать крутые кадры. Гари Расселл, автор множественных фреймворков спринга (amqp, jms, kafka, pulsar) и активный пользователь Stackoverflow (если вы когда-то гуглили вопросы про Spring+Kafka то точно видели его ответы) твитанул сегодня...

https://x.com/gprussell/status/1729644902235987976

Не знаю как это сложится на общем состоянии поддержки Kafka в Spring. Следим за развитием событий.