В этом канале я часто пишу про всякие истории успеха Кафки и комьюнити.
Истории успеха являются ценными и важными для сообществ. Они мотивируют и вдохновляют, давая нам надежду и уверенность, что успех действительно возможен. Но иногда неплохо бы и критику почитать.
В Apache Kafka® community не все так радужно, как кажется на первый взгляд. Понятное дело, в нашей уютной телеге все не так, и все друг другу помогают. Но вот тут некий KNOWLES ATCHISON, JR написал статью о том как он пытался создать KIP и как он страдал.
Как я хотел помочь сообществу кафки и каким кошмаром это обернулось "
Сталкивались ли вы с чем-то подобным, можете привести пример community, в котором все гладко?
Истории успеха являются ценными и важными для сообществ. Они мотивируют и вдохновляют, давая нам надежду и уверенность, что успех действительно возможен. Но иногда неплохо бы и критику почитать.
В Apache Kafka® community не все так радужно, как кажется на первый взгляд. Понятное дело, в нашей уютной телеге все не так, и все друг другу помогают. Но вот тут некий KNOWLES ATCHISON, JR написал статью о том как он пытался создать KIP и как он страдал.
Как я хотел помочь сообществу кафки и каким кошмаром это обернулось "
Сталкивались ли вы с чем-то подобным, можете привести пример community, в котором все гладко?
atchison.dev
Trying to Contribute to Apache Kafka is a Complete Nightmare
It has now been over three months since I submitted a KIP with a feature complete pull request. If you want to make a change that requires modification of a public API in Apache Kafka, you have to submit a Kafka Improvement Proposal. This requires getting…
Статья из разряда «А почему бы и нет 🤔» - чувак сделал Kafka Connect connector для Xbox LIVE events (используется API https://xbl.io).
👩💻 https://github.com/dalelane/kafka-connect-xboxlive-source
🧵 https://dalelane.co.uk/blog/?p=4779
На самом деле, я вижу это как отличную идею для демо, когда со сцены играешь в Xbox через Cloud Gaming и события провесишь в Кафке. К тому же еще один пример open source connector для Кафки.
👩💻 https://github.com/dalelane/kafka-connect-xboxlive-source
🧵 https://dalelane.co.uk/blog/?p=4779
На самом деле, я вижу это как отличную идею для демо, когда со сцены играешь в Xbox через Cloud Gaming и события провесишь в Кафке. К тому же еще один пример open source connector для Кафки.
🎧 📖 Записали интервью для GOTO Conference про книгу Kafka in Action.
https://youtu.be/2l-JsB10WaI
Кстати сегодня и завтра на сайте Manning Publishing можно забрать любую с 50% скидкой!
https://youtu.be/2l-JsB10WaI
Кстати сегодня и завтра на сайте Manning Publishing можно забрать любую с 50% скидкой!
YouTube
Kafka in Action • Viktor Gamov & Tim Berglund • GOTO 2022
This interview was recorded for the GOTO Book Club. #GOTOcon #GOTObookclub
http://gotopia.tech/bookclub
Read the full transcription of the interview here:
https://gotopia.tech/bookclub/episodes/kafka-in-action
Viktor Gamov - Principal Developer Advocate…
http://gotopia.tech/bookclub
Read the full transcription of the interview here:
https://gotopia.tech/bookclub/episodes/kafka-in-action
Viktor Gamov - Principal Developer Advocate…
🎄🎄 Чат! Всех с новым годом!
В уходящем году мы таки получили Production Ready Kafka без Zookeeper и много всяких других приятных мелочей.
В уходящем году я таки дописал книгу про Kafka.
Желаю вам пуленепробиваемых внедрение кафки и меньше часов on-call.
В уходящем году мы таки получили Production Ready Kafka без Zookeeper и много всяких других приятных мелочей.
В уходящем году я таки дописал книгу про Kafka.
Желаю вам пуленепробиваемых внедрение кафки и меньше часов on-call.
Мы тут все о Кафке и Кафке, но есть и другие тулы в экосистеме.
Всплыла в моей ленте статья (и туториал) о том как использовать Kafka вместе с Apache Pinot (процессинг) и Apache Superset (визуализация).
Пример построения на данных, полученных из Github events API (я когда-то делал стрим про GH Connector https://www.youtube.com/live/VA5FRk1OnTY)
Использовали ли вы что-то из этого стека?
https://medium.com/apache-pinot-developer-blog/using-apache-pinot-and-kafka-to-analyze-github-events-93cdcb57d5f7
https://docs.pinot.apache.org/basics/recipes/github-events-stream
Всплыла в моей ленте статья (и туториал) о том как использовать Kafka вместе с Apache Pinot (процессинг) и Apache Superset (визуализация).
Пример построения на данных, полученных из Github events API (я когда-то делал стрим про GH Connector https://www.youtube.com/live/VA5FRk1OnTY)
Использовали ли вы что-то из этого стека?
https://medium.com/apache-pinot-developer-blog/using-apache-pinot-and-kafka-to-analyze-github-events-93cdcb57d5f7
https://docs.pinot.apache.org/basics/recipes/github-events-stream
YouTube
The Secret Life of Kubernetes Secrets with HashiCorp Vault | Livestreams 023
https://cnfl.io/livestreams-023 | Confluent provides a powerful solution for connecting together multiple sources of data in real time. In order for any system (or even a person) to access data from another system, you typically need to authenticate using…
🤯 Вот это поворот - Confluent покупает стартап Immerok, который специализируется на предоставлении Managed Apache Flink.
Джей Крепс в анонсе:
Why add Flink? Well, we’ve watched the excitement around Flink grow for years, and saw it gaining adoption among many of our customers. Flink has the best multi-language support with first class support for SQL, Java, and Python. It has a principled processing model that generalizes batch and stream processing. It has a fantastic model for state management and fault tolerance.
In short: we believe that Flink is the future of stream processing.
Так же Джей сказал, что Confluent продолжит поддержку Kafka Streams и ksqlDB.
Как вам новость? Используете Flink с Кафкой?
https://www.confluent.io/blog/cloud-kafka-meets-cloud-flink-with-confluent-and-immerok/
Джей Крепс в анонсе:
Why add Flink? Well, we’ve watched the excitement around Flink grow for years, and saw it gaining adoption among many of our customers. Flink has the best multi-language support with first class support for SQL, Java, and Python. It has a principled processing model that generalizes batch and stream processing. It has a fantastic model for state management and fault tolerance.
In short: we believe that Flink is the future of stream processing.
Так же Джей сказал, что Confluent продолжит поддержку Kafka Streams и ksqlDB.
Как вам новость? Используете Flink с Кафкой?
https://www.confluent.io/blog/cloud-kafka-meets-cloud-flink-with-confluent-and-immerok/
Confluent
Cloud Native Kafka + Flink with Confluent and Immerok
Introducing fully managed Apache Kafka® + Flink for the most robust, cloud-native data streaming platform with stream processing, integration, and streaming analytics in one.
🐍 Confluent завезли курс по Кафке для Питонистов. Enjoy!
https://developer.confluent.io/learn-kafka/kafka-python/intro/
https://developer.confluent.io/learn-kafka/kafka-python/intro/
К разговору про .NET и Kafka в чате вспомни, что рассказывал про это на (внимание) SpringOne. Очень просили сделать что-то для .NET разработчиков. Даже запись сохранилась https://youtu.be/KrrnUrPWUZY
YouTube
Apache Kafka Event-Streaming Platform for .NET Developers
When it comes time to choose a distributed messaging system, everyone knows the answer: Apache Kafka. But how about when you’re on the hook to choose a world-class, horizontally scalable stream data processing system? When you need not just publish and subscribe…
Jack Vanlightly конечно, графоман, но никто не пишет про бенчмарки так как он. В последнем опубликованном посте, он сравнил производительность Apache Kafka® и redpanda. И на удивление (на самом деле нет) AK оказалась быстрее. Если кратко
Его тесты производительности показали, что Redpanda значительно уступает Apache Kafka по нескольким параметрам. Тесты проводились на идентичном оборудовании с одинаковыми настройками. Вот несколько ключевых выводов:
- Изменение количества продюсеров и консьюмеров с 4 до 50 резко снизило производительность Redpanda, несмотря на сохранение пропускной способности.
- Постоянная нагрузка на Redpanda в течение 24 часов приводила к замедлению дисков NVMe, вызывая высокие задержки. - С Kafka таких проблем не возникало из-за его более последовательного IO доступа.
- При достижении лимита хранения Redpanda показывала большие конечные задержки. Kafka оставался стабильным.
- Использование записей-ключей приводило к снижению пропускной способности и увеличению задержек у Redpanda. Kafka показывал лучшую производительность.
- Только Kafka смог полностью использовать пропускную способность дисков NVMe в 2 ГБ/с.
- Консьюмеры могли только сократить задержки с Kafka при постоянной нагрузке продюсера.
- Несмотря на утверждения, Redpanda не может обеспечить работу с нагрузкой 1 ГБ/с с тремя брокерами i3en.6xlarge.
Более подробные детали с картинками в блоге у Jack Vanlightly.
Его тесты производительности показали, что Redpanda значительно уступает Apache Kafka по нескольким параметрам. Тесты проводились на идентичном оборудовании с одинаковыми настройками. Вот несколько ключевых выводов:
- Изменение количества продюсеров и консьюмеров с 4 до 50 резко снизило производительность Redpanda, несмотря на сохранение пропускной способности.
- Постоянная нагрузка на Redpanda в течение 24 часов приводила к замедлению дисков NVMe, вызывая высокие задержки. - С Kafka таких проблем не возникало из-за его более последовательного IO доступа.
- При достижении лимита хранения Redpanda показывала большие конечные задержки. Kafka оставался стабильным.
- Использование записей-ключей приводило к снижению пропускной способности и увеличению задержек у Redpanda. Kafka показывал лучшую производительность.
- Только Kafka смог полностью использовать пропускную способность дисков NVMe в 2 ГБ/с.
- Консьюмеры могли только сократить задержки с Kafka при постоянной нагрузке продюсера.
- Несмотря на утверждения, Redpanda не может обеспечить работу с нагрузкой 1 ГБ/с с тремя брокерами i3en.6xlarge.
Более подробные детали с картинками в блоге у Jack Vanlightly.
Свежая статья от Neil Buesing в которой он раскрывает все тонкости настройки Apache Kafka в режиме KRaft! Для тех кто не в курсе (что очень странно для меня т.к. мой видос про Kraft давно в сети), KRaft — это KRaft mode in Apache Kafka, режим, который позволяет Kafka работать без использования Apache ZooKeeper.
В статье вы найдете подробные инструкции и лучшие практики по настройке этого режима.
🔗 Статью вы можете прочитать по этой ссылке: тут
А если вы предпочитаете действовать на практике, у нас есть хорошая новость: код и docker compose файлы из статьи доступны на Github!
🔗 GitHub репозиторий: тут
В статье вы найдете подробные инструкции и лучшие практики по настройке этого режима.
🔗 Статью вы можете прочитать по этой ссылке: тут
А если вы предпочитаете действовать на практике, у нас есть хорошая новость: код и docker compose файлы из статьи доступны на Github!
🔗 GitHub репозиторий: тут
📣 Всем привет!
Те, кто не смог посетить недавнюю конференцию Kafka Summit, теперь могут радоваться! Все видеозаписи события теперь доступны онлайн и бесплатно!
Видео можно найти на сайте Confluent.
Всем пока!
Те, кто не смог посетить недавнюю конференцию Kafka Summit, теперь могут радоваться! Все видеозаписи события теперь доступны онлайн и бесплатно!
Видео можно найти на сайте Confluent.
Всем пока!
Confluent
Kafka Summit London 2023
Kafka Summit is the largest, annual Apache Kafka event for developers, IT, and data engineers to learn about Kafka, event streaming, and real-time data from industry experts.
🖼️ Danica Fine из Confluent подробно рассказывает о выходе Apache Kafka 3.5 и всех улучшениях и нововведениях, которые этот релиз внесёт в мир потоковых данных. 🎥🎬
https://youtu.be/BVxDFL5iTx8
https://youtu.be/BVxDFL5iTx8
📣 На правах рекламы (а может быть и нет) - очень клевая конфа Scale (не путать со Scala) By The Bay https://www.scale.bythebay.io возвращается из онлайна в офлайн. В этом году она пройдет в Окленде, штат Калифорния с 13 по 15 ноября!
Будет много классных докладов (в том числе по Кафке). Так же обещают, Gwen Shapira будет делать keynote.
Для пользователей этого чата нам выписали скидку на билет GRECHA15. За подробностями пишите вашему одмену или @oli_kitty в личку!
Надеюсь увидять многих в ноябре!
Будет много классных докладов (в том числе по Кафке). Так же обещают, Gwen Shapira будет делать keynote.
Для пользователей этого чата нам выписали скидку на билет GRECHA15. За подробностями пишите вашему одмену или @oli_kitty в личку!
Надеюсь увидять многих в ноябре!
Scale By the Bay
Home | Scale By the Bay
The independent thoughtful software and data engineering conference in San Francisco.
Какой ппц, конечно
После слияния VmWare и Broadcom начали выпиливать крутые кадры. Гари Расселл, автор множественных фреймворков спринга (amqp, jms, kafka, pulsar) и активный пользователь Stackoverflow (если вы когда-то гуглили вопросы про Spring+Kafka то точно видели его ответы) твитанул сегодня...
https://x.com/gprussell/status/1729644902235987976
Не знаю как это сложится на общем состоянии поддержки Kafka в Spring. Следим за развитием событий.
После слияния VmWare и Broadcom начали выпиливать крутые кадры. Гари Расселл, автор множественных фреймворков спринга (amqp, jms, kafka, pulsar) и активный пользователь Stackoverflow (если вы когда-то гуглили вопросы про Spring+Kafka то точно видели его ответы) твитанул сегодня...
https://x.com/gprussell/status/1729644902235987976
Не знаю как это сложится на общем состоянии поддержки Kafka в Spring. Следим за развитием событий.
X (formerly Twitter)
Gary Russell 🍃 🏌️ (@gprussell) on X
Shout out to my ex VMware/Spring colleagues @m_f_ @artem_bilan @Dsyer @snicoll @ankinson @phillip_webb @sobychacko @springxdtwit @markpollack @ilayaperumalg @madhurabhave23 and many more. Keep the candle burning guys/gals; it can’t be extinguished. Thanks;…
Kafka: Очереди сейчас и в будущем
Kafka поддерживает режим publish-subscribe, когда каждый клиент получает все сообщения топика. Однако, чаще требуется, чтобы клиенты потребляли уникальные подмножества сообщений. Это возможно благодаря consumer groups: в группе каждый потребитель получает набор партиций, из которых может потреблять данные.
Тем не менее, данный подход имеет ограничения. Поэтому появился KIP-932, направленный на добавление новых возможностей очередей в Kafka.
KIP-932 предлагает концепцию Shared Groups, позволяя кооперативное потребление сообщений из топика с произвольным числом потребителей. В отличие от consumer groups, назначение партиций (partition assignment) не эксклюзивное, что снимает ограничения по числу участников в consumer group.
Для тех, кто использует Kafka в продакшене, новые функции предложат значительные улучшения в производительности и гибкости. В статье Adam Warsky подробно рассматриваются текущие характеристики и ограничения consumer groups, новые возможности по KIP-932 и как их можно реализовать с помощью паттерна KMQ.
https://softwaremill.com/kafka-queues-now-and-in-the-future/
Kafka поддерживает режим publish-subscribe, когда каждый клиент получает все сообщения топика. Однако, чаще требуется, чтобы клиенты потребляли уникальные подмножества сообщений. Это возможно благодаря consumer groups: в группе каждый потребитель получает набор партиций, из которых может потреблять данные.
Тем не менее, данный подход имеет ограничения. Поэтому появился KIP-932, направленный на добавление новых возможностей очередей в Kafka.
KIP-932 предлагает концепцию Shared Groups, позволяя кооперативное потребление сообщений из топика с произвольным числом потребителей. В отличие от consumer groups, назначение партиций (partition assignment) не эксклюзивное, что снимает ограничения по числу участников в consumer group.
Для тех, кто использует Kafka в продакшене, новые функции предложат значительные улучшения в производительности и гибкости. В статье Adam Warsky подробно рассматриваются текущие характеристики и ограничения consumer groups, новые возможности по KIP-932 и как их можно реализовать с помощью паттерна KMQ.
https://softwaremill.com/kafka-queues-now-and-in-the-future/
SoftwareMill
Kafka queues: now and in the future | SoftwareMill
Find out how some of the queueing features can be implemented in Kafka today using the KMQ pattern.
Мой бывший коллега по Confluent Robin Moffatt https://twitter.com/rmoff/ уже некоторое время ведет замечательный альманах Checkpoint Chronicles и собирает лучшие материалы по Kafka, Flink, Stream Processing. Поддержите моего бро, подпишитесь! Там годнота!
https://www.decodable.co/tag/checkpoint-chronicle
https://www.decodable.co/tag/checkpoint-chronicle
Вебинар «Как создавать высокопроизводительные очереди сообщений с различной архитектурой»
6 июня в 16:00 МСК на вебинаре вы узнаете, как повысить отказоустойчивость и масштабируемость ИТ-систем с помощью Tarantool Queue Enterprise — распределенной in‑memory системы очередей сообщений. Будет рассмотрен кейс применения системы очередей Tarantool Queue Enterprise как интеграционной шины в микросервисной архитектуре.
В программе:
• Как реализовать очередь сообщений с типом взаимодействия Publish/Subscribe для работы в real-time и обработки пиковых нагрузок.
• Как организовать очередь задач с типом взаимодействия Put/Take для обработки асинхронных задач.
• За счет каких технологий и инструментов повышается пропускная способность, масштабируемость и надежность очередей на базе Tarantool Queue Enterprise.
Вебинар будет полезен CTO, архитекторам и разработчикам высоконагруженных систем.
Регистрация #партнерскийматериал
6 июня в 16:00 МСК на вебинаре вы узнаете, как повысить отказоустойчивость и масштабируемость ИТ-систем с помощью Tarantool Queue Enterprise — распределенной in‑memory системы очередей сообщений. Будет рассмотрен кейс применения системы очередей Tarantool Queue Enterprise как интеграционной шины в микросервисной архитектуре.
В программе:
• Как реализовать очередь сообщений с типом взаимодействия Publish/Subscribe для работы в real-time и обработки пиковых нагрузок.
• Как организовать очередь задач с типом взаимодействия Put/Take для обработки асинхронных задач.
• За счет каких технологий и инструментов повышается пропускная способность, масштабируемость и надежность очередей на базе Tarantool Queue Enterprise.
Вебинар будет полезен CTO, архитекторам и разработчикам высоконагруженных систем.
Регистрация #партнерскийматериал
🚀 Чат! Я так понимаю, что на моей доисторической Родине Clickhouse любят больше, но не могу не похвалиться в этом чате!
Рад объявить о выходе нового курса на канале StarTree, посвященного продвинутым темам в Apache Pinot™!
Смотрите плейлист здесь! 📽️
Перед началом курса настоятельно рекомендую ознакомиться с курсом Apache Pinot 101
Все бесплатно, даже есть материалы для самостоятельного обучения
🚀 В первой серии мы познакомим вас с курсом и расскажем, что вас ждет впереди.
🛠️ Во втором видео мы углубимся в настройку вашего собственного кластера Apache Pinot™! Узнайте, как настроить кластер.
🔒 В третьем видео мы расскажем о настройке тенантов в Apache Pinot™. Узнайте, как изолировать и управлять различными наборами данных и рабочими нагрузками.
🗂️ Четвертое видео посвящено созданию схем, таблиц и сегментов в Apache Pinot™. Узнайте, как эффективно структурировать и организовывать данные.
📥 В пятом видео мы исследуем техники загрузки данных в Apache Pinot™. Узнайте, как эффективно загружать данные в реальном времени и пакетные данные.
🔄 Шестое видео посвящено Upserts в Apache Pinot™. Узнайте, как обновлять существующие записи или вставлять новые без проблем.
🔄 В седьмом видео мы исследуем трансформацию данных во время загрузки в Apache Pinot™. Узнайте, как очищать и обогащать данные на лету.
🔍 В восьмом видео мы рассмотрим запросы данных с использованием одноэтапного и многоэтапного механизмов запросов в Apache Pinot™. Узнайте, какой подход лучше всего подходит для ваших запросов.
⚡ В девятом видео мы исследуем различные типы индексов в Apache Pinot™. Узнайте, как оптимизировать производительность запросов с помощью правильных индексов.
🤖 В десятом видео мы познакомим вас с Minions в Apache Pinot™. Узнайте, как эти фоновые процессы могут автоматизировать и оптимизировать ваши операции с данными. Готовы встретиться с Minions?
Рад объявить о выходе нового курса на канале StarTree, посвященного продвинутым темам в Apache Pinot™!
Смотрите плейлист здесь! 📽️
Перед началом курса настоятельно рекомендую ознакомиться с курсом Apache Pinot 101
Все бесплатно, даже есть материалы для самостоятельного обучения
🚀 В первой серии мы познакомим вас с курсом и расскажем, что вас ждет впереди.
🛠️ Во втором видео мы углубимся в настройку вашего собственного кластера Apache Pinot™! Узнайте, как настроить кластер.
🔒 В третьем видео мы расскажем о настройке тенантов в Apache Pinot™. Узнайте, как изолировать и управлять различными наборами данных и рабочими нагрузками.
🗂️ Четвертое видео посвящено созданию схем, таблиц и сегментов в Apache Pinot™. Узнайте, как эффективно структурировать и организовывать данные.
📥 В пятом видео мы исследуем техники загрузки данных в Apache Pinot™. Узнайте, как эффективно загружать данные в реальном времени и пакетные данные.
🔄 Шестое видео посвящено Upserts в Apache Pinot™. Узнайте, как обновлять существующие записи или вставлять новые без проблем.
🔄 В седьмом видео мы исследуем трансформацию данных во время загрузки в Apache Pinot™. Узнайте, как очищать и обогащать данные на лету.
🔍 В восьмом видео мы рассмотрим запросы данных с использованием одноэтапного и многоэтапного механизмов запросов в Apache Pinot™. Узнайте, какой подход лучше всего подходит для ваших запросов.
⚡ В девятом видео мы исследуем различные типы индексов в Apache Pinot™. Узнайте, как оптимизировать производительность запросов с помощью правильных индексов.
🤖 В десятом видео мы познакомим вас с Minions в Apache Pinot™. Узнайте, как эти фоновые процессы могут автоматизировать и оптимизировать ваши операции с данными. Готовы встретиться с Minions?
YouTube
Apache Pinot 201
Welcome to Apache Pinot 201! Join Viktor Gamov as he guides you through advanced Apache Pinot topics, that builds upon our Apache Pinot 101 series. Starting ...
