#Полезняшка для Scala-бояр

> The aim of this library is to provide the Lego™ bricks to build a serializer/deserializer for kafka messages.

https://github.com/ovotech/kafka-serialization

Присутствует куча интеграцией со всякими Scala библиотеками.
Видел ли кто что-то подобное для Java или Kotlin??

А вот ещё одна Авро #Полезняшка

https://github.com/artemyarulin/avro-kafka-deserializable

Патч, который позволяет генерировать java классы, которые сразу умеют себя сериализовать и десериализовать без конфлюентовских библиотек и даже без Schema Registry.

​​Я просто хочу тут быстренько напомнить, что #KafkaSummit уже на следующей неделе.
Да, виртуально. Да, требуется регистрация.
Но должно быть интересно!
https://www.kafka-summit.org/events/kafka-summit-americas-2021/about

Традиционная рубрика #полезняшка
https://github.com/kcctl/kcctl
Kafka Connect Control - CLI для управления Коннектом. Можно смотреть инфу о кластере, обновлять конфиги для коннекторов, запускать и останавливать коннекторы. Многие CLI тулы это могут уже, но вот такая милая безделушка. Написана на Java и Quarkus (если вы понимаете о чем я)

🚀 Смотрите какую годноту завезли в #ksqldb
- Represent byte arrays using the BYTES data type - мечта любителей хранить картинки в кафке

`CREATE STREAM images (name STRING, image BYTES)
WITH (kafka_topic='images', value_format='json');
CREATE STREAM png_images AS SELECT * FROM images WHERE SUBSTRING(image, 0, 😍 = TO_BYTES('89504E470D0A1A0A', 'hex');`

https://www.confluent.io/blog/announcing-ksqldb-0-21-new-features-major-upgrades

📣 сегодня на сайте издательства Мэннинг книги по #streamprocessing (Kafka in Action, Event Streaming with Kafka Streams and ksqlDB) можно забрать со скидкой 40%

https://twitter.com/manningbooks/status/1442081629942386692?s=21

Если не успеете забрать сегодня, Kafka in action только для подписчиков этого канала доступна со скидкой 35% если использовать код kafkaa35

Для любителей теоретического материала, отличная серия статей о Streaming SQL
- Readings in Streaming Database Systems
- Future of SQL
- 4 Key Design Principles and Guarantees of Streaming Databases
- How Do You Change a Never-Ending Query?

Время от времени спрашивают как делать приложения, чтобы при падении Кафки приложение не падало. Мне вспомнилась статья Jakub Korab как раз где он разбирается в различных подходах к решению этой задачи.

https://www.confluent.io/blog/how-to-survive-a-kafka-outage/

Кафка с медом (простите):
О том как говорят Кафку в Honeycomb.io

- решили делать свое, так как не хотят ждать ответа от суппорта, если что-то сломается у их клиентов
- переехали из AK 0.11 в Confluent Community (5.3/AK 2.3)
- переехали на Confluent Platform 6.0 (enterprise): Tiered Storage (в их паттерне надо держать 24-48 часов в быстром доступе NVMe, чтобы можно было быстро replay. И Self-balancing Kafka (Cruise Control сразу зашит))
- так же Кафка нормально живет на arm-е (они используют graviton от AWS).
- много правильных рассуждений на тему sizing - выбор на каком instance type бежать еще пол беды, надо понять сколько это будет стоить.

Не знаю, кому будет полезно. Копировать as is не надо, но я рекомендую как минимум разобраться с их ходом мыслей Liz Fong-Jones и ее команды (из зафолловить ее).
Там много правильных идей на тему цена-производительность-заплатить вендору

Вдогонку к предыдущему сообщению, тредик из Твитера Liz
- видео и код с прибаутками как запустить это дело на Graviton2
- в блоге еще сказано не юзать стоковую OpenJDK, а юзать Correto
- ZStandard compression можно юзать в проде

​​Пятничное чтиво - разбираемся с сегментами, retention, storage и вообще как все хранится на диске

https://strimzi.io/blog/2021/12/17/kafka-segment-retention/

Нашем чатике кто-то выложил утилиту https://github.com/segmentio/topicctl - такой очередной самодельный инструмент для Gitops-а Kafka топиков
Выглядит очень достойно. Более того, segment.io еще разрабатывают достаточно популярный (в узких кругах) клиент для Кафки на Go - segment/kafka-go library. А вы используете декларативный конфиг для управления Кафкой?

​​В свете сегодняшней дискусси про транзакции в чате, предлагаю снова перечитать замечательный блог от Jason Gustafson. Так же про механизм fencing я рассказывал в докладе про разбор exactly once

Коллеги

Происходящее кошмарно
Очевидно, сохранять нейтралитет сложно, для многих невозможно

В данном чате не обсуждается тема войны
Ниже вы можете получить информационную поддержку

Мы остаёмся нейтральным чатом по кафке и стараемся держать тему разговора в рамках.
Прошу вас отнестись с пониманием и перенести эту тему в другие места

Тут можно получить информацию о том, как получить помощь, где следить за новостями и так далее. Ссылки обновляемые, актуальны для всех сторон

Если вам есть что добавить – пишите в лс @dmitvitalii или @gamussa
НЕ ПИШИТЕ В ЧАТ

- stopwarmd: различные ссылки и информация, телефоны психологиеской помощи, информационные каналы и прочее

- Ukraine Support: ещё один сборник данных

- Gомощь беженцам из ДНР и ЛНР

- Housing support for ukrainians

- Как жить российскому айтишнику в 2022 (актуально не только айтишникам)


Мир вам ✌️

​​Good news everyone. Всех с пятнцей.
Маэстро Jun Rao (даже ссылку на эту легенду оставлять не буду, стыдно Батю кафки не знать) написал и провалидировал новый курс от $CFLT - Kafka Internals

https://cnfl.io/free-apache-kafka-internals-course

​​Чат, всем привет. Это Витя. На следующей неделе я выступаю на #kafkasummit London. Буду рассказывать про Testcontainers.
Пользуясь правами админа реквестирую накидать в комментах мне всяких странных (и не только) проектов тестирования Кафки, стримов и всего того, что с ними связано. Это поможет мне лучше раскрыть топик Тестирования Кафки.
Так же можете кидать всякие проблемы, которые у вас возникали при тестировании приложений стандартными средствами типа EmbeddedKafkaBroker и EmbeddedZookeeper.

​​Ну что, коллеги!
It's happening!!!

https://twitter.com/ijuma/status/1526608727293325313

https://cwiki.apache.org/confluence/display/KAFKA/KIP-833%3A+Mark+KRaft+as+Production+Ready

Не дня без новой streaming database

https://techcrunch.com/2022/07/13/deltastream-lands-10m-to-build-real-time-streaming-databases/

А интересно это все тем, что Ходжат (CEO Deltastream) был оригинальным создателем ksqlDB. Посмотрим как пойдут у них дела.

На Confluent Developer вышли три новый БЕСПЛАТНЫХ курса

- Apache Kafka Security
- Kafka Connect (new and updated)
- Confluent Cloud Networking (возможно менее relevant Для нашей аудитории, но тем не менее)

Адрес https://developer.confluent.io/learn-kafka/

​​Свежие новости с конференции Current 2022 - KRAFT официально production-ready с Apache Kafka 3.3