Павел Агалецкий, ведущий инженер в Авито, расскажет, как в компании построили надежную во всех смыслах шину данных для обмена событиями между сервисами на основе Apache Kafka. Как эволюционировала шина, как гарантируется соблюдение контрактов публикуемых событий и какие есть способы переживать даже отказ дата-центра.
https://youtu.be/mx5JzpfwjLo
#kafka #microservices
https://youtu.be/mx5JzpfwjLo
#kafka #microservices
YouTube
Межсервисная шина данных на Apache Kafka | Павел Агалецкий | DevOps Meetup 2022| СберМаркет Tech
Павел Агалецкий, ведущий инженер в Авито, расскажет, как в Авито построили надежную во всех смыслах шину данных для обмена событиями между сервисами на основе Apache Kafka. Как мы гарантируем соблюдение контрактов публикуемых событий и способны переживать…
Читая очередную статью про распределнные системы, наткнулся на интересный факт: New York Times использует Kafka в качестве основной базы данных для всех своих статей. "Всех" означает что каждая статья, каждая ее правка, каждый заголовок с пометкой "молния" - хранится в брокере сообщений и никогда не будет удален. А это более чем 170 лет истории.
Нашел статью, в которой описан сам подход к log-based архитектуре, а также то, как конкретно это реализовано у New York Times.
https://www.confluent.io/blog/publishing-apache-kafka-new-york-times/
#systemdesign #kafka
Нашел статью, в которой описан сам подход к log-based архитектуре, а также то, как конкретно это реализовано у New York Times.
https://www.confluent.io/blog/publishing-apache-kafka-new-york-times/
#systemdesign #kafka
Confluent
Publishing with Apache Kafka at The New York Times | Confluent
This post covers how Apache Kafka and its Streams API are used for storing and processing all the articles ever published by The New York Times