Как Kafka обеспечивает надежность доставки сообщений

Kafka - мастхев инструмент, который можно встретить в любом финтех проекте. О ее устройстве и настройке спрашивают на КАЖДОМ интервью и порой только на ее обсуждение может уйти четверть собеса.

Kafka славится за свою высокую производительность и надежность. В этом видео я разбираю, как реализована надежная доставка сообщений в Kafka.

Посмотрев выпуск, ты узнаешь:

- Особенности работы каждого из уровней доставки сообщений.
- Устройство транзакций на уровне exactly-once.
- Практическую настройку этих уровней в проекте.
- Проверку их работы на реальных примерах.

Таймкоды:
00:00 - Почему об устройстве Кафки необходимо знать каждому разработчику
01:48 - Что такое Кафка и какую проблему этот инструмент решает
04:06 - Как данные в Кафке хранятся
05:55 - Как работает репликация данных в Кафке
09:50 - Почему Кафка лучше масштабируемого REST API
12:42 - Когда следует использовать синхронное взаимодействие
15:10 - Что такое гарантии доставки сообщений, зачем они нужны, какие бывают
17:29 - Как настройка Продьюсера влияет на уровень надежности доставки сообщений
20:25 - О параметре acks
21:19 - At most once: как реализован в Кафке
22:27 - At least once: как реализован в Кафке
23:44 - Exactly once: как реализован в Кафке
24:44 - Как работают транзакции в Кафка. Разбор на примере как происходит запись и вычитка в рамках транзакции.
30:33 - Практическая часть: настройка уровней гарантии доставки на проекте
38:19 - Как настроить автоматическое создание топиков при запуске проекта
43:02 - С какой проблемой столкнулась при попытке поднять Кафку через docker compose
48:20 - Проверка работы уровней на практике
54:00 - Настройка и дебаг консьюмера exactly once
59:00 - Подведение итогов

УНИЧТОЖАЕМ LIVECODING INTERVIEW

В прошлом посте я поделилась своей идей и желанием, помочь разработчикам прокачать скил прохождения лайвкодинг секций на интервью. Многие отправили мне задачи, которые я также скоро выложу в публичный доступ (пока ищу подходящую хранилку и способ структурирования материалов).

Эти задачи я разберу на стриме в среду в 19:00

Ты всегда можешь написать мне, если хочешь, чтобы твою проблему/кейс разобрали на стриме - @ekondratyyeva

ПС сбор задач продолжается

Наша переписка с монтажером

*я не успеваю по срокам скинуть видосы*

Та блин моков много было на неделе, и еще у меня контракт с дьяволом (лидом из одной конторы) на обмен душащими вопросами с собесов

Не успеваю💀💀

Ищу Java разработчика для помощи в менторстве

Я активно занимаюсь менторством и уделяю много времени встречам для валидации знаний разработчиков, объяснения сложных тем и демонстрации, как их правильно преподносить на интервью. Это важный процесс, так как нужно убедиться, что каждый ученик усваивает материал и правильно понимает его.

Но, к сожалению, на всех сил и времени не хватает. Поэтому я ищу человека, который сможет часть встреч взять на себя.

Если ты чувствуешь, что тебе интересна эта область и хочешь внести вклад в развитие начинающих разработчиков — это отличный шанс.

👨‍💻 Что ты получишь?

- Опыт менторства и объяснения сложных тем простым языком
- Глубокое понимание Java через преподавание
- Возможность развиваться в техническом и коммуникационном плане

💡 Что я жду от тебя?

- Желание делиться знаниями
- Готовность работать с начинающими
- Интерес к улучшению своих навыков через взаимодействие с реальными кейсами

Если предложение интересно — напиши мне в личку за подробностями @ekondratyyeva

Ищу ментора для себя

Если ты разработчик с опытом 5+ лет, шаришь за джаву или архитектуру/системный дизайн как ваще никто другой, и ты бы хотел показать мне, что же такое хардкорная разработка и высокая нагрузка, то я тоже супер за такое общение.

Хочу поделиться своим секретом - у меня появился друг, который помешан на разработке и для него это дело всей его жизни. Он обожает программирование и даже писал мне, что если бы не стал разработчиком, сделал бы чето с собой очень нехорошее.

Я ваще сильно люблю людей, помешанных на своем деле, для меня он ебейший тип. А че вы про такую сильную отдачу своим интересам думаете?

Подписчики из Москвы, хочу переехать в Москву, нужна ваша помощь

Будет вылазка, чтобы выяснить, каково мне там. Посоветуйте, куда надо сходить, какие районы посетить, че сделать для более глубокого анализа города, выбора района обитания

Мб кто встретиться хочет

Как работают аннотации под капотом и как влияют стримы на производительность?

Разобрала эти вопросы в новом выпуске Что спросят у мидла

Что еще ты найдешь в видео:

- Как работает @Transactional под капотом?
- Во что раскладываются стримы после компиляции?
- Лайвкодинг задача
- Как обеспечить консистентную отправку сообщений об ошибке в микросервисной архитектуре
- Почему @Transactional ставится на уровне сервиса, а не контроллера
- Решение SQL задачи

Разбор уровней гарантии доставки сообщений в Кафке и их настройка на проекте
Инструкция как решать задачи на ревью кода

Дайте гайд как пройти собесы в Яндекс и, устроившись туда, я буду каждый день стримить жизнь Яндексоида

Нам нужен этот кринж ребята, давайте все вместе поднажмем, чтобы я туда все таки попала

Отменяю лосины

Зачем вообще они нужны, когда есть такие шаровары удобные?

Поняла, что у меня нет идей для доклада не по тематике разработки. Флексить чем-то желания нет, я больше за тихие движения.