🤔 Взаимодействие с асинхронной коммуникацией в распределённых системах

Позволяет компонентам обмениваться данными и выполнять задачи независимо друг от друга, не дожидаясь завершения операций. Асинхронное общение широко применяется в микросервисных архитектурах и других распределённых системах, так как повышает масштабируемость, гибкость и отказоустойчивость системы.

🚩Принципы и подходы

🟠Использование очередей сообщений и брокеров
Очереди сообщений (например, RabbitMQ, Apache Kafka, Amazon SQS) помогают отправлять и получать сообщения асинхронно, обеспечивая буфер между отправителем и получателем. Брокеры сообщений сохраняют сообщения до тех пор, пока получатель не будет готов их обработать, что помогает управлять потоками данных и уравновешивать нагрузку. Такой подход позволяет отправителю отправить сообщение и сразу продолжить свою работу, не дожидаясь ответа, что повышает производительность системы.

🟠Паттерн «Издатель-подписчик» (Publish-Subscribe)
В модели «издатель-подписчик» компоненты могут публиковать события, на которые подписаны другие компоненты, а брокер сообщений доставляет события всем подписчикам. Этот паттерн позволяет системе оставаться слабосвязанной, так как издатель не знает, сколько и какие конкретно сервисы получат событие. Такие системы часто применяются для уведомлений, регистрации событий, обработки данных и отправки уведомлений нескольким сервисам одновременно.

🟠Паттерн «Очередь задач»
В очереди задач сообщения представляют собой задачи для выполнения, которые обрабатываются одним или несколькими исполнителями. Этот паттерн полезен для распределения нагрузки на сервисы, позволяя выполнять задачи асинхронно, когда они становятся доступны, и автоматически управлять потоками. Например, задача по отправке электронной почты может быть помещена в очередь и обработана отдельным рабочим процессом, что освобождает основной сервис от ожидания завершения отправки.

🚩Плюсы
➕Повышенная производительность и масштабируемость, так как сервисы могут продолжать работу без ожидания ответа.
➕Отказоустойчивость и стабильность за счёт независимости сервисов и использования брокеров сообщений.
➕Гибкость и низкая связанность компонентов, что позволяет легко модифицировать систему и добавлять новые сервисы.

🚩Минусы

➖Увеличенная сложность обработки сообщений и согласованности данных.
➖Возможные задержки доставки, повторные сообщения и необходимость работы с идемпотентностью.
➖Сложности с отладкой и мониторингом взаимодействий между сервисами.

Ставь 👍 и забирай 📚 Базу знаний

🤔 Какие минусы есть у индекса?

➖Дополнительное пространство на диске
Индексы требуют дополнительного места на диске для хранения. Чем больше данных в таблице, тем больше место занимает индекс. Если таблица содержит большое количество индексов, это может значительно увеличить объем хранимых данных.

➖Замедление операций записи
Вставка, обновление и удаление данных в таблице с индексами требует дополнительных операций для обновления индексов. Это может существенно замедлить производительность операций модификации данных, особенно в таблицах с большим количеством индексов.

➖Сложность управления
Администрирование и оптимизация индексов требует дополнительных усилий. Необходимо периодически проверять и оптимизировать индексы, чтобы избежать фрагментации и падения производительности. Неэффективное использование индексов может привести к ухудшению производительности запросов.

➖Проблемы с блокировками
При выполнении операций модификации данных индексы могут вызывать блокировки, что может приводить к конфликтам и снижению производительности в условиях высокой конкурентности.

➖Проблемы с выбором индексов
Неправильный выбор колонок для индексирования может не только не улучшить, но и ухудшить производительность запросов. Индексы должны быть тщательно подобраны и настроены в соответствии с типичными запросами к базе данных.

➖Риск избыточности
Избыточные или дублирующие индексы могут привести к ненужному расходу ресурсов и снижению производительности операций модификации данных.

➖Неэффективность для малых таблиц
В небольших таблицах накладные расходы на поддержку индексов могут превышать выигрыш в производительности запросов. В таких случаях индексы могут быть неэффективными.

➖Сложность при изменении структуры данных
Изменение структуры таблиц (например, добавление или удаление колонок) может потребовать перестройки существующих индексов, что может быть трудоемким процессом.

Ставь 👍 и забирай 📚 Базу знаний

🤔 Что знаешь про нормализацию?

Это процесс организации данных в реляционной базе данных для минимизации избыточности и предотвращения аномалий при обновлении данных.

🟠1NF (Первая нормальная форма)
Каждое поле содержит только одно значение, и все записи уникальны.
🟠2NF (Вторая нормальная форма)Данные находятся в 1NF, и все неключевые атрибуты полностью зависят от первичного ключа.
🟠3NF (Третья нормальная форма)
Данные находятся в 2NF, и нет транзитивных зависимостей между неключевыми атрибутами.
🟠BCNF (Бойс-Кодд нормальная форма)
Данные находятся в 3NF, и каждый детерминант является суперключом.
🟠4NF (Четвертая нормальная форма)
Данные находятся в BCNF, и нет многозначных зависимостей.
🟠5NF (Пятая нормальная форма)
Данные находятся в 4NF, и каждая зависимость выражается через проекции.

Ставь 👍 и забирай 📚 Базу знаний

🤔 Для чего используют redis в проектах?

Это высокопроизводительная система управления базами данных, работающая в памяти (in-memory), которая поддерживает множество структур данных, таких как строки, списки, множества, хэш-таблицы и другие. Redis широко используется в современных проектах благодаря своей скорости и функциональности.

🚩Основные применения

🟠Кэширование данных
Снижение нагрузки на базу данных: Кэширование часто запрашиваемых данных в Redis позволяет снизить нагрузку на основную базу данных и ускорить время ответа. Ускорение доступа к данным: Быстрое чтение данных из памяти обеспечивает низкую задержку и высокую производительность.

🟠Хранение сессий
Управление сессиями пользователей: Redis часто используется для хранения сессионных данных пользователей в веб-приложениях благодаря своей скорости и поддержке автоматического удаления старых данных (TTL).

🟠Очереди задач и сообщений
Асинхронные задачи: Redis используется для реализации очередей задач в таких системах, как Celery. Это позволяет распределять и выполнять задачи асинхронно и эффективно. Сообщения и события: Redis поддерживает механизм Pub/Sub для организации обмена сообщениями между различными частями приложения.

🟠Хранилище временных данных
Счётчики и трекеры: Используется для хранения временных данных, таких как счётчики посещений, лайков, просмотров и других показателей, которые часто обновляются. Краткосрочные данные: Хранение временных данных, которые необходимы на короткий срок и могут быть удалены после их использования.

🟠Репликация и отказоустойчивость
Репликация данных: Redis поддерживает мастеровую репликацию, что позволяет создавать копии данных на нескольких серверах для обеспечения отказоустойчивости и балансировки нагрузки. Снятие резервных копий: Redis поддерживает создание резервных копий данных, что обеспечивает восстановление в случае сбоев.

🟠Реализация сложных структур данных
Работа с временными рядами: Redis позволяет эффективно управлять временными рядами данных, используя такие структуры, как списки и отсортированные множества. Графы и социальные сети: Использование структур данных Redis для реализации графов и сетей, что полезно в социальных сетях и рекомендательных системах.

🟠Функции блокировок
Реализация распределённых блокировок: Redis позволяет создавать механизмы блокировок для управления доступом к ресурсам в распределённых системах.

🚩Примеры использования

🟠Веб-приложения
Кэширование результатов запросов к базе данных. Хранение сессионных данных пользователей. Управление очередями задач для обработки данных в фоне.

🟠Мобильные приложения
Кэширование API-запросов для уменьшения задержек. Хранение временных данных и метрик использования.

🟠Игровые приложения
Хранение текущих состояний игр и информации о пользователях. Реализация лидеров и таблиц рекордов.

🟠Аналитические системы
Кэширование результатов аналитических запросов. Управление счётчиками и метриками в реальном времени.

Ставь 👍 и забирай 📚 Базу знаний

👩‍💻 Backend вакансии всех грейдов: удалёнка, реклок, щедрый оффер!

Вакансии, только с прямыми контактами в Telegram! Ноль автоотказов — живой диалог и быстрые объективные решения.

👩‍💻 Python 🖼️ PHP

👩‍💻 Java 👣 Go

🤖 ML & DS 👩‍💻 C#

👩‍💻 Node.js 👩‍💻 Frontend

🔎 QA 🖥 SQL

👩‍💻 UX/UI 👩‍💻 DevOps

👩‍💻 Mobile 📋 Analyst

💼 1C 👨‍✈️ CyberSec

👩‍💻 IT HR

Подпишись чтобы не упустить свой шанс получить лучший оффер!

🤔 Что знаешь о принципах программирования KISS?

Это принцип проектирования и разработки, который предполагает, что системы и решения должны быть максимально простыми и избегать ненужной сложности. Этот принцип особенно важен в программировании и инженерии, так как помогает создавать более понятные, поддерживаемые и надежные системы.

🚩Аспекты

🟠Простота
Системы должны быть простыми в понимании и использовании. Чем проще система, тем меньше вероятность возникновения ошибок. Простота достигается за счет минимизации количества компонентов и взаимодействий между ними.

🟠Ясность
Код должен быть понятным и легко читаемым. Это облегчает его поддержку и модификацию. Использование понятных имен переменных, функций и классов, а также понятная структура кода способствуют ясности.

🟠Избегание избыточности
Компоненты или функциональность следует избегать. Если какой-то элемент системы не добавляет реальной ценности, его следует убрать. Это включает в себя как аппаратное, так и программное обеспечение.

🟠Модульность
Системы должны быть разбиты на небольшие, независимые модули, каждый из которых выполняет свою четко определенную задачу. Модульность помогает в тестировании, повторном использовании и поддержке кода.

🚩Примеры применения

🟠Программирование
При разработке функций или методов следует избегать создания слишком сложных алгоритмов, если можно использовать более простые и понятные решения. Использование стандартных библиотек и инструментов вместо написания собственного кода с нуля, когда это возможно.
🟠Проектирование систем
В системной архитектуре следует избегать излишнего усложнения связей между компонентами системы. Использование простых и проверенных шаблонов проектирования вместо сложных и экспериментальных решений.
🟠Документация
Документация должна быть простой и понятной, избегая излишне технических или сложных объяснений. Хорошо структурированная и лаконичная документация помогает пользователям и разработчикам быстрее понять систему.

🚩Плюсы

➕Легкость понимания и поддержки
Простые системы легче понимать и поддерживать, что снижает затраты на обучение и поддержку.
➕Снижение количества ошибок
Чем проще система, тем меньше вероятность возникновения ошибок и проблем при её использовании.
➕Повышение производительности
Простые решения часто требуют меньше ресурсов и могут работать быстрее и эффективнее.
➕Улучшение масштабируемости
Простые и модульные системы легче масштабировать и расширять по мере необходимости.

Ставь 👍 и забирай 📚 Базу знаний

Python или не Python? Вот в чём вопрос… на обсуждение в формате круглого стола на Python-митапе от Авито! ☄️

Вечером 27 октября вас ждут в офисе на Лесной, чтобы обсудить:

➡️ кейс оптимизации GC в Python от Саши Федосеева, backend-инженера из команды Main Page Tech Авито;
➡️ как mypy укрощает Python в большой компании вместе с Сергеем Яхницким из Яндекса.

После докладов, как и сказали выше, вместе с участниками спикеры обсудят, подходит ли Python для запуска больших нагруженных решений в формате круглого стола.

Для тех, кто не успевает вырваться из офиса или дома, будет онлайн-трансляция.

Так что не откладывайте, регистрируйтесь и зовите коллег — все подробности по ссылке.