Как обработать 1 миллион API-запросов в минуту

1. Балансировка нагрузки

Проблема:
Один сервер не выдерживает 1M запросов/мин: перегрузка CPU и памяти, начинается дроп запросов.

Решение:

- Использовать балансировщик нагрузки (NGINX, HAProxy, AWS ELB) для распределения трафика между множеством серверов
- Добавить проверки состояния , чтобы не направлять трафик на нерабочие инстансы
- Настроить авто-масштабирование, чтобы запускать новые инстансы при всплеске трафика

2. Кеширование

Проблема:
Каждый запрос бьет по базе → база становится узким местом (исчерпание соединений, медленные запросы).

Решение:

Добавить уровни кеширования:

- CDN для статических ресурсов (изображения, CSS, JS)
- Redis/Memcached для повторяющихся запросов
- Настроить правила инвалидации кеша, чтобы данные оставались актуальными

> Вместо 1M запросов к базе, возможно, только 100K дойдут после кеширования.

3. Ограничение частоты запросов

Проблема:
Всплеск активности (например, от ботов или злоумышленников) перегружает инфраструктуру → хорошие пользователи получают 503.

Решение:

- Алгоритмы Token Bucket / Leaky Bucket: позволяют короткие всплески, но сохраняют стабильный поток
- Разные лимиты для аутентифицированных и анонимных пользователей
- Возвращать 429 Too Many Requests — корректно и информативно

> Защищает инфраструктуру: один плохой пользователь не портит всё остальным.

4. Асинхронная обработка

Проблема:
Некоторые запросы тяжелые (обработка файлов, аналитика, отправка писем). Если делать их синхронно — ответ замедляется.

Решение:

- Выносить тяжёлые задачи в очередь (Kafka, RabbitMQ, SQS)
- Отвечать сразу с кодом 202 Accepted, обработку запускать в фоне
- Воркеры обрабатывают очередь и выполняют задачи

> Пользователи получают быстрый ответ, тяжёлая работа происходит «за кулисами».

5. Мониторинг и обратное давление

Проблема:
Даже при использовании балансировки, кешей и очередей, резкие всплески могут вызвать каскадные сбои.

Решение:

- Мониторить глубину очередей, задержки при доступе к БД, hit rate кеша
- Применять backpressure: замедлять запросы или отбрасывать нагрузку при приближении к лимитам
- Настроить алерты: Prometheus/Grafana, Datadog, New Relic

👉 Java Portal

Аннотации в конструкторах Java . декларации и типы

В языке программирования Java можно аннотировать конструкторы. Например, это часто используется в библиотеках для внедрения зависимостей :

@Inject
MyService(FooProcessor processor, BarLogger logger) {
  this.processor = processor;
  this.logger = logger;
}

В этом примере MyService — это конструктор некоего сервиса, и он помечен аннотацией @Inject. Эта аннотация сообщает DI-библиотеке, что нужно использовать именно этот конструктор для создания экземпляра сервиса.

🔸Аннотации деклараций и конструкторы

В этом посте нас не интересуют сами DI-библиотеки — важно лишь то, что аннотацию @Inject можно ставить на уровне декларации конструктора.

Если взглянуть на определение аннотации @Inject, то оно будет примерно таким:

@Target({METHOD, CONSTRUCTOR, FIELD})
@Retention(RUNTIME)
public @interface Inject {}

Здесь в @Target указано CONSTRUCTOR, что означает, что аннотацию можно применять к конструкторам. Так как @Inject применяется к декларациям, её называют аннотацией декларации

🔸Аннотации типов и конструкторы

До недавнего времени я даже не знал, что конструкторы в Java можно аннотировать также и аннотациями типов. Я много раз просматривал конструкторы, но всё равно упускал, что тип конструктора тоже может быть аннотирован.

Пример — создадим следующую аннотацию:

@Target(ElementType.TYPE_USE)
@Retention(RetentionPolicy.RUNTIME)
@interface T {}

Это аннотация @T, которая применяется только к типам (TYPE_USE). Также указана политика RUNTIME, чтобы можно было получить доступ к аннотации во время выполнения.

Теперь применим её к конструктору:

static class Subject {
  public @T Subject() {}
}

Код компилируется без ошибок. Обрати внимание: класс Subject — вложенный (static class), не inner, поэтому используется модификатор static.

🔸Извлечение аннотации во время выполнения

Для полноты картины — пример, как извлечь аннотацию типа с конструктора во время выполнения:

void main() throws NoSuchMethodException {
  final Class<?> type = Subject.class;

  final Constructor<?> constructor = type.getDeclaredConstructor();

  final AnnotatedType annotatedType = constructor.getAnnotatedReturnType();

  final Annotation[] typeAnnotations = annotatedType.getDeclaredAnnotations();

  print("Type annotations are:", typeAnnotations);
}

private void print(String msg, Annotation[] annotations) {
  System.out.println(msg);
  for (Annotation annotation : annotations) {
    System.out.println(annotation);
  }
}

Пошагово:

1. Получаем объект Constructor для конструктора класса Subject
2. Через getAnnotatedReturnType() получаем AnnotatedType, представляющий тип возвращаемого значения конструктора
3. Из AnnotatedType извлекаем все аннотации типа
4. Печатаем аннотации

Пример вывода:

Type annotations are:
@TypeAnnotations2.T()

То есть конструктор действительно аннотирован аннотацией типа @T.

В языке программирования Java тело конструктора не должно содержать операторов return с возвращаемым значением. Однако, подобно методу, возвращающему, скажем, объект Foo, конструктор тоже возвращает значение. Результатом вызова конструктора (если он завершается без исключений) является новый экземпляр объекта, тип которого — это тип класса, в котором объявлен данный конструктор.

Таким образом, в объявлении конструктора присутствует использование типа — типа создаваемого объекта. А в Java можно аннотировать любое использование типа. Такие аннотации называются аннотациями типа

Исходный код, использованный в этом посте, можно найти в этом [Gist]

👉 Java Portal

Если вам трудно дается java, это проблема навыков.

👉 Java Portal

GIT Шпаргалка

🔸Настройка репозитория

git init                         # Инициализировать репозиторий
git clone <url>                 # Клонировать репозиторий
git config --global user.name "Name"   # Установить имя пользователя
git config --global user.email "email" # Установить email

🔸Базовые команды

git status                      # Проверить статус
git add <file>                 # Проиндексировать файл
git add .                      # Проиндексировать все файлы
git commit -m "msg"            # Зафиксировать изменения
git commit -am "msg"           # Индексация + фиксация
git log                        # История коммитов
git diff                       # Показать изменения

🔸Работа с ветками

git branch                     # Показать список веток
git branch -a                  # Показать все ветки (вкл. удалённые)
git branch <name>             # Создать ветку
git checkout <branch>         # Переключиться на ветку
git checkout -b <name>        # Создать и переключиться на ветку
git merge <branch>            # Слить ветку
git branch -d <name>          # Удалить ветку

🔸Удалённые репозитории

git remote                     # Показать список удалённых
git remote -v                  # Показать URL-адреса удалённых
git push <remote> <branch>    # Отправить изменения
git pull <remote> <branch>    # Получить изменения
git fetch                     # Забрать изменения без слияния

🔸Отмена изменений

git reset <file>              # Убрать файл из индекса
git reset --hard              # Откат к последнему коммиту
git checkout <file>           # Отменить изменения в файле
git revert <commit>           # Откатить коммит (реверт)

🔸Продвинутые команды

git stash                     # Сохранить изменения во временное хранилище
git stash pop                 # Применить stash
git rebase <branch>           # Перебазировать ветку
git tag <name>                # Создать тег
git log --oneline             # Краткий лог коммитов

👉 Java Portal

Ссылки на методы и функциональные интерфейсы:

Познакомься с ссылками на методы — более чистым и умным способом передавать поведение в современной Java.

В связке с функциональными интерфейсами они позволяют писать лаконичный, читаемый и элегантный код без потери типобезопасности и выразительности.

👉 Java Portal

🥇 Пройди ЛЮБОЕ собеседование!

Большая база вопросов с реальных собеседований:

→ Тинькофф, Авито, Сбер, Озон, Яндекс, VK и еще 100+ компаний

→ 20+ направлений: Frontend, Backend, DevOps, QA, Mobile и другие

→ 60+ технологий: React, Python, Docker, Git, Java, Go, JavaScript и не только

Выбирай направление:

👩‍💻 C# 🤖 ML Engineer

👩‍💻 C/C++ 🖥 Data Science

👩‍💻 Java 👩‍💻 Python

🖥 PHP 👩‍💻 Frontend

👣 Rust 👣 Golang

👩‍💻 Node.js 💻 DevOps

👩‍💻 QA 👩‍💻 Android

👩‍💻 iOS 👩‍💻 Game Dev

🖥 Общее IT 👨‍💻 Вакансии

База обновляется еженедельно — всегда актуальные вопросы с последних собеседований.

💸 Хочешь оффер в Big Tech? Готовься с нами!

JetBrains меняет дистрибуцию IntelliJ IDEA

Теперь не будет отдельных установщиков для Community и Ultimate будет единый инсталлятор с полным набором функций.

Подписка по-прежнему нужна для доступа к функциям Ultimate Edition, но без подписки IDE останется полностью рабочей и бесплатной, включая больше возможностей, чем сейчас в Community Edition.

Что ещё важно:

🔸Открытые сборки будут публиковаться на GitHub.
🔸Если подписка истечёт, IDE не заблокируется — вы продолжите работать в режиме Community Edition.
🔸Улучшенный опыт с управлением лицензиями.

Поддержка open-source и бесплатного использования остаётся приоритетом JetBrains. 🐒

Подробнее по ссылке - jetbrains.com/blog

👉 Java Portal