Каждая масштабируемая система начинается с одного важного компонента: балансировщика нагрузки (Load Balancer).

Без него ваш backend рано или поздно начнёт падать под нагрузкой.

Вот как на самом деле работают балансировщики нагрузки.

1. Один сервер

Представим, что в системе есть один backend-сервер.

Весь трафик идёт на одну машину.

Users → Server

Когда трафик растёт:

- загрузка CPU увеличивается
- память заполняется
- latency растёт

В итоге сервер падает.

2. Решение — горизонтальное масштабирование

Вместо одного сервера запускается несколько серверов.

- Server 1
- Server 2
- Server 3
- Server 4

Но теперь нужен способ распределять запросы между ними.

Именно для этого используется Load Balancer.

3. Новая архитектура

Теперь схема выглядит так:

Users → Load Balancer → Multiple Servers

Балансировщик решает, какой сервер будет обрабатывать каждый запрос.

4. Популярные алгоритмы балансировки

Round Robin
Запросы распределяются по очереди.

Req1 → Server1
Req2 → Server2
Req3 → Server3

Простой и очень распространённый метод.

Least Connections
Трафик отправляется на сервер с наименьшим количеством активных соединений.

Полезно, когда время обработки запросов сильно различается.

IP Hash
Запросы от одного IP-адреса пользователя направляются на один и тот же сервер.

Часто используется, когда нужна session stickiness.

5. Дополнительные функции балансировщиков

Балансировщики также обеспечивают:

- health checks
- failover
- SSL termination
- routing трафика

Если сервер становится нездоровым, он автоматически исключается из пула.

Пользователи этого даже не замечают.

6. Популярные балансировщики в продакшене

- Nginx
- HAProxy
- AWS Elastic Load Balancing (ELB / ALB)
- Cloudflare

Балансировщик нагрузки — это первый шаг к масштабированию backend-системы.

👉 @BackendPortal

Как работает Depth-First Search (DFS):

1. Начинаем со стека: помещаем исходную вершину в стек и помечаем её как посещённую.

2. Извлекаем верхнюю вершину: берём элемент с вершины стека — это текущая вершина для обхода.

3. Обрабатываем вершину: выполняем нужное действие — выводим, проверяем условие, сохраняем путь и т.д.

4. Добавляем непосещённых соседей: просматриваем всех соседей текущей вершины. Для каждого непосещённого — помечаем как посещённый и кладём в стек.

5. Повторяем, пока стек не пуст: возвращаемся к шагу 2. На каждой итерации уходим глубже по одному из путей перед возвратом назад.

6. Бэктрекинг происходит автоматически: если у вершины нет непосещённых соседей, ничего не добавляется в стек, и следующий pop возвращает нас назад по пути.

👉 @BackendPortal

Хотите разобраться с разработкой веб-приложений на Go?

Let's Go — это понятное и лаконичное руководство, которое охватывает всё необходимое: лучшие практики, структуру проекта и практические паттерны кода — включая управление зависимостями, аутентификацию, работу с базами данных, тестирование и многое другое.

👉 @BackendPortal

Решение медленных запросов часто сводится к добавлению ещё одного индекса. Но переиндексация — вполне реальная проблема, и есть менее известная фича в Postgres получше: CREATE STATISTICS 💡

Я часто ловил себя на том, что пытаюсь починить медленный запрос или плохой execution plan, добавляя ещё один, более специфичный индекс. В большинстве случаев это работало, но… чёрт, это было дорого. Не только по дисковому пространству, но и по стоимости обновления индекса на пути записи (write path).

Малоизвестная возможность в Postgres — это расширенная статистика (extended statistics). Это то, о чём должен знать каждый, кто работает с PG. И я сам слишком долго был по другую сторону — жаль, что не узнал об этом раньше 🫣

PostgreSQL уже из коробки имеет немало информации о ваших таблицах. Однако эти данные в основном по отдельным колонкам (есть исключения) и не отражают взаимосвязи между двумя и более колонками.

CREATE STATISTICS (или extended statistics) позволяет PG собирать дополнительную многоколоночную статистику, чтобы учитывать зависимости между колонками, понимать вероятные, маловероятные и невозможные комбинации значений, а также улучшать оценку количества строк (row estimates). Причём улучшения могут быть больше чем на порядок

Это важно, потому что в реальных данных столбцы обычно не независимы друг от друга. Как кофе без кружки — это просто чёрная вода на столе.

Самое приятное — это почти ничего не стоит. Практически не требует памяти или дискового пространства и намного легче поддерживается в актуальном состоянии при изменениях данных.

И использовать это очень просто:

CREATE STATISTICS my_stats (mcv, dependencies)
ON region, plan_tier, billing_status
FROM tenants;

Требование по хранению — около 2 KiB. Аналогичный индекс занял бы ~30 MiB для того же набора данных. И execution plans при этом, как правило, получаются лучше.

Полный разбор — в этом блоге, там же есть бенчмарк (с сгенерированными execution plan’ами и отчётами) на GitHub. 👇

- Benchmark code + reports
- Blog post

👉 @BackendPortal

Что если ваш репозиторий был бы AI-агентом?

GitAgent делает это реальностью.

• Git-native стандарт для AI-агентов
• Ваш репозиторий = память, навыки и идентичность
• Работает с OpenAI, Claude, CrewAI и другими
• Версионируемые, проверяемые и воспроизводимые агенты
• Запуск агентов напрямую из GitHub

100% опенсорс

👉 @BackendPortal

Как разработчик, задумывался ли ты когда-нибудь:

Ты вводишь имя пользователя в Gmail — и UI мгновенно показывает: «Username already taken»…

При том что пользователей по всему миру — миллионы.
Как эта проверка выполняется так быстро?

Я сказал «миллионы», но на самом деле пользователей Gmail около ~1.8 млрд по всему миру.

Меняет ли это что-то в архитектуре?

Во многих ответах упоминается Bloom Filter.

Но как разработчик,
знаешь ли ты, что такое Bloom Filter?

Bloom filter — это структура данных, состоящая из:

* битового массива (просто 0 и 1)
* нескольких хеш-функций

И всё. Ничего больше.

Посмотрим, как это работает:

Добавляем элемент ("john")

Шаг 1: прогоняем через хеш-функции

h1("john") → 2
h2("john") → 5
h3("john") → 8

Шаг 2: выставляем соответствующие индексы в 1

bitArray = [0,1,0,0,1,0,0,1,0,0]
2 5 8

Теперь проверим элемент ("Raj")

Шаг 1: снова хешируем

h1("Raj") → 2
h2("Raj") → 4
h3("Raj") → 9

Шаг 2: проверяем биты

индекс 2 → 1
индекс 4 → 0

Если хотя бы один индекс = 0 → возвращаем FALSE (точно отсутствует)

Теперь проверим другой ("Sumit")

h1("Sumit") → 2
h2("Sumit") → 5
h3("Sumit") → 8

Проверка битов:
2 → 1
5 → 1
8 → 1

Все 1 → возвращаем TRUE (возможно присутствует, нужно проверить в БД)

Почему «возможно»?

Разные входные данные могут отображаться в одни и те же индексы:

john → 2,5,8
Sumit → 2,5,8 (коллизия)

То есть:
ты не добавлял "Sumit",
но биты уже равны 1 (ложноположительное срабатывание)

👉 @BackendPortal

Один из способов не утонуть в сложности при проектировании системы — использовать определённую структуру / ментальную модель. Вот простая модель, которой я пользуюсь…

Представь любую систему как состоящую из двух отдельных путей: read path и write path. Твоя база данных или слой хранения находится в центре, а у каждого пути — свой набор проблем и свой инструментарий для их решения.

Write path — это про надёжность (durability) и пропускную способность (throughput). Как правило, ты выбираешь из одного и того же набора инструментов: message queue для сглаживания пиков нагрузки, write-ahead logging для обеспечения надёжности, batching для снижения I/O и асинхронная обработка, чтобы не перегружать критический путь.

Read path — это про задержки (latency) и масштабируемость. И здесь тоже есть стандартный набор: кэширование на разных уровнях (CDN, уровень приложения, уровень запросов), read-реплики для разгрузки primary, денормализация или предвычисление тяжёлых запросов, а также пагинация или cursor-based обход, чтобы избежать полного сканирования.

Когда начинаешь воспринимать это как две отдельные задачи, ты перестаёшь «проектировать систему» целиком и начинаешь отвечать на два более простых вопроса: что нужно write path? что нужно read path? А затем связываешь их через слой хранения.

Этот «фреймворк» (если его так можно назвать) полезен не только в обсуждениях, но и помогает лучше понимать продакшн-системы — особенно когда ты разбираешься в существующей архитектуре, оптимизируешь текущий флоу, дебажишь всплески latency или планируешь масштабирование.

Надеюсь, это поможет.

👉 @BackendPortal

URI vs URN vs URL — в чём разница?

Если представить библиотеку, книгу можно идентифицировать тремя способами:

- Адрес библиотеки и расположение книги на полке (URL)
- ISBN книги (URN)
- Любым из этих способов (URI)

Соответственно, есть три типа идентификаторов:

URI (Uniform Resource Identifier) — это общее, родительское понятие. Любая строка, которая идентифицирует ресурс. И URL, и URN являются частными случаями URI.

URL (Uniform Resource Locator) — указывает, как получить доступ к ресурсу.
Например: [https://linkedin.com/in/yourprofile]
Это аналог физического адреса — он говорит, куда именно идти.

URN (Uniform Resource Name) — это уникальное имя ресурса, которое остаётся неизменным, даже если ресурс перемещён или недоступен.
Пример: urn:isbn:0-486-27557-4
Можно сравнить с номером социального страхования — он идентифицирует объект, но не говорит, где его найти.

👉 @BackendPortal

Писать код сейчас легко, а вот тестировать — сложно.

Давайте посмотрим, где именно находятся разные виды тестов и какую роль они играют. ⬇️⬇️⬇️

Проблема: HTTP-статусы в коде не являются типобезопасными и требуют либо постоянно заглядывать в справочник, либо держать всё в голове.

Решение: http-status-codes

Теперь у меня есть автодополнение и строго типизированные статус-коды, которые легко читать позже. И больше не нужно переживать из-за опечаток или использования некорректных кодов.

👉 @BackendPortal

30 вопросов по Docker, которые задают на собеседованиях в DevOps.

Это реальные сценарии из практики, которые часто встречаются на интервью — с упором на отладку, проблемы в продакшене и best practices.

👉 @BackendPortal

Не существует единственного способа что-то спроектировать — и это в полной мере относится к первичному индексу базы данных. Давайте разберёмся

Базы данных обычно используют две основные стратегии хранения данных: прямую и косвенную. У каждой есть чёткие компромиссы в зависимости от ваших задач.

Прямой первичный индекс (кластеризованный индекс)

В этом подходе записи первичного индекса указывают напрямую на физическое расположение записей данных, которые упорядочены в соответствии с первичным ключом.

Листовые узлы индекса содержат либо сами записи данных, либо прямые указатели на страницы данных. Это накладывает ключевое ограничение: у таблицы может быть только один кластеризованный индекс, так как данные физически можно отсортировать только одним способом.

Движок MySQL InnoDB следует этому подходу.

Косвенный первичный индекс (Heap + вторичный индекс)

В этом подходе первичный индекс указывает на промежуточный идентификатор (например, row ID), который уже ссылается на фактическое расположение данных. Сами данные хранятся в неупорядоченной куче (heap). Это позволяет отделить хранение данных от организации индексов.

PostgreSQL предпочитает этот подход.

Надеюсь, это было полезно.

👉 @BackendPortal

Есть два способа реализовать real-time коллаборацию — либо всё гонять через центральный сервер, либо использовать P2P mesh. Представим совместный canvas, как в Figma, Canva или Miro, с 10 пользователями.

Если проксировать каждое движение курсора через сервер, 10 пользователей генерируют по 60 обновлений указателя в секунду — это 600 сообщений, приходящих на сервер, который затем рассылает их 9 получателям. В итоге получается 5 400 сообщений в секунду на одну сессию — только для трекинга мыши.

Альтернатива — P2P mesh: каждый клиент напрямую подключается ко всем остальным, и сервер вообще не участвует в передаче этих высокочастотных пакетов.

Но у mesh-подхода есть своя проблема — количество соединений растёт по формуле n × (n - 1) / 2.
При 4 пользователях — 6 соединений.
При 10 — уже 45.
При 20 — 190.

То есть каждый браузер держит (n - 1) одновременных WebRTC-соединений. Нагрузка на сервер падает до нуля, но сложность на клиенте растёт квадратично.

Когда же mesh имеет смысл?

Используй mesh-топологию, когда данные:

- высокочастотные
- некритичные (low-stakes)
- чувствительны к задержкам

Например: позиции курсоров, live-выделения, штрихи рисования. Потеря одного обновления не страшна — следующее придёт через ~16 мс. В этом случае сервер реально не даёт дополнительной ценности.

Не используй mesh для важных операций:

- сохранение документа
- изменения прав доступа
- разрешение конфликтов

Такие вещи должны идти через сервер.

Хороший способ мыслить о mesh — это как о способе вынести определённый класс трафика с сервера.

Важно запомнить: не все real-time данные одинаковы.

Позиции курсора и зафиксированное состояние (committed state) имеют совершенно разные требования. Если обрабатывать их одинаково — например, гонять всё через сервер — ты сам создаёшь bottleneck.

Раздели трафик по допустимым потерям и задержкам — и архитектура станет очевидной.

👉 @BackendPortal

Что такое REST и какие у него ограничения ?

REST (Representational State Transfer) — это архитектурный стиль для построения сетевых приложений, чаще всего используемый при разработке web API. Он был предложен Roy Fielding в его докторской диссертации в 2000 году.

REST основан на 6 ключевых ограничениях:

1. Uniform Interface (Единый интерфейс)
Стандартизированный способ взаимодействия с ресурсами (обычно через HTTP: GET, POST, PUT, DELETE).

2. Client-Server (Клиент–сервер)
Разделение ответственности между клиентом (UI) и сервером (данные и логика).

3. Stateless (Без сохранения состояния)
Каждый запрос должен содержать всю информацию, необходимую для его обработки. Сервер не хранит состояние клиента между запросами.

4. Cacheable (Кэшируемость)
Ответы должны явно указывать, можно ли их кэшировать, чтобы повысить производительность.

5. Layered System (Слоистая архитектура)
Компоненты взаимодействуют только со своим ближайшим слоем и не знают о всей системе целиком.

6. Code-on-Demand (по желанию)
Сервер может отправлять исполняемый код клиенту (например, JavaScript), расширяя его функциональность.

👉 @BackendPortal

Когда сетевое разделение приводит к сценарию split-brain, большинство систем пытаются автоматически устранить его с помощью протоколов консенсуса. Vitess идёт другим путём...

Он намеренно придерживается консервативного подхода к автоматическим действиям.

У Vitess есть компонент автоматического обнаружения и восстановления сбоев под названием VTOrc. Он выполняет автоматический failover, но только тогда, когда это можно сделать безопасно в рамках настроенной политики надёжности (durability policy). Если он не может гарантировать безопасное переключение, он не будет ничего предпринимать.

Причина в том, какие именно цели вы оптимизируете.

Vitess использует полусинхронную репликацию (semi-synchronous replication) с fallback на асинхронную репликацию. Это означает, что primary будет приостанавливать выполнение (stall), вместо того чтобы молча принимать записи, которые не были подтверждены хотя бы одной репликой.

Этот компромисс сделан осознанно: простой (stall) можно пережить, расхождение данных — нет.

Во время сетевого разделения автоматическое восстановление вынуждено принимать решения при неполной информации. Оно может повысить (promote) реплику до primary, в то время как исходный узел всё ещё работает, что приведёт к ситуации, когда два узла независимо принимают записи. Когда сеть восстановится, у вас уже будут конфликтующие истории записей, а не просто проблема связности.

Когда VTOrc не может подтвердить, что способен выполнить failover без потери данных (lossless), он откажется повышать новый primary, если вы явно не переопределите проверки безопасности. Запросы, зависящие от этого primary, могут завершаться с ошибкой или зависать, но Vitess не примет решение, которое может привести к повреждению данных.

Когда VTOrc не может действовать безопасно, он отступает — и решение о том, когда и как восстанавливаться, принимает человек.

Интересный инженерный вывод здесь в том, что принцип «действуй только тогда, когда это безопасно» иногда является самым оправданным архитектурным решением.

Не каждый отказ (всегда) требует автоматического исправления.

👉 @BackendPortal

Эволюция протокола HTTP

👉 @BackendPortal

Пакет io — это ключевая часть стандартной библиотеки Go. Портировать его на C оказалось довольно интересной задачей.

Автору пришлось разобраться, как в C реализовать срезы (slices), множественные возвращаемые значения, обработку ошибок и интерфейсы. Но в итоге всё получилось довольно неплохо!

Читать фулл статью

👉 @BackendPortal

После тысячи видео "Стань Python-разработчиком с 0 до PRO" нашли видео для джунов, которые уже знают базу и не хотят опять слушать про print("Hello, World!")

Если уже знаешь синтаксис и основные конструкции в питоне, но застрял на уровне джуна, то видео точно будет полезно. Как мы поняли, это первая часть. В ней про Pydantic, ООП и декораторы настолько понятно, насколько это вообще возможно. К концу второй части обещают подтянуть зрителя до миддла — надо будет проверить 👍

👉 @BackendPortal