Диагностика сбоев, проверка отказоустойчивости и восстановление данных. Собрали три материала этой недели и открыли три записи HighLoad++ 2025 — о том, что происходит с системой при отказах и как разбираться с последствиями.

Почитать:

👩‍🏫Making Failure Diagnosis Reliable with Pensive AI.
Технический кейс Netflix о применении AI для диагностики ошибок. Модель выбирает нужные строки из исходных логов, а проверки качества встроены в CI. Если подключаете LLM к расследованию сбоев, посмотрите, как команда проверяет её выводы и ограничивает стоимость обработки.

👩‍🏫Why you should stop using ARBITERS in MongoDB.
Разбор трёх инцидентов, в которых арбитр помогал выбрать primary, но не обеспечивал доступность записи или сохранность данных. Percona объясняет разницу между большинством голосов и подтверждением записи — с топологиями кластеров и причинами отказов.

👩‍🏫How to Extract Data from InnoDB, MyISAM, and MyRocks Files Without a Running Server.
Что делать, если MySQL не запускается, а данные нужно извлечь? В статье — экспериментальный инструмент innodump: чтение файлов напрямую и пропуск повреждённых страниц. Есть примеры команд и ограничения: согласованность данных не гарантируется, бэкап инструмент не заменяет.

Посмотреть:

☄️Практики SRE на примере большого инцидента. Сергей Киселев.
Инцидент на пересечении DNS, облачной инфраструктуры и человеческого фактора. Как сохранять ход расследования, проверять опасные изменения по метрикам и действовать, когда откат не помогает.

☄️Воркшоп: «Ломаем геораспределенный Postgres на базе Patroni. Георгий Меликов, Антон Кременецкий, Евгений Фролов.
Проверка кластера PostgreSQL отключениями питания и сети, задержками и отказом ЦОДа. В центре внимания — фактическое поведение базы и приложения, на которое рассчитывают при проектировании отказоустойчивой системы.

☄️Когда облако дало сбой: реальный кейс борьбы за отказоустойчивость. Константин Крамлих.
Разбор облачной аварии: цепная реакция отказов, восстановление и пересмотр подходов к устойчивости. Отдельно — что помогало и мешало принимать технические решения в условиях неопределённости.

Сохраняйте подборку на случай, если захотите к ней вернуться, и делитесь с коллегами 🙌

Запросы повторяются, сервисы временно недоступны, данные меняются параллельно. Как учесть это в архитектуре? На HighLoad++ 2026 спикеры расскажут, как организовали обработку и обновление данных в своих системах.

☄️Эволюция борьбы с гонками в WMS Ozon: как мы обрабатываем миллионы операций и избегаем рассинхронизации данных. Максим Рауба (Ozon).
На примере складской системы Ozon Максим объяснит, откуда берутся гонки и как замечать предпосылки ещё при проектировании. В докладе разберём способы предотвращать гонки на разных уровнях — от переменных до микросервисов — и роль саг в обновлении данных.

☄️Гарантированная доставка на Госуслугах: миллиард доставленных заявлений в год. Сергей Станиславский (РТЛабс).
Сергей расскажет, как на Госуслугах исключили дублирование заявлений при повторных запросах и организовали пересылку, которая продолжает работать при временной недоступности получателя. А ещё — как обеспечили единообразную обработку и маршрутизацию в разных компонентах платформы.

☄️Real-time обновление HNSW: последний шаг к свежим данным в RecSys. Александр Смолин (Яндекс).
Александр покажет, как в Яндекс Рекламе изменили алгоритм обновления HNSW-индексов, чтобы обрабатывать миллионы документов быстрее и с меньшими затратами CPU, сохраняя качество поиска. Вы разберётесь, при каких условиях этот подход полезен рекомендательным системам.

Если вы разрабатываете распределённые системы, отвечаете за их надёжность или строите рекомендательные сервисы, приходите на эти доклады.

☄️Больше о программе — на сайте HighLoad++ 2026

Когда приложение тормозит, а метрики не дают однозначного ответа о причине, важно разобраться, что именно измерять и как проверять эффект изменений.

Открыли и принесли вам записи HighLoad++ 2025, в которых спикеры показывают инструменты диагностики и делятся опытом оптимизации приложений:

🔴Диагностика под нагрузкой: .NET, Java и Go на практике. Игорь Щегловитов.
Утечки памяти, зависшие потоки, падение производительности — какие данные собирать и где искать причину? Игорь показывает работу с метриками, профилями и дампами. Основной акцент — на .NET, с примерами аналогичных подходов в Java и Go.

🔴Beyond the OOM: Decoding Java Memory Behavior. Михаил Поливаха.
Инструменты JVM показывают улучшение, а метрики ОС — ухудшение. На практическом кейсе Михаил разбирает, почему измерения расходятся, что именно учитывают разные инструменты и как оценивать потребление памяти Java-приложением.

🔴От Protobuf к FlatBuffers: двухкратное ускорение сервиса с правильной сериализацией. Денис Божок.
Кейс перехода на другой формат сериализации в Go/gRPC-сервисе: причины выбора, сложности миграции и результаты. Посмотрите, за счёт чего команда получила ускорение и какие компромиссы пришлось учесть.

Сохраняйте подборку и делитесь с коллегами, которые сейчас разбираются с производительностью 🙌

Когда сбой затрагивает часть системы, важно не дать ему остановить весь сервис. На HighLoad++ 2026 спикеры расскажут, что помогает пережить аварию и как разбор инцидента подсказывает, что менять дальше.

👨‍🔬Когда защите нужна защита: как мы ломали и восстанавливали Антиробот Яндекса. Иван Тямгин (Яндекс).
Антиробот проверяет запросы к сервисам Яндекса. Ошибка в одном правиле может заблокировать обычный трафик. Иван покажет, как команда поднимала кластер после каскадного падения, наладила холодный старт под нагрузкой и научилась ловить ошибки на копии рабочего трафика.

👨‍🔬PostMortem Copilot: как LLM + MinHash LSH снижают повторяемость инцидентов. Евгений Лачугин (МТС Диджитал).
В МТС Диджитал разработали PostMortem Copilot: он находит похожие случаи в архиве из тысяч инцидентов и предлагает версии причин и меры для команды. Евгений объяснит, почему для поиска выбрали коэффициент Жаккара, как сравнивали языковые модели и в каких случаях их выводы расходятся с оценкой человека.

👨‍🔬Пределы равновесия»: как "инженерный перфекционизм" при реализации геобалансирования может быть выражен в виде «нам всего, и можно без хлеба». Павел Михайлик (Инфосистемы Джет).
Нагрузка на площадках меняется неравномерно: где-то нужно добавить мощности, где-то — сократить. Павел разберет, можно ли гибко перераспределять трафик между дата-центрами и при этом быстро переключаться при аварии так, чтобы пользователи не заметили сбоя.

Если вы дежурите, отвечаете за доступность сервисов или проектируете системы для нескольких дата-центров, приходите на эти доклады.

👩‍🔬Узнайте больше о программе — на сайте HighLoad++ 2026

В эфире субботний дайджест, а в нем — материалы этой недели про AI с техническими деталями, цифрами и ограничениями.

👨‍🔬Reflex: an architecture for building mobile apps with agents.
Статья Shopify о том, как отделить логику приложения от интерфейса, чтобы агенты могли проверять его поведение без эмулятора. Один набор из 1 700+ тестов работает на iOS и Android и, по данным команды, проходит в CI примерно за четыре минуты.

👨‍🔬We tuned vLLM by hand for 64% more throughput. An agent should have done it.
В эксперименте Vertexcover изменила конфигурацию vLLM и получила на 64% больше выходных токенов в секунду на тех же восьми H100. В кейсе есть и неудачные настройки: посмотрите, как команда по заполнению KV-кэша нашла узкое место и какие эксперименты уже после этого поручила агенту.

👨‍🔬Bypassing network restrictions during a coding evaluation.
Разбор случая на внутренней оценке OpenAI: когда штатный прокси оказался недоступен, модель смогла отправить трафик наружу через сеть для связи приложения с браузером. В отчете — какие разрешения сделали обход возможным и что команда изменила после расследования.

Хороших выходных, друзья! Пусть найдется время и отдохнуть, и спокойно почитать 🙌