Рассказываем о следующих пяти докладах из секции «Архитектура» в программе Saint HighLoad++ 2025, на которые стоит прийти, чтобы:
🟣 узнать об опыте внедрения распространения данных по паттерну EventStreaming для наполнения DataLake;
🟣 погрузиться в процесс создания и сопровождения платежных интеграций;
🟣 послушать о практике оптимизации настроек и опыте использования оптимизированных K8s-кластеров под управлением deckhouse на прерываемых (спотовых) инстансах в AWS и YC;
🟣 узнать об опыте перехода баннерного демона от baremetal-инфраструктуры в облако;
🟣 вдохновиться нестандартными вариантами использования привычных инструментов!
1) Эволюция сбора данных в datalake в инфраструктуре Самоката и других продуктов ecom.tech. Дмитрий Копров (ecom.tech)
Инженеры Самоката делятся опытом построения пайплайна сбора данных из различных источников в единое хранилище. Доклад интересен в первую очередь тем, что носит ретроспективный характер, повествует о том, что сработало, что нет — и это может помочь сэкономить месяцы работы DWH-командам.
2) Семь кругов финтеха: драма в двух эпизодах. Маргарита Моногарова (Altenar)
Автор на примерах и собственном опыте расскажет, почему интеграция — это не просто взять и вызвать API. Разбор проблемных ситуаций и exception paths поможет ИТ-специалистам при интеграции различных систем (и финтех-систем в первую очередь) не допускать ошибок, которые могут дорого стоить.
3) Оптимизация стоимости владения K8s-кластерами в AWS и YC, или Как сэкономить 100500 на кубиках за год. Андрей Ивахненко (Антиплагиат)
Доклад о том, как в «Антиплагиате» оптимизировали K8s-кластеры в AWS и YC: 5500 подов, споты, Deckhouse, ML-сервисы, автомасштабирование. Как запускать быстрее, платить меньше и переживать пиковые нагрузки без боли. Реальные настройки, фишки и грабли.
4) Переезд в облако рекламного движка с baremetal под высокой нагрузкой. Артем Букин (VK, VK Реклама)
На предыдущих конференциях спикер рассказывал про оптимизации и внутреннее устройство рекламной системы VK, позволяющей ей держать действительно высокие нагрузки. В этом докладе он расскажет какие круги ада пришлось пройти, чтобы перенести настолько оптимизированную систему с baremetal в облако.
5) Прикладной консенсус. Какая Станция должна ответить? Павел Корозевцев (Яндекс)
Если вы когда-нибудь задумывались, как работает Станция и, особенно, как несколько Станций договариваются между собой, этот доклад — для вас. Архитектура, алгоритмы, технологии.
Ждем вас на Saint HighLoad++ 2025 🖐️
✅ Программа конференции на сайте
1) Эволюция сбора данных в datalake в инфраструктуре Самоката и других продуктов ecom.tech. Дмитрий Копров (ecom.tech)
Инженеры Самоката делятся опытом построения пайплайна сбора данных из различных источников в единое хранилище. Доклад интересен в первую очередь тем, что носит ретроспективный характер, повествует о том, что сработало, что нет — и это может помочь сэкономить месяцы работы DWH-командам.
2) Семь кругов финтеха: драма в двух эпизодах. Маргарита Моногарова (Altenar)
Автор на примерах и собственном опыте расскажет, почему интеграция — это не просто взять и вызвать API. Разбор проблемных ситуаций и exception paths поможет ИТ-специалистам при интеграции различных систем (и финтех-систем в первую очередь) не допускать ошибок, которые могут дорого стоить.
3) Оптимизация стоимости владения K8s-кластерами в AWS и YC, или Как сэкономить 100500 на кубиках за год. Андрей Ивахненко (Антиплагиат)
Доклад о том, как в «Антиплагиате» оптимизировали K8s-кластеры в AWS и YC: 5500 подов, споты, Deckhouse, ML-сервисы, автомасштабирование. Как запускать быстрее, платить меньше и переживать пиковые нагрузки без боли. Реальные настройки, фишки и грабли.
4) Переезд в облако рекламного движка с baremetal под высокой нагрузкой. Артем Букин (VK, VK Реклама)
На предыдущих конференциях спикер рассказывал про оптимизации и внутреннее устройство рекламной системы VK, позволяющей ей держать действительно высокие нагрузки. В этом докладе он расскажет какие круги ада пришлось пройти, чтобы перенести настолько оптимизированную систему с baremetal в облако.
5) Прикладной консенсус. Какая Станция должна ответить? Павел Корозевцев (Яндекс)
Если вы когда-нибудь задумывались, как работает Станция и, особенно, как несколько Станций договариваются между собой, этот доклад — для вас. Архитектура, алгоритмы, технологии.
Ждем вас на Saint HighLoad++ 2025 🖐️
✅ Программа конференции на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Что делает код идеальным и существует ли такой человек, который его видел? Ответы участников HighLoad++ 2024 в этом видео ⬆️
А как бы ответили вы? Расскажите в комментариях ⤵️
А как бы ответили вы? Расскажите в комментариях ⤵️
Так существует ли идеальный код? Видели вы такой?
Anonymous Poll
17%
Идеальный код есть! В голове..
53%
Идеальный код — это читаемый, легкий для понимания, исправления и поддержания
9%
Идеальный код видит каждый, до принятия решения его переовероптимизировать
19%
Впервые слышу о таком понятии
3%
Сейчас напишу свое мнение 👇
Безопасность критически важна для высоконагруженных систем, особенно при современном уровне киберугроз. В докладах из секции «Безопасность» вас ждут различные аспекты защиты систем ⤵️
1) CVE — миф и реальность. Алексей Морозов (ecom.tech)
Актуальная антология уязвимостей от признанного специалиста в данной области!
2) Разработчик веб-скраперов (53 бота) в 500 м от вас и хочет познакомиться: как не подхватить скрапера? Арсений Савин (Effective)
Скрапинг и парсинг актуален всегда. В докладе — о современном статусе методов и ПО как для самого парсинга, так и защиты от него. Если вас парсят и вы хотите защититься или узнать, как мыслит и действует атакующий, — вам сюда.
3) Как мы переписали аутентификацию в микросервисной платформе. Дмитрий Ларионов (МТС)
Знакомая многим из нас история. Есть неожиданная и нетривиальная задача, нужно составить план и решить ее максимально быстро и эффективно. История архитектора — в этом докладе.
4) Атаки на приложения и цепочки поставок: как продолжать использовать API и спать спокойно. Лев Палей (Вебмониторэкс)
Доклад строится вокруг проблематики создания API с учетом безопасности. Как различаются подходы, что нужно сделать, чтобы не было больно, — от докладчика с большим опытом в теме.
До Saint HighLoad++ 2025 остается все меньше времени, успевайте к нам присоединиться 🙌
✅ Посмотреть программу конференции и забронировать билет можно на сайте
1) CVE — миф и реальность. Алексей Морозов (ecom.tech)
Актуальная антология уязвимостей от признанного специалиста в данной области!
2) Разработчик веб-скраперов (53 бота) в 500 м от вас и хочет познакомиться: как не подхватить скрапера? Арсений Савин (Effective)
Скрапинг и парсинг актуален всегда. В докладе — о современном статусе методов и ПО как для самого парсинга, так и защиты от него. Если вас парсят и вы хотите защититься или узнать, как мыслит и действует атакующий, — вам сюда.
3) Как мы переписали аутентификацию в микросервисной платформе. Дмитрий Ларионов (МТС)
Знакомая многим из нас история. Есть неожиданная и нетривиальная задача, нужно составить план и решить ее максимально быстро и эффективно. История архитектора — в этом докладе.
4) Атаки на приложения и цепочки поставок: как продолжать использовать API и спать спокойно. Лев Палей (Вебмониторэкс)
Доклад строится вокруг проблематики создания API с учетом безопасности. Как различаются подходы, что нужно сделать, чтобы не было больно, — от докладчика с большим опытом в теме.
До Saint HighLoad++ 2025 остается все меньше времени, успевайте к нам присоединиться 🙌
✅ Посмотреть программу конференции и забронировать билет можно на сайте
То, насколько хорошо вы спроектировали архитектуру своего проекта, определяет всю его жизнь: возможность расти, возможность масштабироваться и выдерживать высокие нагрузки.
Ловите 9 записей докладов-кейсов о проектировании тех или иных аспектов архитектуры с конференции Saint HighLoad++ 2024 🖐️
1) Архитектура биллинга: как не стать единой точкой отказа. Илья Иванов.
Интересный архитектурный кейс от Яндекса по созданию высоконагруженного биллинга.
🔴 VK Видео
🔴 RUTUBE
2) YTsaurus и аналитические витрины с актуальностью в 15 минут. Филипп Козьмин.
Часто в ETL-процессах возникает потребность «считать часть данных не в batch-режиме, а в NRT». Из доклада вы узнаете, как эффективно реализовать такой процесс для big-data-инфраструктур на базе YTsaurus и при этом не наплодить параллельные вселенные для батча и стриминга.
🔴 VK Видео
🔴 RUTUBE
3) Делаем бесконечную галерею в Яндекс.Диске: балуемся плюшками, кластеризацией и синхронизацией. Дмитрий Кривопальцев.
Показать все, что скрыто! Честный и откровенный рассказ о том, как устроен изнутри просмотр фотографий в Яндекс.Диске, какие нестандартные решения пришлось применить, чтобы можно было удобно смотреть фоточки на мобилке и в браузере.
🔴 VK Видео
🔴 RUTUBE
4) Чего не хватает обычному сервису, чтобы стать cloud-native. Дмитрий Некрылов.
Как встроить в платформу или облако сервис, который по дефолту для этого не был рассчитан? Дмитрий рассказал о том, как встраивали Jitsi в Яндекс 360, обеспечивали много девяток и отказоустойчивость под нагрузкой и встреченных подводных камнях на этом пути.
🔴 VK Видео
🔴 RUTUBE
5) Микросервисы: жизнь после. Невыдуманные истории, о которых невозможно молчать. Иван Матвеев.
Мало конкретной информации о том, с какими проблемами вы можете столкнуться при плавном переходе от монолитной системы к микросервисной? Иван на примере опыта своей компании рассказал о конкретных технических, организационных и процессных проблемах, связанных с переходом к микросервисам.
🔴 VK Видео
🔴 RUTUBE
6) Быстрый поиск на Redisearch в ленте операций для миллионов пользователей. Илья Сиванев.
Что приходит на ум первым, когда упоминают полнотекстовый поиск? ElasticSearch и Sphinx. Но как быть, когда они не могут решить ваших задач? В докладе опыт использования поиска на базе Redis.
🔴 VK Видео
🔴 RUTUBE
7) Пайплайны записи своими руками: думали — велосипед, оказалось — паттерны. Роман Щербаков.
Если вы строите систему доставки данных в распределенной среде, то вам будет полезно узнать, как не наступить на множество граблей. Этот доклад — хорошая возможность взглянуть на свою систему через призму применения любимых паттернов.
🔴 VK Видео
🔴 RUTUBE
8) Как мы шли к 5000 RPS на запись. Ян Силов.
Хорошая история повышения нагрузки на запись и борьбы с ней. Вместе с докладчиком вы погрузитесь в анализ проблем и оптимизацию.
🔴 VK Видео
🔴 RUTUBE
9) Как работать с поставщиками на примере поиска доступных отелей. Иван Чернов.
Доклад о методах построения архитектуры поиска не только в отельной индустрии, но и в других сферах, где сервис тесно взаимодействует с внешними сервисами. От кэширования до сложных алгоритмов балансировки запросов. Ценное знание для разработчиков, работающих с высокими нагрузками и ограничениями.
🔴 VK Видео
🔴 RUTUBE
Продуктивного просмотра, не забывайте поделиться видео с коллегами 😉
Ловите 9 записей докладов-кейсов о проектировании тех или иных аспектов архитектуры с конференции Saint HighLoad++ 2024 🖐️
1) Архитектура биллинга: как не стать единой точкой отказа. Илья Иванов.
Интересный архитектурный кейс от Яндекса по созданию высоконагруженного биллинга.
2) YTsaurus и аналитические витрины с актуальностью в 15 минут. Филипп Козьмин.
Часто в ETL-процессах возникает потребность «считать часть данных не в batch-режиме, а в NRT». Из доклада вы узнаете, как эффективно реализовать такой процесс для big-data-инфраструктур на базе YTsaurus и при этом не наплодить параллельные вселенные для батча и стриминга.
3) Делаем бесконечную галерею в Яндекс.Диске: балуемся плюшками, кластеризацией и синхронизацией. Дмитрий Кривопальцев.
Показать все, что скрыто! Честный и откровенный рассказ о том, как устроен изнутри просмотр фотографий в Яндекс.Диске, какие нестандартные решения пришлось применить, чтобы можно было удобно смотреть фоточки на мобилке и в браузере.
4) Чего не хватает обычному сервису, чтобы стать cloud-native. Дмитрий Некрылов.
Как встроить в платформу или облако сервис, который по дефолту для этого не был рассчитан? Дмитрий рассказал о том, как встраивали Jitsi в Яндекс 360, обеспечивали много девяток и отказоустойчивость под нагрузкой и встреченных подводных камнях на этом пути.
5) Микросервисы: жизнь после. Невыдуманные истории, о которых невозможно молчать. Иван Матвеев.
Мало конкретной информации о том, с какими проблемами вы можете столкнуться при плавном переходе от монолитной системы к микросервисной? Иван на примере опыта своей компании рассказал о конкретных технических, организационных и процессных проблемах, связанных с переходом к микросервисам.
6) Быстрый поиск на Redisearch в ленте операций для миллионов пользователей. Илья Сиванев.
Что приходит на ум первым, когда упоминают полнотекстовый поиск? ElasticSearch и Sphinx. Но как быть, когда они не могут решить ваших задач? В докладе опыт использования поиска на базе Redis.
7) Пайплайны записи своими руками: думали — велосипед, оказалось — паттерны. Роман Щербаков.
Если вы строите систему доставки данных в распределенной среде, то вам будет полезно узнать, как не наступить на множество граблей. Этот доклад — хорошая возможность взглянуть на свою систему через призму применения любимых паттернов.
8) Как мы шли к 5000 RPS на запись. Ян Силов.
Хорошая история повышения нагрузки на запись и борьбы с ней. Вместе с докладчиком вы погрузитесь в анализ проблем и оптимизацию.
9) Как работать с поставщиками на примере поиска доступных отелей. Иван Чернов.
Доклад о методах построения архитектуры поиска не только в отельной индустрии, но и в других сферах, где сервис тесно взаимодействует с внешними сервисами. От кэширования до сложных алгоритмов балансировки запросов. Ценное знание для разработчиков, работающих с высокими нагрузками и ограничениями.
Продуктивного просмотра, не забывайте поделиться видео с коллегами 😉
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
👀 Вы не просто услышите про будущее — вы его увидите!
На Saint HighLoad++ 2025 можно будет вживую посмотреть на уникальную российскую разработку — прототип автономного магистрального тягача L5 от технологической компании Navio.
🚛 В L5 в принципе нет рабочего места водителя. Он предназначен для дорог общего пользования, а пока проходит испытания в лабораторных условиях и на полигоне — где его испытывают в самых сложных дорожных сценариях, как в реальности, так и в симуляциях vehicle-in-the-loop.
🔥 Cовсем скоро — на конференции Saint HighLoad++ 2025 — вы сможете познакомиться с AI-водителем L5, задать вопросы экспертам и вдохновиться транспортным средством будущего.
На Saint HighLoad++ 2025 можно будет вживую посмотреть на уникальную российскую разработку — прототип автономного магистрального тягача L5 от технологической компании Navio.
🚛 В L5 в принципе нет рабочего места водителя. Он предназначен для дорог общего пользования, а пока проходит испытания в лабораторных условиях и на полигоне — где его испытывают в самых сложных дорожных сценариях, как в реальности, так и в симуляциях vehicle-in-the-loop.
🔥 Cовсем скоро — на конференции Saint HighLoad++ 2025 — вы сможете познакомиться с AI-водителем L5, задать вопросы экспертам и вдохновиться транспортным средством будущего.
Как ускорить вставку данных в PostrgeSQL? Как проблемы с Linkerd и сетевыми настройками привели к улучшению системы? Опыт разработки системы OTA-обновлений для масштабной инфраструктуры в условиях строгих ограничений безопасности.
Все это вы узнаете в докладах из секции «Производительность enterprise-систем», о которых рассказываем сегодня ⤵️
1) Ускоряем вставку данных в PostgreSQL: от кастомных методов до многопоточности и атомарности. Дмитрий Фатов (Газпромбанк.Тех)
Специальный доклад для тех, кто любит много вставлять в PostgreSQL, разбирающий различные оптимизации, которые пришлось сделать, когда требования к производительности приложения выросли в сотню раз. А на закуску — необычная идея, как сделать MVCC поверх MVCC.
2) От даунтайма в проде из-за сетевой ошибки до коммита в апстрим Linkerd. Вадим Макеров (iSpring)
Этот доклад — история разработчика из компании, столкнувшейся с проблемами в эксплуатации Linkerd. Вадим расскажет о том, как он подошел к решению проблемы, которую в итоге взяли в апстрим проекта, а система начала работать лучше.
3) Масштабируем невозможное: как мы создали систему OTA-обновлений для 30 000+ устройств в закрытом контуре. Петр Растегаев (Wildberries&Russ)
Обновление складских устройств — нетривиальная задача, особенно когда их больше 30000. В этом докладе вы узнаете все о системе обновления прошивок в Wildberries. Петр расскажет про: стек, архитектуру, релизный цикл, проблемы и их решения.
Ждем вас 23 и 24 июня в Санкт-Петербурге на профессиональной конференции разработчиков высоконагруженных систем Saint HighLoad++ 2025 🖐️
✅ Программа конференции, расписание и билеты на сайте
Все это вы узнаете в докладах из секции «Производительность enterprise-систем», о которых рассказываем сегодня ⤵️
1) Ускоряем вставку данных в PostgreSQL: от кастомных методов до многопоточности и атомарности. Дмитрий Фатов (Газпромбанк.Тех)
Специальный доклад для тех, кто любит много вставлять в PostgreSQL, разбирающий различные оптимизации, которые пришлось сделать, когда требования к производительности приложения выросли в сотню раз. А на закуску — необычная идея, как сделать MVCC поверх MVCC.
2) От даунтайма в проде из-за сетевой ошибки до коммита в апстрим Linkerd. Вадим Макеров (iSpring)
Этот доклад — история разработчика из компании, столкнувшейся с проблемами в эксплуатации Linkerd. Вадим расскажет о том, как он подошел к решению проблемы, которую в итоге взяли в апстрим проекта, а система начала работать лучше.
3) Масштабируем невозможное: как мы создали систему OTA-обновлений для 30 000+ устройств в закрытом контуре. Петр Растегаев (Wildberries&Russ)
Обновление складских устройств — нетривиальная задача, особенно когда их больше 30000. В этом докладе вы узнаете все о системе обновления прошивок в Wildberries. Петр расскажет про: стек, архитектуру, релизный цикл, проблемы и их решения.
Ждем вас 23 и 24 июня в Санкт-Петербурге на профессиональной конференции разработчиков высоконагруженных систем Saint HighLoad++ 2025 🖐️
✅ Программа конференции, расписание и билеты на сайте
Приглашаем спикеров на TeamLead Conf 2025 🖐️
Если у вас есть опыт, который может быть полезен для участников конференции — присылайте ваши заявки. И обязательно подключайтесь на традиционную онлайн-встречу с Программным комитетом конференции:
📍5 июня в 18:00 (мск)
На встрече вы узнаете подробности о конференции: как все будет, какие темы особенно актуальны. Поговорите о трендах, набросаете темы докладов, узнаете закулисье работы Программного комитета и получите ответы на свои вопросы.
Будет очень полезно как опытным спикерам, так и тем, кто только задумывается о роли докладчика, но пока не уверен, что его тема будет интересна.
✅ Участие во встрече свободное, необходима регистрация
Готовьте вопросы, идеи и подключайтесь на встречу 🙌
Если у вас есть опыт, который может быть полезен для участников конференции — присылайте ваши заявки. И обязательно подключайтесь на традиционную онлайн-встречу с Программным комитетом конференции:
📍5 июня в 18:00 (мск)
На встрече вы узнаете подробности о конференции: как все будет, какие темы особенно актуальны. Поговорите о трендах, набросаете темы докладов, узнаете закулисье работы Программного комитета и получите ответы на свои вопросы.
Будет очень полезно как опытным спикерам, так и тем, кто только задумывается о роли докладчика, но пока не уверен, что его тема будет интересна.
✅ Участие во встрече свободное, необходима регистрация
Готовьте вопросы, идеи и подключайтесь на встречу 🙌
Генеральный директор Microsoft Сатья Наделла сообщил, что уже 20-30% кода в репозиториях компании написано с помощью ИИ. Результаты варьируются в зависимости от языка: наибольший прогресс наблюдается в Python, меньший — в C++.
А Кевин Скотт, CTO Microsoft, предсказывает значительное увеличение доли кода, генерируемого ИИ, к 2030 году до 95%. Однако он подчеркивает, что роль человека в программировании останется важной. По его мнению, ИИ может упростить процесс разработки и снизить барьер входа в программирование для широкой аудитории, но для решения сложных задач все еще будут нужны опытные программисты.
Интересно ваше мнение 😉 Реалистичен ли прогноз Кевина Скотта? Какие +/- вы видите в использовании ИИ для генерации кода? Действительно ли может снизиться барьер входа?
А Кевин Скотт, CTO Microsoft, предсказывает значительное увеличение доли кода, генерируемого ИИ, к 2030 году до 95%. Однако он подчеркивает, что роль человека в программировании останется важной. По его мнению, ИИ может упростить процесс разработки и снизить барьер входа в программирование для широкой аудитории, но для решения сложных задач все еще будут нужны опытные программисты.
Интересно ваше мнение 😉 Реалистичен ли прогноз Кевина Скотта? Какие +/- вы видите в использовании ИИ для генерации кода? Действительно ли может снизиться барьер входа?
Конференции завалены историями успеха. Но путь к успеху всегда лежит через фейлы, о которых рассказывать не принято. Но только не на нашем fail-митапе!
В своих коротких, но зажигательных выступлениях спикеры поделятся настоящими историями фейлов.
Без записи, без трансляции, без комплексов 🔥
Будет интересно тем, кто уже хотя бы раз положил прод и тем, кто пока еще нет.
Ждем вас на Saint HighLoad++ 2025 🙌
✅ Полная программа конференции и билеты на сайте
В своих коротких, но зажигательных выступлениях спикеры поделятся настоящими историями фейлов.
Без записи, без трансляции, без комплексов 🔥
Будет интересно тем, кто уже хотя бы раз положил прод и тем, кто пока еще нет.
Ждем вас на Saint HighLoad++ 2025 🙌
✅ Полная программа конференции и билеты на сайте
Все это ждет вас на докладах, о которых рассказываем сегодня:
1) Анализ кода: символьная виртуальная машина. Георгий Александрия (Positive Technologies)
Глубокий доклад про алгоритмы статического анализа безопасности. Будет интересен не только безопасникам, но и тем, кто любит красивые низкоуровневые решения.
2) Современные механизмы определения параметров устройств в вебе. Евгений Шарамед (Яндекс)
Как Яндекс работает с информацией о вашем устройстве? Все, что вы хотели знать об этом, но боялись спросить — в одном докладе!
3) Взгляд за кулисы Яндекс.Карт: от сырых спутниковых данных до четких изображений. Игорь Орпанен (Яндекс)
Как выглядят исходные данные со спутников, как их готовят в Яндексе и при чем тут рельеф Земли? Все это в докладе Игоря, а также технологии: Cloud Optimized GeoTIFF, Pansharpening, RPC-трансформации и, конечно, бесценный опыт с картой обхода шишек и граблей.
4) Как сделать исполнение low-code прозрачным: опыт большой IoT-платформы. Владимир Плизга (Tibbo Systems)
У вас есть свой DSL, которым оперируют конечные пользователи. На этом DSL можно писать скрипты, и скрипты эти могут быть небыстрыми. Рассказ о том, как дать пользователю инструмент для анализа и улучшения производительности и при этом не потерять в производительности исполнения скрипта.
5) Геометрия на стероидах: практический опыт переноса тяжелых вычислений на GPU при проектировании инженерных сетей. Михаил Лукин (Судо)
Автоматическое проектирование электрических, газовых и других сетей разумно делать на графах. Но есть один нюанс... Чем точнее граф, тем он больше и дольше строится. Михаил расскажет, как для этого использует GPU, шишки, опыт — все, как мы любим. И бонус: ликбез о программировании GPU.
6) Аспект DDD и GraphQL в задачах построения высоконагруженных интеграционных систем. Виктор Бирюков (СберТех)
В одном докладе можно сразу почерпнуть, как практически использовать принципы предметно-ориентированного проектирования и принципы GraphQL. При этом подход можно внедрить для разработки и реализации однотипных сервисов, что значительно может снижать расходы на разработку и дальнейшую поддержку.
Ждем вас на Saint HighLoad++ 2025 🖐️
✅ Программа конференции, расписание и билеты на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
Если вы заинтересованы в апгрейде своего резюме и будете на Saint HighLoad++ 2025 — этот пост для вас ⚡
На конференции вас ждет специальная активность – «Резюме глазами HR», на которой профессиональный HR-эксперт разберет реальные резюме и расскажет:
- как выглядит резюме глазами рекрутера и HR;
- как работают российские агрегаторы, алгоритмы HH.RU.
Для этого нам требуются настоящие профессиональные резюме в качестве кейсов для разбора. Все резюме будут обезличены. Также мы можем скрыть какие-то конкретные блоки по запросу.
Участники, чьи резюме будут выбраны, получат ценные комментарии, которые помогут улучшить данные документы 😉
📍Активность пройдет 23 июня на Демо-сцене, начало в 19:20.
✉️ Если хотите принять участие — отправляйте резюме в лс: @liza0lis
До встречи 🖐️
На конференции вас ждет специальная активность – «Резюме глазами HR», на которой профессиональный HR-эксперт разберет реальные резюме и расскажет:
- как выглядит резюме глазами рекрутера и HR;
- как работают российские агрегаторы, алгоритмы HH.RU.
Для этого нам требуются настоящие профессиональные резюме в качестве кейсов для разбора. Все резюме будут обезличены. Также мы можем скрыть какие-то конкретные блоки по запросу.
Участники, чьи резюме будут выбраны, получат ценные комментарии, которые помогут улучшить данные документы 😉
📍Активность пройдет 23 июня на Демо-сцене, начало в 19:20.
✉️ Если хотите принять участие — отправляйте резюме в лс: @liza0lis
До встречи 🖐️
Масштабируемая система и распределенная в разные дата-центры система — две разные вещи.
Принесли вам записи трех докладов Saint HighLoad++ 2024, в которых тема геораспределенных архитектур впервые в истории конференции раскрыта столь подробно ⤵️
1) Как регулярно терять один ДЦ и не волноваться? Михаил Кабищев.
Михаил рассказал историю о том, как в Ozon превратили крайне неприятную ситуацию падения ДЦ в абсолютно спокойный и предсказуемый для них процесс.
👀 VK Видео
👀 RUTUBE
2) Геораспределенные системы. Евгений Кузовлев.
Самое сложное в больших проектах — сделать нормально работающий геораспределенный сторадж. В докладе Евгений поделился своим практическим опытом построения геораспределененных систем, а также рассказал всю необходимую теорию (CAP/PACELC) для тех, кто еще не сталкивался с распределенными системами.
👀 VK Видео
👀 RUTUBE
3) Hadoop в 3 ДЦ. Андрей Коняев.
Петабайтные размеры данных давно перестали быть cutting-edge и их можно встретить в огромном количестве организаций. With great power comes great responsibility — надо делать работу с данными экономически эффективной, а инфраструктуру — надежной и масштабируемой. Из доклада вы узнаете про это.
👀 VK Видео
👀 RUTUBE
Продуктивного просмотра 🙌
Принесли вам записи трех докладов Saint HighLoad++ 2024, в которых тема геораспределенных архитектур впервые в истории конференции раскрыта столь подробно ⤵️
1) Как регулярно терять один ДЦ и не волноваться? Михаил Кабищев.
Михаил рассказал историю о том, как в Ozon превратили крайне неприятную ситуацию падения ДЦ в абсолютно спокойный и предсказуемый для них процесс.
2) Геораспределенные системы. Евгений Кузовлев.
Самое сложное в больших проектах — сделать нормально работающий геораспределенный сторадж. В докладе Евгений поделился своим практическим опытом построения геораспределененных систем, а также рассказал всю необходимую теорию (CAP/PACELC) для тех, кто еще не сталкивался с распределенными системами.
3) Hadoop в 3 ДЦ. Андрей Коняев.
Петабайтные размеры данных давно перестали быть cutting-edge и их можно встретить в огромном количестве организаций. With great power comes great responsibility — надо делать работу с данными экономически эффективной, а инфраструктуру — надежной и масштабируемой. Из доклада вы узнаете про это.
Продуктивного просмотра 🙌
Please open Telegram to view this post
VIEW IN TELEGRAM
В этом видео Александр Крылов приглашает вас на свой доклад на Saint HighLoad++ 2025 🖐️
У нас не задеплоилось с первого раза, давайте влепим кол инфраструктуре. А то, что мы криво поставили переменные пода — это не к нам, это к DevOps. Часто ли вы такое слышали от разработчиков, тестировщиков или поддержки? Как сделать доказательную базу того, что с инфраструктурой все хорошо, а проблема в коде?
Приходите за ответами на доклад Александра «Метрики удовлетворенности инфраструктуры. Понять и простить или отпустить?»
Доклад — расследование вопросов, связанных с обвешиванием метриками всего, что можно обвешать. Будет интересен всем, кто пытается понять, как померить эффективность процессов на разных уровнях, где работает, а где лучше не надо.
Встречаемся уже через 2 недели в Санкт-Петербурге, присоединяйтесь к нам 🙌
✅ Посмотреть всю программу конференции и купить билет можно на сайте
У нас не задеплоилось с первого раза, давайте влепим кол инфраструктуре. А то, что мы криво поставили переменные пода — это не к нам, это к DevOps. Часто ли вы такое слышали от разработчиков, тестировщиков или поддержки? Как сделать доказательную базу того, что с инфраструктурой все хорошо, а проблема в коде?
Приходите за ответами на доклад Александра «Метрики удовлетворенности инфраструктуры. Понять и простить или отпустить?»
Доклад — расследование вопросов, связанных с обвешиванием метриками всего, что можно обвешать. Будет интересен всем, кто пытается понять, как померить эффективность процессов на разных уровнях, где работает, а где лучше не надо.
Встречаемся уже через 2 недели в Санкт-Петербурге, присоединяйтесь к нам 🙌
✅ Посмотреть всю программу конференции и купить билет можно на сайте
Как связаны скидки, пользовательские пути и петабайты данных в Яндекс Рекламе?
Максим Стаценко работает в Яндексе в DWH поиска и рекламы. Он рассказал о том, как они смогли отказаться от сотен тяжелых Join'ов и MapReduce в пользу Stateful Streaming и Key-Value Storage. Как построили систему, которая обрабатывает миллион запросов в секунду, хранит всю историю событий в одном месте и позволяет быстро находить нужные данные для антифрода и аналитики, даже когда цепочка событий растягивается на 100 дней.
Подробности в статье ✅
Максим Стаценко работает в Яндексе в DWH поиска и рекламы. Он рассказал о том, как они смогли отказаться от сотен тяжелых Join'ов и MapReduce в пользу Stateful Streaming и Key-Value Storage. Как построили систему, которая обрабатывает миллион запросов в секунду, хранит всю историю событий в одном месте и позволяет быстро находить нужные данные для антифрода и аналитики, даже когда цепочка событий растягивается на 100 дней.
Подробности в статье ✅
Хабр
Как мы заменили сотни Join’ов на один РТ-процессинг с 1kk RPS
Как связаны скидки, пользовательские пути и огромные массивы данных в Яндекс Рекламе? Привет, Хабр! Меня зовут Максим Стаценко, я работаю с базами данных и яростно в них копаюсь с 2010 года, а в...
На Saint HighLoad++ 2025 приходите на следующие доклады из секции «BigData и инфраструктура машинного обучения (data engineering)», чтобы обсудить преимущества и ограничения Spark, познакомиться с аспектами MLOps-архитектуры для запуска рекомендательных сценариев, разобрать адаптацию классического MLOps для LLM-проектов, узнать, как устроен стриминг в ОК. А также послушать, как в X5 построили отказоустойчивый, масштабируемый и полностью open source-стек, и о том, как устроены хранение и обработка агрегированных знаний о клиенте в МТС.
1) Spark: один для всего? Искандер Фахрутдинов (Ozon)
Спикер много лет изучал исходный код Spark и поделится своим мнением о подходах, которые лежат в основе модели вычислений платформы. Он расскажет о том, как понимание единой модели вычислений Spark позволяет писать запросы лучше и о том, что предлагают смежные фреймворки.
2) MLOps-архитектура рекомендательной платформы. Деннис Хассан (Сбер)
Спикер расскажет, как они выстроили cloud-native-инфраструктуру, ускоряющую запуск персонализированных сценариев, и какие инструменты использовались — от Feature Store до онлайн-моделей.
3) LLMOps: адаптация классических практик MLOps для разработки и деплоя LLM-решений. Игорь Терехин (Napoleon IT)
Игорь часто выступает с темами про MLOps и рассказывает о том, как в реальности выглядит работа с ML в компаниях небольшого размера. В этом докладе он сделает основной фокус на практике деплоя и ежедневной работы с большими языковыми моделями: лучшие практики того, что он делает для разных клиентов.
4) Приключение на 20 минут: проблемы и патчи, возникшие при обновлении стриминга ОК. Алина Шестакова (VK)
Доклад строится вокруг проблемы наличия старого компонента в архитектуре. Непростой путь, полный вопросов, проблем и поиска решений в условиях постоянного хайлоада.
5) Pipeline real-time-аналитики цепочек поставок в X5 на основе Debezium CDC, Flink и Apache Iceberg. Иван Смольянинов (X5 Group)
Захватывающий доклад о том, как собрать аналитические данные из более чем 80 разбросанных по всей стране огромных складов. Все бы ничего, но там далеко не всегда стабильный и широкий канал, нет возможности доставить оборудование, а версии ПО заметно разнятся.
6) Как мы в МТС создали единый экосистемный профиль клиента. Евгений Ненахов (MWS (МТС Web Services))
Как объединить разрозненные данные клиентов экосистемы? МТС Big Data агрегирует операционные, аналитические и прогнозные данные в единый профиль. Доклад раскроет структуру его бизнес-модулей, стек технологий и инфраструктуру. А еще будет демо — что на самом деле МТС знает про своих клиентов.
Ждем вас 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025 🙌
✅ Программа конференции, расписание и билеты на сайте
1) Spark: один для всего? Искандер Фахрутдинов (Ozon)
Спикер много лет изучал исходный код Spark и поделится своим мнением о подходах, которые лежат в основе модели вычислений платформы. Он расскажет о том, как понимание единой модели вычислений Spark позволяет писать запросы лучше и о том, что предлагают смежные фреймворки.
2) MLOps-архитектура рекомендательной платформы. Деннис Хассан (Сбер)
Спикер расскажет, как они выстроили cloud-native-инфраструктуру, ускоряющую запуск персонализированных сценариев, и какие инструменты использовались — от Feature Store до онлайн-моделей.
3) LLMOps: адаптация классических практик MLOps для разработки и деплоя LLM-решений. Игорь Терехин (Napoleon IT)
Игорь часто выступает с темами про MLOps и рассказывает о том, как в реальности выглядит работа с ML в компаниях небольшого размера. В этом докладе он сделает основной фокус на практике деплоя и ежедневной работы с большими языковыми моделями: лучшие практики того, что он делает для разных клиентов.
4) Приключение на 20 минут: проблемы и патчи, возникшие при обновлении стриминга ОК. Алина Шестакова (VK)
Доклад строится вокруг проблемы наличия старого компонента в архитектуре. Непростой путь, полный вопросов, проблем и поиска решений в условиях постоянного хайлоада.
5) Pipeline real-time-аналитики цепочек поставок в X5 на основе Debezium CDC, Flink и Apache Iceberg. Иван Смольянинов (X5 Group)
Захватывающий доклад о том, как собрать аналитические данные из более чем 80 разбросанных по всей стране огромных складов. Все бы ничего, но там далеко не всегда стабильный и широкий канал, нет возможности доставить оборудование, а версии ПО заметно разнятся.
6) Как мы в МТС создали единый экосистемный профиль клиента. Евгений Ненахов (MWS (МТС Web Services))
Как объединить разрозненные данные клиентов экосистемы? МТС Big Data агрегирует операционные, аналитические и прогнозные данные в единый профиль. Доклад раскроет структуру его бизнес-модулей, стек технологий и инфраструктуру. А еще будет демо — что на самом деле МТС знает про своих клиентов.
Ждем вас 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025 🙌
✅ Программа конференции, расписание и билеты на сайте
В наш век повсеместного распространения контейнеров все считают их привычной магией и забывают о том, что они построены на базе самых стандартных технологий, которым не один десяток лет. Особенно это касается организации сетевого взаимодействия. Пора снять завесу тайны с этих технологий и потрогать их руками!
Приходите на воркшоп «Контейнеры и сети. Изучаем, разбираемся, отлаживаем» от Александра Попова и Георгия Меликова (VK, VK Cloud), чтобы разобрать те кирпичики, из которых построены все сети как под K8s, так и под стандартными облаками.
Докладчики имеют большой опыт построения сложных систем. Воркшоп рекомендуется к посещению всем, кто хочет глубоко разобраться в сетях и в тех принципах, что лежат в основе систем контейнеризации.
✋ Будет практика. Настоятельно рекомендуем взять ноутбук.
Ждем вас на Saint HighLoad++ 2025 🖐️
✅ Посмотреть всю программу конференции можно на сайте
Приходите на воркшоп «Контейнеры и сети. Изучаем, разбираемся, отлаживаем» от Александра Попова и Георгия Меликова (VK, VK Cloud), чтобы разобрать те кирпичики, из которых построены все сети как под K8s, так и под стандартными облаками.
Докладчики имеют большой опыт построения сложных систем. Воркшоп рекомендуется к посещению всем, кто хочет глубоко разобраться в сетях и в тех принципах, что лежат в основе систем контейнеризации.
✋ Будет практика. Настоятельно рекомендуем взять ноутбук.
Ждем вас на Saint HighLoad++ 2025 🖐️
✅ Посмотреть всю программу конференции можно на сайте
Конференция HighLoad++ — это о том, как устроены инструменты, которые мы используем ежедневно. Знание внутрянки инструментов позволяет использовать их с максимальной эффективностью.
🖐️ Принесли вам записи 7 докладов с конференции Saint HighLoad++ 2024, в которых вы погрузитесь во внутрянку баз данных.
1) О распределённых транзакциях. Владимир Комаров
Доклад от автора книги «Путеводитель по базам данных», человека, разбирающегося в предметной области максимально глубоко. На примере конкретных баз данных рассмотрены паттерны распределенных транзакций. Квинтэссенция архитектурного опыта, максимально полезная информация за минимальное время.
VK Видео
RUTUBE
2) YTsaurus SPYT: внедряем Spark SQL в массы. Алексей Шишкин
История от разработчиков YTsaurus о том, как сделать собственный клиент к Spark и на уровне сетевого протокола отправлять к нему запросы из удобного веб-интерфейса.
VK Видео
RUTUBE
3) Как научить MongoDB делать горячие физические бэкапы. Юрий Фролов
История о том, как Яндекс возвращал возможность физических бэкапов в MongoDB. В докладе много подробностей про движок базы, про подход MongoDB к хранению данных и про то, как написать собственную логику бэкапа.
VK Видео
RUTUBE
4) Про UUID v.7. Андрей Бородин
Андрей делает Яндекс.Облако, хорошо разбирается в базах и пишет код, чтобы они работали лучше. В своем докладе он рассказал о патче, который добавляет поддержку UUID в качестве primary key для PostgreSQL. И о том, почему так важно реализовать RFC 7 и 8, а не просто «как-то сгенерировать 16 байт».
VK Видео
RUTUBE
5) Гарантии доставки сообщений в YDB Topics. Александр Зевайкин
Докладчик погрузит вас во внутреннее устройство брокеров сообщений, вы узнаете, как правильно «готовить» exactly-one и какие улучшения для этого типа доставки предлагает YDB Topics относительно Kafka.
VK Видео
RUTUBE
6) Переосмысление Picodata как cluster-first-СУБД. Ярослав Дынников
Ярослав много лет разрабатывал Tarantool, а теперь использует его в создании базы данных Picodata. Он рассказал, зачем бизнесу сейчас нужны распределенные OLTP-решения, как разные продукты реализуют «распределенность» и какими принципами руководствовалась компания, собирая свое решение в 2024 году.
VK Видео
RUTUBE
7) Redis — такой простой и такой сложный! Андрей Комягин
Redis уже давно не является чем-то новым. Каждый использует его немного по-своему и практически каждый думает, что это всё элементарно. Этот доклад покажет, что возможностей и нюансов очень много и, даже если сейчас вам это не понадобится, когда-то пригодится точно.
VK Видео
RUTUBE
Продуктивного просмотра и отличных выходных 🙌
🖐️ Принесли вам записи 7 докладов с конференции Saint HighLoad++ 2024, в которых вы погрузитесь во внутрянку баз данных.
1) О распределённых транзакциях. Владимир Комаров
Доклад от автора книги «Путеводитель по базам данных», человека, разбирающегося в предметной области максимально глубоко. На примере конкретных баз данных рассмотрены паттерны распределенных транзакций. Квинтэссенция архитектурного опыта, максимально полезная информация за минимальное время.
VK Видео
RUTUBE
2) YTsaurus SPYT: внедряем Spark SQL в массы. Алексей Шишкин
История от разработчиков YTsaurus о том, как сделать собственный клиент к Spark и на уровне сетевого протокола отправлять к нему запросы из удобного веб-интерфейса.
VK Видео
RUTUBE
3) Как научить MongoDB делать горячие физические бэкапы. Юрий Фролов
История о том, как Яндекс возвращал возможность физических бэкапов в MongoDB. В докладе много подробностей про движок базы, про подход MongoDB к хранению данных и про то, как написать собственную логику бэкапа.
VK Видео
RUTUBE
4) Про UUID v.7. Андрей Бородин
Андрей делает Яндекс.Облако, хорошо разбирается в базах и пишет код, чтобы они работали лучше. В своем докладе он рассказал о патче, который добавляет поддержку UUID в качестве primary key для PostgreSQL. И о том, почему так важно реализовать RFC 7 и 8, а не просто «как-то сгенерировать 16 байт».
VK Видео
RUTUBE
5) Гарантии доставки сообщений в YDB Topics. Александр Зевайкин
Докладчик погрузит вас во внутреннее устройство брокеров сообщений, вы узнаете, как правильно «готовить» exactly-one и какие улучшения для этого типа доставки предлагает YDB Topics относительно Kafka.
VK Видео
RUTUBE
6) Переосмысление Picodata как cluster-first-СУБД. Ярослав Дынников
Ярослав много лет разрабатывал Tarantool, а теперь использует его в создании базы данных Picodata. Он рассказал, зачем бизнесу сейчас нужны распределенные OLTP-решения, как разные продукты реализуют «распределенность» и какими принципами руководствовалась компания, собирая свое решение в 2024 году.
VK Видео
RUTUBE
7) Redis — такой простой и такой сложный! Андрей Комягин
Redis уже давно не является чем-то новым. Каждый использует его немного по-своему и практически каждый думает, что это всё элементарно. Этот доклад покажет, что возможностей и нюансов очень много и, даже если сейчас вам это не понадобится, когда-то пригодится точно.
VK Видео
RUTUBE
Продуктивного просмотра и отличных выходных 🙌