Готовы раздать 2 миллиона, кому?

Конечно, победителям хакатона Лидеры цифровой трансформации — по нашей задаче.

Мы выдвинули задачу по разработке системы рекомендаций по оптимизации производительности Data Lakehouse: нужно было создать невизуальный сервис на основе LLM для оптимизации структуры данных и SQL-запросов.

Больше 40 команд приняли челлендж и три недели разрабатывали свое решение, из топ-10 команд в лидерборде мы выбрали три, и объявим их имена уже завтра — на ЛЦТ Фест!

Мероприятие объединит участников хакатона, студентов технических вузов и молодых ИТ-специалистов и всех, кому интересно развиваться в ИТ.

На фестивале:
🟣Павел Кутаков прочитает лекцию «От ПК до DLH: как не потеряться в данных и построить систему, которая масштабируется»;
🟣Команда VK Tech: Павел Кутаков, Юрий Орлов и Константин Кузнецов — проведет разбор задачи в Hack Space и вручит награды победителям на сцене;
🟣Разыграем мерч и проведем интересные активности в зоне VK Tech;
🟣Завершим танцами под Cream Soda! 💙

🧑‍💻 Зарегистрироваться🧑‍💻

«Домик у озера» для данных: строили-строили и построили!

Подвели итоги хакатона Мэра — держим в курсе🔥

⭐️ 1 место и 1 000 000 рублей забрала команда «38 попугаев» из Челябинска: они наиболее глубоко проработали подход к задаче и показали план дальнейших улучшений.
⭐️ 2 место и 600 000 рублей достались команде «MatchaLatte» — ребята сделали упор на качество и создали собственную систему тестирования.
⭐️ 3 место и приз в 400 000 рублей — у команды «Skripka», которые применили комбинированный подход, а для проверок решения дообучили модели на обширном наборе данных.

Поздравляем команды — вы легенды!🔥

➡️ Подробнее

Как прошел ЛЦТ Фест, яркая кульминация хакатона, смотрите в видео👆

Сегодня стартуем HighLoad 🚀

Забирайте напоминалку по докладам VK Tech и залетайте к нам в TechTrek‑зону!

Сегодня, 6 ноября:

🔵12:20, зал B1+B2 — Александр Попов, VK Cloud: мастер‑класс «Cloud from scratch: строим виртуальную сеть из подручных материалов».

🔵12:20, Капсула 3 (Leaders Lab) — Алексей Шаблюк, VK Cloud: «Не тушите пожары, стройте систему: управление техдолгом в гармонии с бизнесом».

🔵15:50, зал C1 — Сергей Бронников, Tarantool: «Винил снова в моде, или История дискового движка в Tarantool».

🔵18:10, зал Казан — Олег Вознесенский, VK WorkSpace: «ICQ мёртв. Да здравствует ICQ!».​

Завтра, 7 ноября:

🔵18:10, зал Казан — Георгий Белянин, Tarantool: «2 DC 1 fail: как реализовать автоматический фейловер, когда данные в двух зонах доступности».

Ищите космолет VK Tech: вас ждут миссии по планетам VK Cloud, Tarantool и VK Data Lakehouse, уникальный мультипаспорт, мерч и звездный экипаж команды VK Tech 💫

Вот и пролетели два дня Highload++

Мы завершили красиво — докладом в главном зале от Георгия Белянина, разработчика в Tarantool.

Делимся кратким саммари доклада «2 DC 1 fail: как реализовать автоматический фейловер, когда данные в двух зонах доступности», и эксклюзивно для наших подписчиков — слайдами с выступления!

Условия такие: с нас презентация прямиком со сцены (в первом комментарии), с вас — реакции🔥

Ключевые выводы:

🔵Два ДЦ — это не «минус один от трёх». В такой топологии нельзя опереться на большинство, значит классические подходы из трёх площадок не работают «как есть».

🔵Асинхронная репликация с одним мастером требует аккуратной смены ролей: при лаге чтения возникают «хвосты» неподтверждённых операций, поэтому назначение нового мастера без строгого протокола чревато расхождением журналов.

🔵Active‑Standby схема, которую можно реализовать исключительно в двух датацентрах. Будучи простой для реализации, она позволяет фейловеру на уровне кластера Tarantool Cluster Federation обеспечивать быстрое переключение, при этом явно локализуя нагрузку в пределах одного кластера в одном DC.

🔵Внешний супервизор: к каждому узлу базы данных добавляется сервис-обертка, который захватывает лок во внешнем кворуме и начинает перевод в RW. Подход обеспечивает быстрое переключение в случае сбоя master узла. Решение особенно удачное в ситуациях, когда вы не code-owner ни СУБД, ни бизнес логики.

🔵Внешний координатор с кворумным локом в etcd даёт контролируемый фейловер. Координатор держит лок и объявляет, кто RW, а кто RO; карта кластера позволяет обеспечить мониторинг, консистентное переключение и механизм приоритетов выбора. Подход требует разработки нетривиальных механизмов, таких как fencing token и двухфазное назначение.

🔥 — круто, вдохновили, попробую применить
💙 — просто спасибо за полезный доклад

И второй эксклюзив с Highload++ 2025

Спешим поделиться саммари доклада Олега Вознесенского «ICQ мертв. Да здравствует ICQ!» и слайдами от спикера!

💬За годы существования ICQ вокруг проекта собралась мощная команда и было опробовано множество интересных инженерных решений.

💬Проект ICQ закрыт, но мы вдохновились опытом легендарного мессенджера при разработке корпоративного супераппа VK WorkSpace.
Какие уроки извлекли в процессе культурного обмена — рассказывает Олег.

🟦Относиться к проекту с уважением
Любой большой проект — сумма усилий многих людей. Уважайте и улучшайте общий труд.
🟦Думать о расширяемости!
У любого проекта, рассчитанного на долговременный срок эксплуатации, нет конечного состояния, в котором можно застыть и больше никуда не двигаться. Расширяемость и модифицируемость должна быть в изначальном дизайне архитектуры и процессов.
🟦12 факторов — не догма
Облака — мощный и удобный инструмент. Приложения для работы в облаках нужно адаптировать, но даже с минимальными изменениями вы можете перенести свой проект в облака и получать многие из их преимуществ.
🟦Принести тулинг легче, чем от него избавиться…
Добавляя какой-то новый компонент, подумайте так ли он вам нужен. Перекроет ли польза от его внедрения затраты на эксплуатацию и затраты на удаление из системы, когда такая необходимость возникнет.
🟦Главный враг (больших) проектов — избыточная сложность
Усложнять — просто. Упрощать — сложно. Неоправданное усложнение проекта замедляет его развитие и увеличивает энтропию разработки. Упрощать проект без потери функциональности — настоящее инженерное искусство.

Условия все те же: мы вам — презентацию с экранов главного зала (в первом комментарии), вы нам — ваши реакции🔥

🔥 — полезно, попробую и на свой проект посмотреть под другим углом
💙 — о-оу

☁️ Как построить виртуальную сеть из подручных материалов

В 2018 году команда платформы VK Cloud пошла по сложному пути развития своего сервиса. Мы решили переписать часть OpenStack: SDN Neutron. В результате родился наш собственный продукт, у которого нет аналогов среди российских облаков. Речь идет про SDN Sprut.

К 2025 мы созрели, чтобы выложить часть наработок в Open Source, так появился SDN сервис EVPN-connector. Сейчас этот сервис играет важную роль внутри приватных сетей VK Cloud, обеспечивая сетевую связность между ВМ.

Немного хайлайтов о сервисе:

🔵 EVPN-connector обеспечивает работу distributed switch/router
🔵 Написан на Python
🔵 Построен на стандартах EVPN
🔵 Для обмена информацией о расположении виртуальных машин используется BGP
🔵 Для передачи трафика — Open vSwitch

Недавно наш коллега Александр Попов, техлид команды IaaS Network VK Cloud и один из авторов разработки, рассказывал о сервисе на HighLoad++ 2025, а сегодня — выступит на конференции nexthop с расширенной версией доклада.

В докладе — расскажет о том, как устроен сервис, как проводились тесты, какие сложности встретила его команда, и чего стоит результат >100 000 endpoint’ов в VK Cloud.