Как пережить время пиковых нагрузок в IT?
⠀
В конце ноября ведущие «Для tech и этих» и tech-менеджеры СберМаркета записали специальный выпуск подкаста на конференции для разработчиков высоконагруженных систем HighLoad++. В нём Дима, Олег, Семён и Никита обсудили пиковые нагрузки в IT: как к ним подготовиться и технически, и морально.
⠀
🎧 Аудио
⠀
▶️Видео
⠀
В свежем эпизоде:
⠀
- Что такое высокий сезон в e-com и почему готовиться к нему нужно почти весь год?
- Какие технологические решения помогают СберМаркету выдерживать высокие нагрузки?
- Как бороться со стрессом и не выгореть при пиковых нагрузках?
⠀
Этот эпизод выходит только в аудио — слушайте на всех подкаст-платформах и на YouTube!

Лауреат Премии HighLoad++ 2023 по результатам экспертного голосования:
⠀
🏆 YDB — за создание Distributed SQL базы данных.
⠀
YDB это Distributed SQL база данных, разработанная с учетом требований, предъявляемых сервисами Яндекса к масштабируемости, отказо- и катастрофоустойчивости. Система масштабируется на тысячи серверов, обрабатывает нагрузки в миллионы RPS на базах данных объемом в петабайты.
⠀
YDB получила широкое распространение как для проектов с высокими нагрузками, так и для проектов с небольшими нагрузками, которым важна отказоустойчивость. На случай роста нагрузок в системе реализовано прозрачное шардирование данных по размеру и нагрузке. При этом система автоматически восстанавливает работоспособность после сбоя диска, сервера или даже целого дата-центра, обеспечивает строгую консистентность данных с соблюдением serializable уровня изолированности транзакций.
⠀
YDB — больше чем база данных, это платформа данных. В 2022 году был опубликован код БД, в 2023 код топиков, входящих в платформу YDB (аналог Apache Kafka), планируется публикация сервиса распределенных федеративных запросов, развитие аналитических способностей платформы и совместимость с PostgreSQL.
⠀
YDB доступна для самостоятельного развертывания, в том числе с помощью Kubernetes, в качестве Managed сервиса и Serverless Базы Данных в Яндекс Облаке.
⠀
Среди пользователей YDB такие проекты как Авто.ру, Алиса, Кинопоиск, Маркет, Музыка, Такси и многие другие.
⠀
✅ Ссылка на проект https://ydb.tech/ru
⠀
В этом году VK — партнёр премии и учредитель новой номинации «Развивающие проекты». Это номинация для тех, кто так же как и VK, любит и умеет делиться опытом и раскрывать таланты, делает возможным прогресс в IT-отрасли.
⠀
VK развивает онлайн-образование на всех ступенях – от дошкольного до профессионального, сотрудничает с вузами, проводит чемпионаты и стажировки, помогает расти людям внутри команды.

Лауреат Премии HighLoad++ 2023 по результатам экспертного голосования:
⠀
🏆 Александр Титов — за создание российского сообщества DevOps, запуск DevOpsConf и за то, что задрайвил перевод нескольких базовых книг.
⠀
Управляющий партнер в компании «Экспресс 42».
⠀
В 2009-2010 годах был техническим директором Скалакси — первого облачного хостинга в России.
⠀
В 2010-2012 прошел увлекательный путь поглощений вместе с компанией Qik — путь из эксплуатации быстрорастущего стартапа к эксплуатации в крупной международной компании Microsoft.
⠀
Компания «Экспресс 42» передает компетенции, внедряет практики и технологии DevOps c целью создания у клиента надежного, непрерывного и эффективного цикла разработки и поставки ПО — в том числе в условиях кризиса. Для решения этой задачи проводится полный комплекс мероприятий: от стратегического планирования до проработки ИТ-процессов и выстраивания инфраструктуры.
⠀
У «Экспресс 42» более 100 успешно внедрённых решений в банковской сфере, ритейле, промышленности, интернет-торговле, интернет-образовании и других областях.
⠀
В 2023 году компания «Экспресс 42» объединилась с компанией Флант для создания продуктовой экосистемы и создания комплексной DevOps услуги.
⠀
✅ Ссылка на проект http://express42.com/
⠀
В этом году VK — партнёр премии и учредитель новой номинации «Развивающие проекты». Это номинация для тех, кто так же как и VK, любит и умеет делиться опытом и раскрывать таланты, делает возможным прогресс в IT-отрасли.
⠀
VK развивает онлайн-образование на всех ступенях – от дошкольного до профессионального, сотрудничает с вузами, проводит чемпионаты и стажировки, помогает расти людям внутри команды.

Лауреат Премии HighLoad++ 2023 по результатам экспертного голосования:
⠀
🏆 Валентин Домбровский — за вклад в развитие Python-сообщества в России.
⠀
Валентин — один из основателей самого большого Python-сообщества в России, в рамках которого с 2020 года проведено 2 конференции и куча митапов, создан хороший курс по пайтону и Python-подкаст. Сообщество получило PSF Fellow и объединяет тысячи людей 🙂
⠀
✅ Ссылка на проект https://moscowpython.ru/
⠀
В этом году VK — партнёр премии и учредитель новой номинации «Развивающие проекты». Это номинация для тех, кто так же как и VK, любит и умеет делиться опытом и раскрывать таланты, делает возможным прогресс в IT-отрасли.
⠀
VK развивает онлайн-образование на всех ступенях – от дошкольного до профессионального, сотрудничает с вузами, проводит чемпионаты и стажировки, помогает расти людям внутри команды.

Представляем последнего лауреата Премии HighLoad++ 2023 🙌
⠀
В этом году VK — партнёр премии и учредитель новой номинации «Развивающие проекты». Это номинация для тех, кто так же как и VK, любит и умеет делиться опытом и раскрывать таланты, делает возможным прогресс в IT-отрасли.

VK развивает онлайн-образование на всех ступенях – от дошкольного до профессионального, сотрудничает с вузами, проводит чемпионаты и стажировки, помогает расти людям внутри команды.
⠀
Лауреатом Премии HighLoad++ 2023 в номинации «Развивающие проекты» при поддержке VK стал:
⠀
🏆 Георгий Могелашвили – за создание онлайн-сообщества менторов в Рунете. GetMentor – крупнейшее онлайн-сообщество менторов в рунете, цель которого – помогать специалистам находить наставников для развития и роста.

Проект полностью работает на добровольных началах, много менторов готовы помогать и делиться экспертизой бесплатно. Благодаря GetMentor уже более 16 тысяч человек нашли себе наставника.
⠀
✅ Ссылка на проект https://getmentor.dev/

На прошедшей HighLoad++ 2023 нам удалось поговорить с двумя разработчиками билайна. Сегодня мы предлагаем посмотреть техтолки с участием Алены Мельник (ведущий разработчик b2c Digital в билайне) и Максимом Петровым (руководитель департамента развития платформы «Голосовой антифрод»)
⠀
Алена рассказала о своём опыте перехода на событийно-ориентированную архитектуру. Мы узнали об использовании Kafka для управления событиями и о том, с чем приходится сталкиваться при работе с асинхронной архитектурой. Алёна подчеркивает, что нет единого решения для всех — каждый проект уникален. Поэтому так необходима гибкость в управлении данными и в стратегии масштабирования.

▶️Смотреть техтолк с Алёной: https://youtu.be/AAA-dQ-sAi8
⠀
Вы знаете, как нейронные сети помогают в борьбе с фродом? Максим Петров поделился опытом использования ML для анализа сигнального трафика и распознавания мошеннических схем. А ещё мы поговорили о межоператорском сотрудничестве и партнёрстве с банками в антифрод-инициативах.

▶️Смотреть техтолк с Максимом: https://youtu.be/eX-ln6kea0s
⠀
Узнайте больше о том, что делают разработчики билайна!

📢 Объявляем Call for Papers на Saint HighLoad++ 2024.
⠀
Хотите стать спикером профессиональной конференции разработчиков высоконагруженных систем? Тогда мы ждём ваши доклады. Конференция пройдёт 24 и 25 июня 2024 года в Санкт-Петербурге.
⠀
🔹 Нам интересны тематики, которые охватывают всё, что актуально для специалистов, работающих или планирующих работать с системами высоких нагрузок и реального времени, крупных и сложных проектов, а именно:

Архитектуры, масштабируемость.
Базы данных и системы хранения.
BigData и инфраструктура машинного обучения (data engineering).
Нейронные сети и искусственный интеллект (data science).
Platform Engineering.
DevOps-практики и культура.
Безопасность, DevSecOps.
Эксплуатация систем.
Аппаратное обеспечение.
Узкотематические секции.
Тестирование, нагрузочное тестирование.
Производительность enterprise-систем.
Интернет вещей.
Технологии будущего.

🎁 Для всех наших спикеров предусмотрены бонусы: билет на конференцию; покроем ваши расходы на логистику, будь то поезд, самолет или автобус; предоставим вам номер в комфортабельном отеле рядом с местом проведения конференции; и, конечно, поможем подготовиться к выступлению.
⠀
✅ Узнать подробнее о темах и подать доклад можно на сайте

Друзья, на HighLoad++ 2023 мы записали подкасты, совместно с диджитал-интегратором KOTELOV
⠀
Первым гостем был Антон Черноусов — Developer Advocate в Yandex Cloud, в прошлом разработчик Java, системный администратор, руководитель проектов и Product менеджер. А ещё он ведет свой подкаст про разработку The art of programming , который выходит уже больше 10 лет.
⠀
С Антоном поговорили о том, чем он занимается в Яндекс, чем DevAdvocate отличается от Technology evangelist и почему в айтишке нужен был переводчик с языка разрабов на язык программистов
⠀
Подкаст для разработчиков, программистов, кодеров и софтостроителей — обсудили почему этим ребятам так важно понимать друг друга.
⠀
▶️Смотреть: https://youtu.be/oh6lvBk0AP0
🎧 Слушать:  https://kotelov.mave.digital/ep-47

Также рекомендуем подкаст Kotelov digital finance, который ведёт Валерий Котелов - CEO KOTELOV.

Валерий работает с высоконагруженными проектами, информационной безопасностью и финансовыми рынками. На его подкаст приходят ИТ директора крупных банков, огромных производств и хакеры.

▶️Смотреть подкаст здесь https://www.youtube.com/@kotelov_digital_finance

Эта история будет интересна всем, кто использует базы данных. По факту — вообще всем! Ну, может быть кроме пользователей, хотя даже для пользователей вопрос довольно больной. Поэтому не будем пытаться сравнивать разные базы данных, а разберемся, как сейчас эволюционируют и реляционные, и NoSQL, и распределённые базы данных.
⠀
Проблемами развития СУБД поделится директор по продукту в Яндексе. Человек, который отвечает за развитие YDB — Олег Бондарь.
⠀
✅Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/781996/

Чем работа с ML и Bigdata в нефтегазовой-промышленности отличается от работы с этими технологиями в IT-секторе?
⠀
В нефтегазе много данных, но для большинства бизнес-процессов их недостаточно. Это история о машинном обучении и том, какого это — уйти из Айти в промышленность. В том числе про «строгий дресс-код», «жесткий график», «неудобный офис» и «скучные проекты».
⠀
✅ Обо всём расскажет Chief Data Scientist в ассоциации «Цифровые технологии в промышленности» — Олег Свидченко: https://habr.com/ru/companies/oleg-bunin/articles/783656/

На HighLoad++ 2023 после доклада о языковых моделях к Ире выстроилась огромная очередь задать вопросы. Хотя кажется, в 2023 все уже переговорили о ChatGPT, но никто так и не разобрался что у LLM под капотом

Поймали Иру на минутку час двадцать, чтобы поболтать о её приключениях в мире Data Science — узнали, как она файнтюнит AI, в чем разница между ChatGPT и Llama, и как один дата-сайентист может собрать свой колл-центр из нейронок.

В гостях Ирина Николаева — лид ML-направления в Raft, где она интегрирует LLM-модели в реальные продукты. У неё огромный опыт в computer vision и масштабных highload-проектах. Подкаст может показаться очень сложным, но мы постарались объяснить все простыми словами.

Подкаст для тех, кто тысячу раз видел новости про ChatGPT, но так и не понял, как работают языковые модели👇🏻

📹Смотреть тут https://youtu.be/HuNTUAimf0c

Ⓜ️слушать тут https://kotelov.mave.digital/ep-49

✅ Телеграм-канал KOTELOV

Друзья, поздравляем вас с наступающим Новым годом 💥
⠀
Пусть в 2024-м ваш код будет ещё эффективнее, архитектура системы более масштабируемой, а решения — инновационными и надежными! Успешных релизов, минимум багов и максимум оптимизации 🙌
⠀
Пусть ваша команда будет сплоченной и эффективной, а ваши проекты — востребованными и прибыльными!
⠀
Ещё желаем побыстрее собрать бинго 2024 😎

Как разобраться, нужен ли в компании архитектор и есть ли для него задачи? Многие могут ответить вопросом на вопрос: «А архитекторы вообще существуют?». Ведь встречаются они в основном в крупных компаниях, и видели их далеко не все.

Давайте разберёмся, какие бывают типы архитекторов, какие задачи выполняют, с какими трудностями сталкиваются и что является результатом их труда. Как на архитекторов повлияло появление гибкой разработки (Agile). И попробуем ответить на главный вопрос: нужен ли архитектор или его должность, скорее, статусная или даже избыточная.

✅ В сегодняшней статье своим мнением поделится действующий архитектор — Игорь Симдянов: https://habr.com/ru/companies/oleg-bunin/articles/735032/

📢 Друзья, напоминаем, что у нас открыт приём докладов на Saint HighLoad++ 2024. Конференция пройдёт 24 и 25 июня в Санкт-Петербурге.
⠀
▪️Заявки принимаются до 15 февраля включительно
▪️Окончательное решение о включении в программу / формирование расписания – 15 мая
⠀
Нам интересны тематики, которые охватывают всё, что актуально для специалистов, работающих или планирующих работать с системами высоких нагрузок и реального времени, крупных и сложных проектов, а именно:
⠀
Архитектуры, масштабируемость.
Базы данных и системы хранения.
BigData и инфраструктура машинного обучения (data engineering).
Нейронные сети и искусственный интеллект (data science).
Platform Engineering.
DevOps-практики и культура.
Безопасность, DevSecOps.
Эксплуатация систем.
Аппаратное обеспечение.
Узкотематические секции.
Тестирование, нагрузочное тестирование.
Производительность enterprise-систем.
Интернет вещей.
Технологии будущего.
⠀
✅ Узнать подробнее о темах, бонусах для наших спикеров и подать доклад можно на сайте в описании канала @HighLoadChannel

Йоу 😎 Выпуск с HighLoad++ 2023!
⠀
Сейчас узнаете все про Wildberries: как безопасники справляются с хайлоад нагрузками на сервера, грязной игрой между продавцами и самой большой уязвимостью в системе.
⠀
Это суперзвездочки конференций, послушать доклады которых съезжаются светлые умы айтишки: Алексей Федулаев и Антон Жаболенко — отвечают за IT-безопасность самого популярного маркетплейса в России Wildberries. Туда заходят 20 млн посетителей и оформляют 4,5 млн заказов каждый день по всей России и даже зарубежом.
⠀
Посмотрите подкаст перед тем, как добавить новую банковскую карту в личный кабинет любого маркетплейса.
⠀
📹 Смотреть на YouTube https://youtu.be/msJeAr-yTGs

Ⓜ️ Слушать на mave https://kotelov.mave.digital/ep-51

✅ Телеграм-канал KOTELOV