Как Kubernetes захватывает Data-индустрию, Trino и dbt в продакшн, как запустить риал-тайм антифрод за две недели — об этом поговорим на VK Data Meetup

⏰23 мая, 15:00-19:00 по МСК
📍Офис VK и онлайн
⚡️Бесплатная регистрация: https://bit.ly/3QkKIpv?erid=2Vtzqve4Wxx

VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях. Майский митап посвящен актуальным архитектурным паттернам платформ данных и технологиям, которые позволят их реализовать.

Речь пойдет о DWH, Data Lake, Data LakeHouse и Data Mesh — где они применяются и с какими подводными камнями можно встретиться на практике. Узнаете, как Kubernetes незаметно, но уверенно захватывает индустрию, почему в коммьюнити все чаще говорят про Trino, как интегрировать CI/CD в работу с данными.

Мероприятие будет интересно дата-инженерам, специалистам по DWH, администраторам, архитекторам и разработчикам.

Посмотреть полную программу и зарегистрироваться: https://bit.ly/3QkKIpv?erid=2Vtzqve4Wxx

Внимание розыгрыш двух билетов на https://t.me/data_events/2946!

Уже участвует 4 человек.
Для присоединения к розыгрышу, нажми на кнопку ниже.

14-15 мая - Iceberg Summit. Iceberg формат для хранения данных в озере данных lake house. Если вы работаете с данными, то вы должны знать один из 3х форматов delta, iceberg, hudi.

Реально 2 доминируют Delta развивается databricksом, Iceberg сам по себе хорош и популярен.

13 июня будет Trino Fest, у них есть онлайн сессия.

Trino - SQL движок, который умеет читать данные из других баз данных, файлов, NoSQL баз, sftp, и еще много чего. Полностью открытое ПО. Я знаю, что можно использовать sql движок от Clickhouse/Duckdb (без функции хранения данных в базу), но деталей не знаю.

Я даже специально зашел на любимый сайт своей молодости HH (headhunter ru) и поискал “trino”, и нашел довольно много вакансий Инженера Данных с Trino. Также trino используются в отечественном облаке.

Идеальный стек мог бы быть в облаке или on-premise:
- Trino - SQL Engine, строим Iceberg Data Lake
- Нужно найти где хранить данные, в зависимости от возможностей
- dbt - бизнес логика в SQL
- Airflow/Prefect - расписание
- Airbyte/Meltano - набор коннекторов к источникам данных
- Metabase - SQL доступ для пользователей + дашборды (возможно Superset)
- Kubernetes - хостинг всего этого дела

https://t.me/dataexplorers/339 #Trino #TrinoFest #TrinoFest2024 #y2024

Вакансия Продуктовый аналитик

Это одна из важных ролей в команде. Твои результаты исследований и анализа данных экспериментов напрямую влияют на продукт.

О задачах: выстраивать дерево метрик; определять, рассчитывать и валидировать продуктовые метрики для оценки успеха внедрения новых фичей; проводить исследования поведения пользователей на основе данных для определения точек роста в продукте; работать в тесном сотрудничестве с продуктовыми менеджерами, UX исследователями, дизайнерами и разработчиками, сопровождая A/B тесты от дизайна эксперимента до интерпретации результатов.

Стек технологий: Python, SQL, Hadoop stack, Hive, Spark

Что еще интересного: гибрид; офис в Москве и коворкинг в СПб; организуем внутренние и внешние митапы; помогаем развивать личный бренд шопинг на Lamoda со скидками до 40%

Подробнее о вакансии.

Реклама. ООО «Ламода Тех». ИНН 7734461512. erid:LjN8Jwaj9

Вебинар «Как работать с Kubernetes и не тратить лишнего»

Приглашаем всех, кто хочет снизить затраты на Kubernetes или сразу настроить его на экономичную работу. Мы поделимся опытом удешевления работы с K8s. Покажем, как сократить затраты на уровне кластера, архитектуры и сторонних решений.

Дата и время: 25 июля, 11:00.

Программа

🔹 «Золотой» стандарт The Twelve-Factor App — разбираем принципы создания «идеального» современного приложения.

🔹 Контроль расходов на уровне K8s — экономим с помощью квот и рассчитываем оптимальные значения реквестов и лимитов.

🔹 Мониторинг — отслеживаем затраты прямо во время работы.

🔹 Автомасштабирование — оптимизируем затраты на уровне архитектуры самого приложения.

Регистрируйтесь на вебинар — мы пришлем ссылку на трансляцию в день мероприятия, а после вышлем запись.

Зарегистрироваться бесплатно

True Tech Arch#5

МТС приглашает на конференцию для IT-архитекторов, которая пройдет в летнем формате на открытом воздухе в парке искусств "Музеон".

В событии примет участие Илья Абрашкин, СТО Exolve Bots с докладом "Голосовые роботы на платформе Exolve: как создать "виртуального" сотрудника":

- Расскажет про общую архитектуру произвольного омниканального робота на базе Exolve;
- Обсудит, чем отличаются, аватар и суфлер от обычного бота;
- Поделится практикой, как научить роботов "разговаривать" с роботами на их язык;
- И ответит на вопрос - нужен ли бот обычному человеку и как его создать?

Регистрируйся на конференцию.