Как построить аналитическую инфраструктуру уровня PRO своими руками или с небольшой командой?

Анонс для тех, кто устал вручную выгружать и сводить данные из разных источников. На деле ситуация серьезней, чем кажется.

Часто компании работают с разными источниками данных с собственной логикой. Каждая выгрузка превращается в хоррор-квест и отнимает много времени и сил. Формально аналитика работает, но все понимают, что можно лучше.

Облегчить жизнь команде аналитики поможет правильная инфраструктура, и ее можно собрать по готовому алгоритму. А где его взять?

28 февраля в 17:00 МСК архитектор VK Cloud Алексей Белозерский проведет вебинар. Там он покажет, как с помощью облачных сервисов и открытого ПО организовать хранение, обработку и доставку данных до конечных пользователей.

В программе:

🔹Основные принципы и этапы работы с данными: DWH, ETL, BI.

🔹Проектирование системы: создание DWH, передача и обработка данных с помощью Apache Airflow и DBT, подключение BI-систему Redash.

🔹Live-demo: эксплуатация системы. Подключаем источники, редактируем витрины, обогащаем дашборды в Redash дополнительными данными.

🔹 QA-сессия.

Посетите вебинар дата-инженеров , старших аналитиков и разработчиков DWH, а также менеджеров продуктов, ориентированных на data-driven подход.

У VK Cloud большой опыт в построении различных инфраструктур. Поэтому добавьте событие в календарь.

⏰ 28.02.2024, 17:00 МСК

Зарегистрироваться

One Day Offer для Data Science ⚡

Обнаружен самый короткий путь к офферу в Сбере: 2 марта ждём вас на онлайн One Day Offer для специалистов Data Science.

Мы разрабатываем и внедряем DS-решения в точки касания клиента со Сбером: отделения, мобильное приложение, банкоматная сеть, кол-центр, канал Премьер и т. д. За год мы разрабатываем и внедряем более 200 моделей.

Наш стек: Python, Spark, SQL, Hadoop, GreenPlum.

В ваших задачах будет 👇

— Обучение всех типов моделей искусственного интеллекта: от классического ML до глубоких нейронных сетей.
— Создание высокотехнологичных сервисов: от систем принятия решений до компьютерного зрения и обработки естественного языка.
— Развитие хранилищ блока на Teradata и DataLake на Hadoop.

У вас есть уникальная возможность поучаствовать в выводе продуктов с нуля в промышленную эксплуатацию. Интересно? Регистрируйтесь по ссылке 😉

Привет! Это Podlodka Crew, мы организовываем IT-конференции онлайн по разным технологиям.

Уже 11 марта у нас стартует новый сезон по Java с актуальной темой «Интеграции между сервисами».

С интеграциями мы сталкиваемся каждый день и вынуждены разбираться, какие выбирать и как их правильно реализовать.
В этом сезоне обсудим best practices, научимся их применять в реальной жизни, развенчаем популярные мифы:
🌟Звёздная рулетка кейсов с Филлипом Дельгядо, Гришей Кошелевым, Владимиром Картяевым и Кириллом Ветчинкиным. Выясним, когда использовать синхронное, а когда асинхронное взаимодействие. Всё это — на примере задач из опыта спикеров.
🌟 Рассмотрим современный клиент NoSQL баз данных вместе с Артёмом Дубининым из VK и Tarantool. Подружим Java с NoSQL базами данных, поймём, какой API использовать, подберём интерфейсы к серверу и кластеру. Изучим опыт внедрения Spring Data API.
🌟Обсудим легенды и мифы REST API: существует ли он и как его разрабатывать. А ещё окунёмся в best-practices разработки JSON HTTP API и затронем вопросы синергии REST с современными микросервисными архитектурами.
Это не все доклады нового сезона! Приходи на сайт смотреть подробное расписание и забирай свой билет: https://podlodka.io/javacrew

Реклама. ИП Толстая Елена Петровна ИНН:507503278104, erid:2SDnjc31dkt

“От монолита к микросервисам. Глава 1 Основные сведения о микросервисах / Филипп Дельгядо”.

В рамках обсуждения первой главы рассмотрели понятия микросервисов и их отличия от монолитов, а также обсудили преимущества и недостатки каждого подхода. Также мы поговорили о таких ключевых понятиях, как "Cohesion" и "Coupling".

https://youtube.com/live/VNCSWWum3sg

VK Kubernetes Conf — первая Kubernetes-конференция 2024 года

⏰ 28.03.2024, 14:00 МСК

28 марта VK Cloud проведёт новую конференцию VK Kubernetes Conf, чтобы команды, которые работают с оркестратором и накапливают колоссальный опыт, могли поделиться им с сообществом.

Основной темой обсуждения внутри комьюнити была и остается сложность оркестратора: растёт количество инструментов, усложняются архитектурные паттерны, повышаются требования к ИБ и к администрированию решений — защищенность Kubernetes становится приоритетом №1. Первое K8s-событие этого года будет посвящено отказоустойчивости и аварийному восстановлению, уязвимостям кластеров и тому, как с ними бороться. Спикеры и участники обсудят сценарии применения Kubernetes, которые в последние годы набирают обороты, среди них — работа с данными и ML.

Спикерами конференции станут эксперты из «Тинькофф», VK, Wildberries, VK Cloud, Газпромбанка, билайна и других компаний. Доклады помогут решить типичные проблемы пользователей оркестратора, а также просто расширят кругозор, чтобы в непредвиденных ситуациях каждый специалист понимал вектор подходов к решению аварийной или среднестатистической задачи на своих проектах.

VK Kubernetes Conf — это повод встретиться с сообществом и обменяться опытом, получить совет от специалистов и просто хорошо провести время с людьми, которые говорят с тобой на одном языке.

Конференция будет интересна разработчикам, инженерам доступности сервисов (SRE), DevOps и DevSecOps-инженерам, архитекторам, тестировщикам и всем, кто работает с Kubernetes.

Регистрация

Всем привет!

У нас сегодня важная дата — ровно год назад мы вышли в опенсорс! ✨ за год у нас уже более 1700 звёзд и 100 форков на GitHub, а также вы — наше большое сообщество пользователей и контрибьюторов. Хотим сказать огромное спасибо — что пользуетесь, задаете вопросы, приносите issues и всячески поддерживаете. Дальше — больше!

А ещё мы пришли с подарками — новой версией YTsaurus и ещё несколькими ключевыми обновлениями. О них вы можете прочитать в блоге (да, теперь у нас есть блог!) на нашем сайте.

Рассказывайте о нас друзьям и коллегам, подписывайтесь на наш YouTube и ставьте звёзды — будем очень рады.

📆 23 апреля, с 09:00 до 19:00, Москва.
Отраслевая дата-конференция для CDO и DWH-архитекторов.
Ключевая тема — бизнес-результаты, полученные благодаря работе с данными и проектам, реализованным на российском ПО. Спикеры: ВТБ, «Газпромбанк», «Норникель», «Вкусно — и точка», «Детский мир», «Бургер Кинг», «Почта России», «Тинькофф Банк» и Unilever.
📌 Также на мероприятии:
— тренды в работе с данными;
— обзор функционала и roadmap развития дата-платформы Arenadata;
— дискуссия по проблематике проектов, реализованных в облаках (с участием VK Cloud Solutions, Cloud.ru, «Облако КРОК», Beeline Cloud, CloudMTS и Т1 Cloud).
— обзор состояния и перспектив рынка данных в России.

🏢 Место: отель Hyatt Regency Moscow Petrovsky Park.
🎦 Гибридный формат (онлайн + офлайн)
➡️ Регистрация здесь

Как системному аналитику DWH попасть в Тинькофф? О чем спросят на собеседовании? Какие задачи предложат решать?

Все ответы — на Tinkoff DWH Connect. В апреле пройдут три онлайн-мероприятия для системных аналитиков DWH. Уровень мидл и выше.

Вот что будет:
— Weekend Offer, 20 и 21 апреля. Можете попасть в команду Тинькофф за пару дней. Пройдете все этапы собеседования за выходные — и, если все понравится, оффер ваш.

Посетите все три ивента или сразу приходите на собеседование.

Зарегистрируйтесь до 17 апреля. Детали тут.

erid:2VtzqwiLKyh
Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673

Как Kubernetes захватывает Data-индустрию, Trino и dbt в продакшн, как запустить риал-тайм антифрод за две недели — об этом поговорим на VK Data Meetup

⏰23 мая, 15:00-19:00 по МСК
📍Офис VK и онлайн
⚡️Бесплатная регистрация: https://bit.ly/3QkKIpv?erid=2Vtzqve4Wxx

VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях. Майский митап посвящен актуальным архитектурным паттернам платформ данных и технологиям, которые позволят их реализовать.

Речь пойдет о DWH, Data Lake, Data LakeHouse и Data Mesh — где они применяются и с какими подводными камнями можно встретиться на практике. Узнаете, как Kubernetes незаметно, но уверенно захватывает индустрию, почему в коммьюнити все чаще говорят про Trino, как интегрировать CI/CD в работу с данными.

Мероприятие будет интересно дата-инженерам, специалистам по DWH, администраторам, архитекторам и разработчикам.

Посмотреть полную программу и зарегистрироваться: https://bit.ly/3QkKIpv?erid=2Vtzqve4Wxx

Внимание розыгрыш двух билетов на https://t.me/data_events/2946!

Уже участвует 4 человек.
Для присоединения к розыгрышу, нажми на кнопку ниже.

14-15 мая - Iceberg Summit. Iceberg формат для хранения данных в озере данных lake house. Если вы работаете с данными, то вы должны знать один из 3х форматов delta, iceberg, hudi.

Реально 2 доминируют Delta развивается databricksом, Iceberg сам по себе хорош и популярен.