Data engineering events
1.52K subscribers
464 photos
4 videos
2 files
1K links
Data engineering events 👷‍♂️👷

Feedback: @NikolayKrupiy @razvodov_alexey @just_vanich @asm0dey

Made in @data_events 🔨
See also @AI_meetups @BI_events @data_career

defaults:
- time MSK (UTC+3)
- online
- free
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
Космическое погружение в Java!

🪐6 октября в 16:00 по МСК пройдет онлайн-митап по BackEnd «Java Space: ИТ-разработка высоконагруженных сервисов» от наших партнеров ОТР.
На примере реальных историй и успешных кейсов обсудим способы построения современных платформ данных, возможности прокачки архитектуры высоконагруженных систем, open-source инструменты для работы с данными и многое другое.

👉Регистрируйтесь – вас ждут рабочие лайфхаки и общение с практикующими Java-разработчиками.

- Для разработчиков, кто трудится на больших проектах
- Junior back-end, чтобы прокачать скиллы
- Back-end dev, который просидел все время на JPA, Native Query и смог начать жить активной жизнью
- Team Lead и Tech Lead, чтобы экономил деньги разработки

#материалы: https://t.me/Otusjava/4797
🗓 16 октября, вс, 20:00 (мск) “CHAPTER 15: Design Google Drive” System Design Alex Xu

Это последняя глава в которой проектируют сервис. Разберемся что такое облачное хранилище и сервис синхронизации. Посмотрим как благодаря быстрой синхронизации можно достичь строгой согласованности между нодами в распределенной системе.

Помогать в обсуждение нам будут очень крутые эксперты 🔥
📍Константин Осипов - занимается базами данных еще со времен, когда MiniSQL (он же mSQL) был более популярен, чем MySQL.
📍Максим Зиналь - отвечает в Яндексе за бизнес-развитие распределённой СУБД #YDB. Более 20 лет опыта работы в качестве разработчика приложений, архитектора информационных систем, технического консультанта по инструментам управления данными.
📍Грубов Владислав - Solution Architect в VK Tech, проектирует распределенные системы хранения и обработки данных на Тарантул, развивает S3 хранилище. Проектировал и разрабатывал Облако@Mail.Ru. Знает как построить файловое хранилище на 500ПБ
📍Николай Голов - Head of data engineering at ManyChat, знает все о том как построить OLAP и OLTP систему, в деталях разбирается в построении аналитических систем.

Ссылка на подключение будет в чате - @backend_megdu_skobkah

#материалы: https://t.me/backend_megdu_skobkah/10142
Пятый и последний выпуск Code of Architecture по книге "Building Evolutionary Architectures"

Во вторник в 18:00 по Москве мы закончим читать эту книгу и рассмотрим всю третью часть Impact, в которой всего три главы:
- Building Evolvable Architectures - про принципы, механики и гайдлайны
- Evolutionary Architecture Pitfalls and Antipatterns - про техническую архитектуру, инкрементальные изменения и интересы бизнеса
- Putting Evolutionary Architecture into Practice - организационные факторы, фтнес функции на уровне органзации, с чего начать и к чему прийти

Эфир проведем вмест с Сергеем Барановым, организатором и создателем конференции ArchDays, а еще автором Agile Mindset и телеграм-канала «Микросервисы — русскоязычное сообщество».

#CoA #SoftwareDevelopment #SoftwareArchitecture #Architecture #SystemDesign
https://t.me/book_cube/1194

#материалы: https://t.me/its_reading_club/147
В понедельник обсудим white paper «Amazon Aurora: Design Considerations for High Troughput cloud-Native Relational Databases»

Amazon Aurora — интересная база данных как с точки зрения маркетинга, так и технически:

— если говорить про маркетинг, то этот технический продукт внутри AWS особо отмечал Джефф Безос в своих ежегодных письмах акционерам за 2014 и 2015 год;

— если говорить про технику, то это реализация концепции «the log is a database».

Сам документ состоит из следующих частей:

• Introduction — здесь авторы обсуждают проблему, которую можно охарактеризовать так: «The I/O bottleneck faced by traditional database systems changes in cloud environment»;

• Durability at cloud scale — как подходить к рассмотрению буковки D из знакомого всем акронима ACID, размышлять про кворумы, кореллированные ошибки и сокращать MTTR (mean time to recovery) за счет разделения данных на сегменты;

• The log is the database — как превратить redo лог в основной элемент базы данных и материализовывать остальные сущности асинхронно;

• The log marches forward — основная часть про логику работы log sequence number в нормально состоянии и в случае отказов;

• Putting it all together — раздел с красивой картинкой, где показана общая архитектура, собирающая воедино мысли из предыдущих разделов;

• Performance results — результаты бенчмарков, которые показывают ради чего затевался весь сыр-бор;

• Lessons learned — рассказ, почему Aurora хороша для SaaS приложений типа salesforce, про эволюцию схемы внутри БД, и как патчить саму Aurora без downtime;

• Related work — в этом разделе описываются другие работы, которые относились к дизайн принципам, которые использовали ребята при проектировании Aurora.

Эфир проведем вместе с нашими коллегами: Игорь Маслов, руководитель управления базовых технологий и обработки данных Тинькофф и Виталий Кондратов, архитектор отдела базовых технологий.

🔔 Встречаемся 19 июня в 18:00 по Москве на нашем ютуб-канале.
https://t.me/its_reading_club/148 #Aurora
#материалы: https://t.me/book_cube/1223
Please open Telegram to view this post
VIEW IN TELEGRAM
Dbt Meetup

Привет. Рады сообщить, что наконец мы набрались сил и докладов на тему DBT и готовы поделиться ими с вами :)
Большое спасибо компании Space307 за классный дизайн и повсеместную поддержку в проведении, благодаря ребятам наш внешний лоск становится красивее, а знания в мире доступнее :)

Митапы пройдут 20 июля в 19:00 (GMT+3) и 27 июля в 19:00 (GMT+3).

Программа 20 июля, 19:00:

1. Оркестрация dbt jobs для Dev, Test, Prod без головной боли
Артемий Козырь, Analytics Engineer at Wheely

2. Modern Data Stack, а стоит ли игра свеч?
Никита Баканчев, ex-Senior Data Engineer at NabuMinds

3.Описание метрик в dbt
Венера Насырова, BI Analyst at Space307

4. CI/CD и оркестрация онпрем когда адаптеров много
Станислав Лысиков, Data Platform Engineer at Space307

Программа 27 июля, 19:00:

1. DataVault в GreenPlum на основе автоматизированного создания dbt-моделей
Дмитрий Тирских, Data Engineer at X5 Digital

2. Любовь и восторг: как мигрировать 40+ DS/PA на dbt
Алмаз, Data Engineer at Picsart

3. Автоматическое создание экспозиций в dbt
Кирилл Романихин, Data Engineer at Space307

4. Автоматизация вокруг dbt (чего не хватает в коробке)
Станислав Лысиков, Data Platform Engineer at Space307

Подробности о докладах и регистрация на митапы

Важно! На каждый митап нужно регистрироваться отдельно.

Отзывы, предложения и благодарность в сообщество DBT - https://t.me/dbt_users
PS: архив старых митапов доступен на ютубе: https://www.youtube.com/watch?v=AxXv-988B1A, https://www.youtube.com/watch?v=10H45iYaCc8
#dbt #dbt_meetup #DataVault #материалы
DDS NIGHT
Методика DDS для системы автоматизированного формирования
30 августа в 18:00

Как работают с бигдатой в «тяжёлом диджитале» и что спрятано в хранилище данных СИБУРа? Приходите разбираться вместе на DDS Night!

30 августа в 18:00 инженеры и архитекторы данных СИБУР Диджитал расскажут, как в компании разработали методологию Детального Слоя Хранилища на базе методологий Data Vault 2.0 и Anchor Modeling,
и построили детальный слой данных с ее применением.

Рекомендуем митап архитекторам и разработчикам систем автоматизации процессов разработки DDS. Это отличная возможность узнать, как оптимизировать процесс разработки DDS, да и в целом расспросить обо всём экспертов по данным в лидере российской нефтегазохимии.

Митап пройдет онлайн в следующую среду: успейте зарегистрироваться, чтобы получить ссылку на ивент.

#материалы #запись: https://t.me/chernovdev/845
#DV #DataVault #AnchorModeling #DDS