Forwarded from > SPC.news
В ближайший четверг 20 октября в 17:05 нашем телеграмм чате https://t.me/spc_seminar состоится семинар от
Пичугина Дмитрия
Руководителя группы управления данными Тинькофф Банк. Создателя продукта Data Detective.
Создателя Data Governance и команды управления данными Тинькофф Банк.
Аннотация:
Последнее время данные объявили новой нефтью. Крупные компании активно внедряют эффективные методы работы с ними и громко называют себя data-driven/data-centric/другими data-модными словами. Но что это значит для них на самом деле и как жить в мире, где умение правильно использовать данные стало первоочередной задачей? Может ли данных быть слишком много и как понятие Data Governance может помочь выжить в том хаосе, когда технологии сильно опередили зрелость большинства организаций? Об этом и поговорим в моей лекции
И небольшой план лекции:
1. Экспоненциальный рост объема данных в мире и проблемы, который он вызывает
2. Data Governance как часть решения этой проблемы
2.1 Metadata Management
2.2 Information Lifecycle Management
2.3 Data Security
3. Инструменты Data Governance
4. Примеры применения Data Governance
Пичугина Дмитрия
Руководителя группы управления данными Тинькофф Банк. Создателя продукта Data Detective.
Создателя Data Governance и команды управления данными Тинькофф Банк.
Аннотация:
Последнее время данные объявили новой нефтью. Крупные компании активно внедряют эффективные методы работы с ними и громко называют себя data-driven/data-centric/другими data-модными словами. Но что это значит для них на самом деле и как жить в мире, где умение правильно использовать данные стало первоочередной задачей? Может ли данных быть слишком много и как понятие Data Governance может помочь выжить в том хаосе, когда технологии сильно опередили зрелость большинства организаций? Об этом и поговорим в моей лекции
И небольшой план лекции:
1. Экспоненциальный рост объема данных в мире и проблемы, который он вызывает
2. Data Governance как часть решения этой проблемы
2.1 Metadata Management
2.2 Information Lifecycle Management
2.3 Data Security
3. Инструменты Data Governance
4. Примеры применения Data Governance
Telegram
> SPC.seminar
Учебно-научный семинар по научному программированию.
Основное обсуждение в @SciProgCentre
Основное обсуждение в @SciProgCentre
Команда ЮMoney делает свой уютный, но хардовый митап про системную аналитику.
Темы докладов:
• Репозиторий архитектуры: 20 лет развития системы
• Documentation As Code, или "Легкий способ бросить вести документацию на wiki"
• Про сломанные грабли и разбитые лбы: проектирование в финтехе
Ждём всех 25 октября в 18:00 мск
Поделитесь с друзьями и обязательно зарегистрируйтесь: http://sber.me/?p=ngx6s
Темы докладов:
• Репозиторий архитектуры: 20 лет развития системы
• Documentation As Code, или "Легкий способ бросить вести документацию на wiki"
• Про сломанные грабли и разбитые лбы: проектирование в финтехе
Ждём всех 25 октября в 18:00 мск
Поделитесь с друзьями и обязательно зарегистрируйтесь: http://sber.me/?p=ngx6s
👍2
Приглашаем на бесплатный вебинар Yandex Cloud
25 октября в 12:00 мы расскажем, как разработать функцию — интеграцию с базой данных YDB для работы с сервисом API Gateway. Функция будет реализовывать CRUD-операции к YDB через HTTP-интерфейс Document API. Кроме того, мы покажем, как с помощью разработанной интеграции и модуля Terraform развернуть простой REST-сервис поверх базы данных.
Сервисы и инструменты, которые для этого понадобятся:
— IntelliJ IDEA Community Edition;
— Yandex Cloud CLI;
— Terraform;
— Yandex API Gateway;
— YDB;
— Yandex Cloud Functions.
Вебинар будет полезен разработчикам, архитекторам и владельцам стартапов. Участие бесплатное, просто зарегистрируйтесь, чтобы получить ссылку на трансляцию.
Зарегистрироваться ➡️ #YC
25 октября в 12:00 мы расскажем, как разработать функцию — интеграцию с базой данных YDB для работы с сервисом API Gateway. Функция будет реализовывать CRUD-операции к YDB через HTTP-интерфейс Document API. Кроме того, мы покажем, как с помощью разработанной интеграции и модуля Terraform развернуть простой REST-сервис поверх базы данных.
Сервисы и инструменты, которые для этого понадобятся:
— IntelliJ IDEA Community Edition;
— Yandex Cloud CLI;
— Terraform;
— Yandex API Gateway;
— YDB;
— Yandex Cloud Functions.
Вебинар будет полезен разработчикам, архитекторам и владельцам стартапов. Участие бесплатное, просто зарегистрируйтесь, чтобы получить ссылку на трансляцию.
Зарегистрироваться ➡️ #YC
Forwarded from LEFT JOIN
🚨 dbt теперь поддерживает трансформации с помощью Python
На этой неделе dbt выпустили версию 1.3 ядра dbt, которая включает поддержку моделей Python🐍.
Эта функция теперь доступна как в dbt Core, так и в dbt Cloud для пользователей на поддерживаемых платформах данных: BigQuery, Databricks и Snowflake.
Кажется, это настоящий game-changer. Если раньше работа с данными в инструменте была только с помощью SQL, то теперь трансформации и обработка данных возможны с помощью различных Python-функций😎
Важное пояснение: предполагается использованием либ Python, не являющимися моделями машинного обучения. В SQL-модели dbt представляют собой одну инструкцию SELECT, которая материализует объект в платформе данных. С ними можно работать, определив свою python-функцию.
На этой неделе dbt выпустили версию 1.3 ядра dbt, которая включает поддержку моделей Python🐍.
Эта функция теперь доступна как в dbt Core, так и в dbt Cloud для пользователей на поддерживаемых платформах данных: BigQuery, Databricks и Snowflake.
Кажется, это настоящий game-changer. Если раньше работа с данными в инструменте была только с помощью SQL, то теперь трансформации и обработка данных возможны с помощью различных Python-функций
Важное пояснение: предполагается использованием либ Python, не являющимися моделями машинного обучения. В SQL-модели dbt представляют собой одну инструкцию SELECT, которая материализует объект в платформе данных. С ними можно работать, определив свою python-функцию.
Please open Telegram to view this post
VIEW IN TELEGRAM
dbt Labs
dbt now supports Python for data transformation | dbt Labs
dbt now includes first-class Python support for modeling and transformation. Learn how Python works with ELT and Jinja workflows.
❤🔥5
Forwarded from { между скобок } анонсы 📣 (Grisha Skobelev)
🗓 23 октября, вс, 20:00 (мск) “CHAPTER 16: THE LEARNING CONTINUES” System Design Interview by Alex Xu
Последняя глава 🥳 Alex Xu сделал для нас невероятную подборку блогов и статей с которыми стоит ознакомиться в свободное время. Соберемся обсудить извечный вопрос о развитие разработчика, поговорим о том как учиться новому, как искать информацию и какой подход выбрать. А так же обсудить обязан ли разработчик развиваться.
Помогать в обсуждение нам будут крутые эксперты 🔥
📍Кирилл Мокевнин - CEO Хекслета. Построил учебный центр внутри компании, через который прошли и отправились в продакшен около 100 новичков-программистов. Автор многочисленных статей, вебинаров и образовательных программ, постоянный участник IT-конференций. Создал ~50 курсов по программированию, работает с авторами как со-эксперт и методист, обучает команды разработчиков как консультант.
📍Николай Голов - Head of data engineering at ManyChat, знает все о том как построить OLAP и OLTP систему, в деталях разбирается в построении аналитических систем.
Встречаемся в 20:00 по мск в Zoom.
PS расписание ближайщих встреч можно найти в календаре
@backend_megdu_skobkah
Последняя глава 🥳 Alex Xu сделал для нас невероятную подборку блогов и статей с которыми стоит ознакомиться в свободное время. Соберемся обсудить извечный вопрос о развитие разработчика, поговорим о том как учиться новому, как искать информацию и какой подход выбрать. А так же обсудить обязан ли разработчик развиваться.
Помогать в обсуждение нам будут крутые эксперты 🔥
📍Кирилл Мокевнин - CEO Хекслета. Построил учебный центр внутри компании, через который прошли и отправились в продакшен около 100 новичков-программистов. Автор многочисленных статей, вебинаров и образовательных программ, постоянный участник IT-конференций. Создал ~50 курсов по программированию, работает с авторами как со-эксперт и методист, обучает команды разработчиков как консультант.
📍Николай Голов - Head of data engineering at ManyChat, знает все о том как построить OLAP и OLTP систему, в деталях разбирается в построении аналитических систем.
Встречаемся в 20:00 по мск в Zoom.
PS расписание ближайщих встреч можно найти в календаре
@backend_megdu_skobkah
🔥2
> SPC.news
В ближайший четверг 20 октября в 17:05 нашем телеграмм чате https://t.me/spc_seminar состоится семинар от Пичугина Дмитрия Руководителя группы управления данными Тинькофф Банк. Создателя продукта Data Detective. Создателя Data Governance и команды управления…
▫️ Data Detective ⎋ - Тинькофф заопенсорсили свой каталог данных, с помощью которого аналитики могут быстро найти нужные данные. Существующие решения дата-каталогов от LinkedIn, Netflix, WeWork, Lyft, им не подошли, можно почитать тут. #DataDetective #opensource
🛠 Как подружить устройства с разными протоколами на одной IoT-платформе? Узнайте у экспертов Tarantool
⏰ Когда: 27 октября, 17:00 MSK
📍Регистрация: https://vk.cc/chD4dZ
На вебинаре вы узнаете:
▪️ Зачем нужны in-memory-технологии при работе с большими потоками данных
▪️ Как оптимизировать расходы на сетевой обмен между сервисами
▪️ Как организовать схемы хранения и обработки данных IoT-устройств
▪️ Как расширить экосистему IoT-устройств с помощью цифровых двойников
Спикеры:
🔸 Иван Банников, ведущий разработчик Бета
🔸 Ася Балыкина, ведущий разработчик серверной части отдела разработки мобильных приложений
🔸 Александр Белоцерковский, евангелист-архитектор, Tarantool и VK Cloud
Зарегистрироваться: https://vk.cc/chD4dZ
⏰ Когда: 27 октября, 17:00 MSK
📍Регистрация: https://vk.cc/chD4dZ
На вебинаре вы узнаете:
▪️ Зачем нужны in-memory-технологии при работе с большими потоками данных
▪️ Как оптимизировать расходы на сетевой обмен между сервисами
▪️ Как организовать схемы хранения и обработки данных IoT-устройств
▪️ Как расширить экосистему IoT-устройств с помощью цифровых двойников
Спикеры:
🔸 Иван Банников, ведущий разработчик Бета
🔸 Ася Балыкина, ведущий разработчик серверной части отдела разработки мобильных приложений
🔸 Александр Белоцерковский, евангелист-архитектор, Tarantool и VK Cloud
Зарегистрироваться: https://vk.cc/chD4dZ
Trino Summit convenes engineers, analysts, and superfans of the Trino project.
https://t.me/ohmydataengineer/271
https://youtu.be/o2MJvRKG14M
#Trino #Presto #Iceberg
https://t.me/ohmydataengineer/271
https://youtu.be/o2MJvRKG14M
#Trino #Presto #Iceberg
Онлайн Apache Ignite посиделки с мини-докладами
Thursday, October 27, 2022
7:00 PM to 8:30 PM GMT+3
- Тарас Ледков, Apache Ignite PMC member и релиз-менеджер Apache Ignite 2.14, кратко пройдется по тому, что нового в последнем релизе;
- Иван Дащинский, Apache Ignite PMC member, расскажет про особенности архитектуры памяти в многопроцессорных системах и про обновления в NUMA aware allocator в Apache Ignite 2.14;
- С Владом Пятковым, Apache Ignite Committer, обсудим его новый доклад про ребаланс в Ignite 3.
Moscow Apache Ignite® Meetup
Thursday, October 27, 2022
7:00 PM to 8:30 PM GMT+3
- Тарас Ледков, Apache Ignite PMC member и релиз-менеджер Apache Ignite 2.14, кратко пройдется по тому, что нового в последнем релизе;
- Иван Дащинский, Apache Ignite PMC member, расскажет про особенности архитектуры памяти в многопроцессорных системах и про обновления в NUMA aware allocator в Apache Ignite 2.14;
- С Владом Пятковым, Apache Ignite Committer, обсудим его новый доклад про ребаланс в Ignite 3.
Moscow Apache Ignite® Meetup
Data engineering events
#Анонс DE ивентов на неделю 17-23/10 (дополняется): (См также анонс BI событий) 🗓Пн, 17/10: 17-18/10 #SmartData 2022 - Конференция для дата‑инженеров 🎫+🆓 17-21/10 #Podlodka Techlead Crew - «Observability: monitoring, alerting, tracing» 🎫 17-21/10 #Coalesce…
#Анонс DE ивентов на неделю 23-30/10 (дополняется + пишите под пост;)):
(См также анонс BI событий)
🗓Вт, 25/10:
25-26/10
IMPACT 2022, The Data Observability
12:00 вебинар Yandex Cloud
18:30 #ЮMoney делает свой уютный, но хардовый митап про системную аналитику
12:00 вебинар про интеграцию с базой данных YDB и разверачивание REST-сервиса поверх БД
🗓Ср, 27/10:
17:00 🛠 Как подружить устройства с разными протоколами на одной IoT-платформе? о #Tarantool
19:00 Apache Ignite посиделки с мини-докладами
Пишите под пост, если найдёте ещё что интересное! (или ошибки в этом посте ;)😁
(См также анонс BI событий)
🗓Вт, 25/10:
25-26/10
IMPACT 2022, The Data Observability
12:00 вебинар Yandex Cloud
18:30 #ЮMoney делает свой уютный, но хардовый митап про системную аналитику
12:00 вебинар про интеграцию с базой данных YDB и разверачивание REST-сервиса поверх БД
🗓Ср, 27/10:
17:00 🛠 Как подружить устройства с разными протоколами на одной IoT-платформе? о #Tarantool
19:00 Apache Ignite посиделки с мини-докладами
Пишите под пост, если найдёте ещё что интересное! (или ошибки в этом посте ;)
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Forwarded from Dmitriy Nemchin
Всем привет! Я собрался с силами написал статейку про то, как Тинькофф использует Greenplum и какие штуки вокруг него мы понастроили. Помогал @koskark
https://habr.com/ru/company/tinkoff/blog/694652/
https://habr.com/ru/company/tinkoff/blog/694652/
Хабр
Как мы используем Greenplum в платформе данных Тинькофф
Меня зовут Дмитрий Немчин, я руковожу отделом, который отвечает за движки хранения и обработки данных в платформе данных Тинькофф. Несколько лет назад мы поняли, что продукты, на которых работало...