Дайджест статей 23/10/22

Управление данными ставит перед предприятиями непростые задачи
https://habr.com/ru/company/otus/blog/694256/

Как мы используем Greenplum в платформе данных Тинькофф
https://habr.com/ru/company/tinkoff/blog/694652/

Как оценить размер данных: краткий гайд
https://habr.com/ru/company/ncloudtech/blog/694728/

Data Streaming for Data Ingestion Into the Data Warehouse and Data Lake
https://dzone.com/articles/data-streaming-for-data-ingestion-into-the-data-wa

What is trustable data? Why do you need it?
https://www.datasciencecentral.com/what-is-trustable-data-why-do-you-need-it%EF%BF%BC/

Коллеги, привет! Есть предложение провести в ноябре второйе оффлайн мероприятие CDO Club DataHouse#2.

Но не просто, а в Питере! 🙂 Многие просили, а тут есть возможность сделать это 11/11/22 (пятница). Место пока определяется, повестка тоже, если у кого то есть предложения - велком в комментарии.

Давайте поймем, насколько актуально, есть ли желающие, какой вообще отклик находит такое предложение 🙂 прошу залайкать, кому интересно и обсудить в комментах.

Объемное размышление на тему "данные - новая нефть"

https://datacreation.substack.com/p/organizations-need-to-deliberately

Всем привет! Открывается прием заявок на ежегодную премию Data Award 2023!

Имею честь входить в экспертный совет этой премии и могу сказать что организаторы каждый год делают мега-работу по очень детальному отбору, разбору и оценке каждого кейса, так что данную премую я считаю одной из самых объективных и непредвзятой!

Сроки:
- 24.10.2022 - 01.03.2023. Прием заявок
- ноябрь 2022 - апрель 2023. Публикация интервью номинантов
- конец апреля 2023 - начало мая 2023. Подведение итогов
- 18 мая 2023. Торжественная церемония награждения лауреатов

Коллеги, уверен тут у многих есть интересные проекты - подавате заявки!

📣Издательство "ОТКРЫТЫЕ СИСТЕМЫ" (@osp_ru) и профессиональный портал об ИТ-менеджменте «Директор информационной службы» объявляют о проведении ежегодного конкурса на получение премии 🏆Data Award 2023.

❗️Главная цель Data Award 2023 — популяризация наиболее значимых достижений в области работы с данными в компаниях России и стран СНГ. Премия адресована компаниям и руководителям, деятельность которых связана с управлением большими данными и их обработкой, а также с реализацией бизнес-проектов на их основе. Номинантами премии могут стать те, кто выбрал своей профессией науку о данных и добился на этом пути выдающихся практических результатов.

🔔Организаторы приглашают к участию специалистов и команды с впечатляющими проектами, готовых продемонстрировать силу данных и их возможности в трансформации бизнеса компаний. » https://www.osp.ru/articles/2022/1024/13056424

Видео о церемонии Data Award 2022»

Пара материалов про архитектуру работы с данными в компании "Макдональдс"

https://medium.com/mcdonalds-technical-blog/mcdonalds-event-driven-architecture-the-data-journey-and-how-it-works-4591d108821f

https://medium.com/mcdonalds-technical-blog/behind-the-scenes-mcdonalds-event-driven-architecture-51a6542c0d86

А вот интересный материал от компании IKEA. Интересен тем, что редко, где вижу применение Knowledge Graph, особенно в применении к данным о клиентах.

https://medium.com/flat-pack-tech/ikeas-knowledge-graph-and-why-it-has-three-layers-a38fca436349

Два дня назад мы объявили о старте пятого сезона премии Data Award - проекта, где инновационные стартапы могут на равных бороться с признанными тяжеловесами. Ожидаем дальнейшего роста числа номинантов и еще большего уровня их зрелости. Николай Смирнов, председатель оргкомитета Data Award, рассказал немного о «кухне» проекта и развитии премии и дал несколько рекомендаций будущим участникам.

Подробнее »

Обзор мероприятия Data Science Meet Up #2 и следующих докладов:

- Развитие клиентской базы: моделирование LTV и прогноз будущих доходов.
- Uplift-моделирование в ценообразовании кредитных продуктов.
- Совершенный код расчёт.
- Побеждаем смещение распределения в задаче нейросетевого кредитного скоринга.

https://habr.com/ru/company/alfa/blog/688438/

Дайджест статей 30/10/2022

Визуализация данных с помощью Metabase
https://habr.com/ru/post/695022/

Что ждет data-инжиниринг в будущем
https://habr.com/ru/company/vk/blog/693126/

Как понять, что пришло время внедрять платформу для анализа данных?
https://habr.com/ru/company/factory5/blog/695622/

A Guide to Data Protection Methods
https://www.datasciencecentral.com/a-guide-to-data-protection-methods/

Comparing DynamoDB and MongoDB for Big Data Management
https://www.smartdatacollective.com/comparing-dynamodb-mongodb-for-big-data-management/

Why Data Analytics Is Central to Digital Adoption Optimization
https://dzone.com/articles/why-data-analytics-is-central-to-digital-adoption

​​Знаковое событие для российского рынка BI - конференция ViRush 2022!
10 ноября 2022 года в 12.00, (Москва, Согласие Hall), офлайн+онлайн. Участие бесплатное, по предварительной регистрации.
Издательство "ОТКРЫТЫЕ СИСТЕМЫ" , традиционно, выступает медиа-партнером конференции, которая целиком посвящена российским практикам в сфере бизнес-аналитики! В программе: data-driven, импортозамещение и презентация революционной версии Visiology 3.0!
Представляем докладчиков:
▶️ ПЕРЕХОД НА РОССИЙСКИЙ BI: МИССИЯ НЕВЫПОЛНИМА? Роман Ковалёв, руководитель группы развития систем отчётности СберМегаМаркет
▶️ BI В ЭНЕРГЕТИКЕ. Кейс Русатом Оверсиз. Денис Макеев, руководитель группы дивизиональной цифровой трансформации РАОС
▶️ Что нужно заказчику при внедрении BI? Елена Новикова, президент группы компаний Polymedia
▶️BI В ОРГАНАХ ГОСВЛАСТИ. Николай Муравьёв, директор по работе с государственными проектами «ПолиАналитика»
▶️ КОРПОРАТИВНЫЙ BI: ТРИ ГОДА РАЗВИТИЯ. Кейс компании АЛРОСА. Кирилл Севергин, руководитель Центра компетенции Управления данными АЛРОСА-ИТ и Михаил Стрельцов, руководитель направления КХД и BI АЛРОСА-ИТ
✅ Больше кейсов в программе! И, по традиции, участников ждёт нетворкинг, ViRush Awards и Бар Данных!
#OSP #BI #бизнесанализ #аналитика #datadriven #visiology #партнерскийматериал

Немного о практике работы с MongoDB от компании Avito.

https://habr.com/ru/company/avito/blog/688602/

Коллеги из Газпромбанка рассказали про разработку системы управления качеством данных с достаточно интересными возможностями:

- Графическая визуализация работы проверок качества данных;
- Пользовательский веб-интерфейс для создания проверок и их настройки;
- Интеграция с Jira для заведения обращений по качеству данных при срабатывании определенных правил;

Систему полностью построили на open-source компонентах.

https://habr.com/ru/company/gazprombank/blog/691630/

Статья от компании Visiology про импортозамещение BI системы

https://habr.com/ru/company/visiology/blog/692876/

Довольно мощная статья про архитектуру построения корпоративного хранилища данных.

Авторы рассказывают что такое EDW, каких типов они бывают и какие функции имеют, а также как они используются в обработке данных. Объясняют, как корпоративные хранилища отличаются от обычных, какие типы хранилищ данных существуют и как они работают.

https://habr.com/ru/post/693360/

Посмотреть на выходных: Data Halloween 2022

В программе:
- Доклады онлайн спикеров Data Fest Siberia - MLOps, ML & Security, Ужасы медицинских данных, и не только!
- Ставшие традиционными собеседования в никуда, с симулятором дата сатанистов
- Продолжение карьерной панели с Феста (уважающий себя хоррор должен иметь сиквел)
- Изба читальня с элементами инквизиции и работы с еретическими текстами
- Scary code, конкурс хтонического ужаса и техноереси

https://www.youtube.com/watch?v=okcvDWkyw2Y

Коллеги, радостная новость - несмотря на турбулентность наша команда выпустила ETL-круг Громова 2022 &Connectors - исследование русских ETL-инструментов, API и коннекторов, российское ПО бизнес-аналитики (включая open-source инструменты)
Его уже получили все, кто зарегистрировался на https://russianbi.ru/ и теперь мы его отправляем стандартно при регистрации.
В скором времени выйдет СУБД-круг. Остаемся на связи и всем успешных внедрений!

.. ненароком сделал саммари текущей реальности на российском рынке BI решений в рамках подготовки сессии курса по BI стратегии. Получилась такое. Классификация решений не претендует на строгость и полноту, не было такой цели, но картинка независимая, без рекламы, содержит все сущностное и вероятно поможет кому-то сориентироваться. Будут дополнения - велком в комменты

отдельное спасибо @Ascenor @asdavtyan @sgromych @rbunin за подгрузку дополнительного экспертного контекста

Дайджест статей 06/11/22

Методы обнаружения дрейфа данных. Часть 1: Многомерные методы обнаружения дрейфа табличных данных
https://habr.com/ru/company/otus/blog/697254/

Как понять, что вашими отчетами в Metabase пользуются?
https://habr.com/ru/post/697192/

Принятие решений на основе данных и опросов пользователей: всё от А до Б
https://habr.com/ru/post/697402/

Zero Party Data — Collection, Definition, Examples, and Tactics
https://dzone.com/articles/zero-party-data-collection-definition-examples-tac

Кейс банка ВТБ о том, как в банке строили озеро данных и как смогли выстроить унифицированный процесс загрузки данных, какие задачи себе ставили и что из этого получилось.

https://habr.com/ru/company/vtb/blog/695766/

Коллеги, привет! К сожалению никак не получается быть в Питере в пятницу, придется пока наше мероприятие перенести 🙁 Напишу отдельно как будет возможность!

Сори 🙂