В первый рабочий день нового года получила приятную новость: мой доклад принят в программу конференции по качеству данных 😊

Основная часть доклада почти готова, и всё же спрошу: О чём хотелось бы узнать из выступления?

Классная новость, меня включили в программный комитет одной из конференций Онтико!
Это те, кто делает кучу конференций с картинки)
Очень рада поработать с крутыми специалистами)
Пока была всего одна встреча, а уже интересно 😊

Можно начинать обратный отсчёт.

Кто собирается быть на конференции?
Маякните, можно встретиться 26.02.

🎤 Представляем докладчиков конференции «Качество данных 2025»  

🔥Ирина Шахтарина, Сбер: «Как не “сломать” мозг и построить систему контроля качества данных»
❓Как разумнее всего организовать проверки данных, поступающих из внутренних и внешних источников?
❓Как выстроить и затем совершенствовать систему мониторинга данных?
❓Какую поддержку следует оказать культуре работы с данными, чтобы добиться исключения дублирования проверок и правильно расставить приоритеты их выполнения?
✔ Ирина Шахтарина, аналитик Сбера, отвечающая за контроль качества данных, не только ответит на эти вопросы, но и расскажет об опыте взаимодействия в области инцидент-менеджмента между разными командами блока «Управление благосостоянием».

➡️ Спешите регистрироваться ➡️

🤝Присоединяйтесь к Телеграм-чату конференции

🗓 26 ФЕВРАЛЯ. Конференция «Качество данных 2025»
🗺 Москва. Holiday Inn Moscow Sokolniki. офлайн+онлайн

Quality Gate, что это, нужно ли, плюсы и минусы.

Начнем с определения. QG это проверка (или набор проверок), по которой при получении результата "не ок" поставка данных дальше по тракту останавливается.

Какие плюсы? Потребители данных не получат некачественные данные и всё произойдет автоматически. Лучше старые, чем плохие.

Минусы - нужна очень тонкая настройка, как самих проверок, так и времени срабатывания, понимание возможных технических работ на тракте поставки. При срабатывании скорее всего будет разбор причин и данные уйдут дальше позже, чем обычно.

Нужно ли? Пожалуй, да. Хорошие данные стоят времени, потраченного на настройку.

А как у вас? Есть на тракте поставки данных quality gate?

#качестводанных #dataquality

Начала читать "Основы качества данных", авторы: Барр Мозес, Диор Гавиш, Молли Форверк.

Интересное из первой главы:

📎 Основные показатели качества данных: актуальность, объем, источники, схема и распределение. Читаю со словарём, и последние два пункта пока не очень понятны. Если есть идеи, что может под этим подразумевается, поделитесь соображениями?

📎 Любые проблемы с данными в книге называются "простоями", что в общем-то логично.

📎 Про определение качества данных: измерение надёжности, полноты и точности данных, в зависимости от состояния того, о чём речь; работоспособность данных на любом этапе жизненного цикла.

📎 Проблемы с качеством данных неизбежны в современном мире.

📎 Данные становятся не результатом, а финансовым товаром.

📎 "Сломаться" данные могут на любом этапе: приём, преобразование, загрузка, сохранение, обработка, доставка, интеграции и другие манипуляции с ними.

📎 Любое изменение данных может привести к поломке.

📎 Про децентрализованную и ячеистую архитектуры данных, сетку данных. Кажется, наш (Сберовской) "Супермаркет данных" и есть сетка.

📎 Использование одновременно и потоковой, и пакетной обработки данных меняют подходы к исследованиям.

📎 Всё большую популярность приобретает использование лучшего от хранилищ данных и от озёр данных. На выходе получаем DWH.

❄️ Приводится интересный пример плохих данных: исследователи и первооткрыватели из-за данных низкого качества или полного их отсутствия неточно прогнозировали время в пути и ресурсы.

🎼 Высокое качество данных - это не только техническая задача, но и уровень культуры.

#dataquality #качестводанных #dqf

На волне позапрошлого поста решила создать опрос, интересно, какой вариант больше по душе?

Увидела интересную фразу, хочется не потерять:

Руководствоваться данными нужно для принятия правильных решений, а управлять данными - для принятия решений правильно.
© DAMA-DMBOK.

Для получения синей галочки верификации в сетке (это соцсеть от хэдхантера), в канале тг должно быть 500+ подписчиков. В сетке сейчас 2500+.

Расскажите о моём канале своим подписчикам, помогите получить значок соответствия каналов 😊

Основы качества данных, глава вторая.

О системах хранения данных.

Что интересного:
📎 Основные компоненты качества данных: процесс, технологии, люди

📎 Перед работой над качеством данных стоит понять, качество чего хотим улучшить - операционных или аналитических данных

📎 Аналитические данные опираются на операционные, и являются результатом преобразования

📎 Важно найти компромисс между пропускной способностью и допустимой задержкой

📎 Выбирая способ хранения, важно учитывать взаимодействие с данными - формат (структура) задаётся при записи или чтении

📎 Разделять хранилище данных и вычисления

📎 Возможность "заболачивания" озера данных - если туда сливать всё без разбора, то качество будет падать, а владельцев крайне сложно найти

📎 Чем больше шагов при обработке данных, тем больше возможностей для ошибок

📎 Основной показатель качества данных - время простоя

📎 Для поверхностной оценки данных приводится список вопросов. Поделиться?

📎 Мониторинг показателей качества данных является одной из фундаментальных задач

📎 Приведены шаги для получения показателей качества данных. Надо?

📎 Чтобы начать верить данным, они должны быть точными, чистыми, доступными

📎 Важно понимать и отслеживать состояние и использование своих данных на всех этапах их жизненного цикла.

Есть над чем подумать, в общем 😊

#dataquality #качестводанных #dqf

Прошла очередная встреча с программным комитетом конференции Data internals , на прошлых мы уже обсудили целевую аудиторию, её возможные боли, наметили трэки конфы и о чём хотелось бы видеть доклады.
Приём заявок уже открыт, и даже есть первые принятые доклады!
Если вам есть о чём рассказать, хочется поделиться опытом - подать доклад можно по ссылке выше, будем вам рады 😊

Стало интересно, кто меня читает, сколько разных компаний. Напишите, из какой вы компании? Чем занимаетесь?

Начну с себя)
Сбер, занимаюсь качеством данных

Полным ходом подготовка к конференциям, презы, правки, вычитки.
Интересно, увлекательно! Столько новых открытий в процессе подготовки материала! Столько всего хочется ещё изучить!

Завтра расскажу про одно из мероприятий, в котором собираюсь принять участие уже через неделю.

Через пару недель пройдет встреча с программным комитетом data internals.
Очень ждем всех неопределившихся, особенно тех, с кем общались в личке по поводу докладов 😉