SberProfi DWH/BigData
1.06K subscribers
320 photos
9 videos
361 links
Telegram-канал SberProfi DWH/BigData 💚
Наш чат: https://t.me/+6Vc_rNMJl8MzYzcy
Наша миссия: развивать компетенции по технологиям работы с данными, например, такими, как экосистема Hadoop, Teradata, Oracle DB, GreenPlum и др.
Download Telegram
*Коллеги, в сообщении выше речь идет о Супермаркете Данных😉.


Ближе к митапу мы обязательно продублируем приглашалку📨📬.
Выступление SberData на конференции
„Качество данных - 2021. Стратегия, инструменты, практика»

✔️⚙️Новый сезон внешних технологических мероприятий открылся для SberData практической конференцией «Качество данных — 2021. Стратегия, инструменты, практика», которая состоялась 25 февраля 2021 года.

Это единственная в России конференция, целиком сфокусированная на одной из важнейших тем цифровой эпохи — обеспечении требуемого качества данных.

Специалисты из разных отраслей — пользователи и создатели решений по управлению качеством данных собрались, чтобы обменяться накопленным опытом в области разработки стратегии управления качеством данных и создания эффективного конвейера обеспечения качества данных.

👨‍💻Свой доклад участникам конференции представил Сергей Федоров, эксперт сообщества DWH/BigData – он поделился опытом построения системы контроля качества данных в Сбере.
В докладе рассказывается о становлении системы управления качеством данных в банке, сложностях на этом пути и их решении, а также о дальнейших планах по развитию.

Вместе с Сергеем мероприятие посетили лидер сообщества DWH/BigData Илья Поздняков и Александр Бондарев.

Медленными, но верными шагами Москва возвращается к привычной жизни – впервые за целый год (!) представители SberData приняли участие в очной конференции, это ли не повод для радости и гордости за коллег?💪🏻
Друзья, привет!
 
Хотим рассказать вам про проект Data Literacy в России, который носит интересное название: “Конспект DAMA DMBOK2”:
https://dataliteracy.ru/dmbok

Он знакомит сообщество с наиболее актуальными подходами в управлении данными, собранными Международной ассоциацией управления данными DAMA.
 
💡В рамках данного проекта систематически проходят вебинары с экспертами, на ближайший из которых в числе спикеров заявлен и CDO нашего Банка Борис Рабинович.
 
💻⌚️Онлайн-встреча состоится 4 марта 2021 года в 18:00 по московскому времени в Zoom, всех желающих принять участие в обсуждении темы руководства данными приглашаем зарегистрироваться по ссылке:
https://dataliteracy.ru/see-dmbok-3#register
 
Ключевые темы вебинара:
• Программа по Data Governance: драйверы, особенности, ролевая модель распорядителей данных
• Оценка зрелости управления данными в компании
• Роль CDO в процессе Data Governance
• Инструменты и методы Data Governance на практике
 
Участники дискуссии:
• Борис Рабинович, СБЕР
• Светлана Бова, ВТБ
• Владимир Иткин, Qlik Россия и СНГ
 
 
С уважением,
команда DWH/BigData
Дорогие коллеги!

🌪Уже через 5 минут ждем вас на экспертной площадке по теме: “Рекомендация по эффективному написанию ad-hoc select запросов в контуре ЛД (Hadoop)”.


📍Подключиться к конференции Zoom
https://sberbank.zoom.us/j/99842871849?pwd=dU9rQ2ZGZlB2eitQUUpVOXRCWTViUT09
Идентификатор конференции: 998 4287 1849
Пароль: ezpn=rn9hL


С уважением,
команда DWH/BigData
Друзья, доброе утро!☀️

⚡️Хотим пригласить вас на очередную экспертную площадку по теме:
“Обсуждение готовых решений SelfService по выгрузке данных из Hadoop в Kafka с использованием Spark Streaming”.

📍Встреча пройдет 10 марта 2021 года с 13:00 до 14:00 в Zoom
📍В качестве эксперта выступит коллега из SberData Першин Максим
📍Если у Вас есть вопросы по теме ЭП, просьба направить их Максиму не позднее 5 марта
📍Подключиться к конференции Zoom:
https://sberbank.zoom.us/j/91647288377?pwd=U29uTWxyMjhudTlXbWpKZEc4ZFZlUT09

Идентификатор конференции: 916 4728 8377

Пароль: #wQg5gK=dB


До встречи на мероприятии!

С уважением,
команда DWH/BigData
Коллеги, привет!

🚨По техническим причинам мы вынуждены перенести экспертную площадку по теме:
“Обсуждение готовых решений SelfService по выгрузке данных из Hadoop в Kafka с использованием Spark Streaming”.

📍Встреча пройдет 11 марта 2021 года с 16:00 до 17:00 в Zoom
📍В качестве эксперта выступит коллега из SberData Першин Максим
📍Подключиться к конференции Zoom:
https://sberbank.zoom.us/j/91647288377?pwd=U29uTWxyMjhudTlXbWpKZEc4ZFZlUT09

Идентификатор конференции: 916 4728 8377

Пароль: #wQg5gK=dB


До встречи на мероприятии!

С уважением,
команда DWH/BigData
Дорогие коллеги!

❗️Мы продолжаем серию регулярных экспертных площадок по миграции на Hadoop 3 и связанной с ней задачей миграции на OpenJDK:
https://sbtatlas.sigma.sbrf.ru/wiki/pages/viewpage.action?pageId=4004386147

Для формирования повестки просим оставлять свои вопросы здесь:
https://sbtatlas.sigma.sbrf.ru/wiki/pages/viewpage.action?pageId=4013166312

📍Очередная ЭП по миграции на Hadoop 3 и OpenJDK состоится 12 марта 2021 г. с 13:00 д 14:30.
Ознакомиться с повесткой встречи можно по ссылке:
https://sbtatlas.sigma.sbrf.ru/wiki/pages/viewpage.action?pageId=4004386471

До встречи на мероприятии!


💤Подключиться к конференции Zoom
https://sberbank.zoom.us/j/98068394546?pwd=c3E4Z3VSdXRzOGVkeklKcERTYzNhZz09
Идентификатор конференции: 980 6839 4546
Пароль: y9&yJfv?iq
Одно касание на мобильном телефоне
+74999516380,,98068394546#,,#,0455635065# Российская Федерация
+78124268988,,98068394546#,,#,0455635065# Российская Федерация

С уважением,
команда DWH/BigData
Друзья, привет!

⚡️Через 5 минут встречаемся на экспертной площадке для обсуждения готовых решений SelfService по выгрузке данных из Hadoop в Kafka с использованием Spark Streaming.

👉Подключиться к конференции Zoom:
https://sberbank.zoom.us/j/91647288377?pwd=U29uTWxyMjhudTlXbWpKZEc4ZFZlUT09

Идентификатор конференции: 916 4728 8377

Пароль: #wQg5gK=dB

С уважением,
команда DWH/BigData
Друзья, привет!☘️

🕐🗯 Напоминаем, что через 5 минут начнется наша регулярная экспертная площадка по миграции на Hadoop 3 и OpenJDK.

📢 Повестка:
• Матыцин Станислав:
“Особенности YARN Capacity Scheduler”
• Орлов Семен:
“Первые кейсы миграции витрин данных на Hadoop 3”
• Радионов Максим: ”Тонкости адаптации приложений под Hadoop 3”

🔜 Всех ждем!

📍Подключиться к конференции Zoom:
https://sberbank.zoom.us/j/98068394546?pwd=c3E4Z3VSdXRzOGVkeklKcERTYzNhZz09

Идентификатор конференции: 980 6839 4546
Пароль: y9&yJfv?iq

Одно касание на мобильном телефоне
+74999516380,,98068394546#,,#,0455635065# Российская Федерация
+78124268988,,98068394546#,,#,0455635065# Российская Федерация

С уважением,
команда DWH/BigData
Друзья!

Пятиминутная готовность!
Встречаемся на митапе, посвященном Супермаркету Данных⚡️ 🛒.

🦥Обсудим клиентский путь data scientist, заказ и варианты подписок.

💤Подключиться к конференции Zoom:
https://sberbank.zoom.us/j/97445052669?pwd=eElWRW5DZGFQdDNhRzBnZUdXNWFPdz09
Идентификатор конференции: 974 4505 2669
Пароль: &x%21BTC%R

До встречи на митапе!

С уважением,
команда DWH/BigData
Друзья, добрый день!🌤

На нашей странице в Confluence опубликован материал о вчерашнем митапе, посвященном Супермаркету Данных:
https://sbtatlas.sigma.sbrf.ru/wiki/pages/viewpage.action?pageId=4302310791.

🕵🏻‍♂️🔎В тексте новости можно найти презентацию и ссылку на запись встречи.

🙏Еще раз приносим свои извинения за ограничение доступа, мы сделаем все возможное, чтобы в будущем избежать подобных ситуаций.

Благодарим за понимание.

С уважением,
команда DWH/BigData
📣Форум BIG DATA 2021. Новость от 25.03.2021

SberData продолжает представлять Сбер на внешних технологических мероприятиях.
Месяц назад, 25.02, мы рассказывали о прошедшей в Москве конференции «Качество данных – 2021», в которой коллеги впервые за целый год приняли участие офлайн.
В этот раз Сбер был приглашен на юбилейный форум BIG DATA, который 25 марта в десятый раз собрал профессионалов индустрии данных.
BIG DATA 2021 — центральное событие года по теме больших данных и интеллектуальной аналитики.
💬Программа форума включала в себя наиболее актуальные темы индустрии данных: пути сотрудничества государства и бизнеса в области данных, уроки пандемии и антикризисную аналитику, истории успеха и опыт неудач в работе с данными в разных отраслях и социально значимых проектах, а также инновационные инфраструктурные решения для работы с данными.
Участниками мероприятия стали представители Администрации Президента РФ, Минэкономразвития РФ, АНО «Цифровая экономика», Центра цифрового развития АСИ, АБД, Сбера, МТСа, Denodo, Mail.ru и многие другие.

🔹На пленарной сессии мероприятия выступил CDO Банка Борис Рабинович, в рамках своего выступления рассказав про подход Сбера к решению задачи по организации рабочего места D-people, позволяющего за один день решить вопросы с поиском данных, инфраструктуры, инструментов, разработки и вывода модели в ПРОМ и тд.
Борис поделился сложностями, которые удалось преодолеть на пути создания уникального сервиса, а также продемонстрировал оптимальную конфигурацию рабочего места специалистов в области данных.
Подробнее – по ссылке.

🔹Далее команда SberData представила гетерогенную аналитическую платформу, лежащую в основе Фабрики Данных, и подробно рассказала о Супермаркете данных как едином окне во Вселенную данных Сбера.
Коллеги поделились историей создания платформы, рассказали о предпосылках к созданию Супермаркета данных, продемонстрировали «начинку» самого продукта и коснулись планов развития.

В качестве спикеров выступили лидер SberProfi DWH/BigData Илья Поздняков, Анастасия Куликова и Юрий Емельянов.

Ознакомиться с презентационным материалом можно здесь.
Коллеги, еще раз привет!
🤝 Спешим напомнить вам, что команда сообщества DWH/BigData готова помочь с оперативной публикацией статей участников комьюнити на Habr.
Благодаря налаженным каналам с Департаментом маркетинга и коммуникаций на согласование материала – вычитку, внесение правок, подгона текста под формат площадки редактором – уходят считанные дни.
🤔🎯Если у вас есть готовый материал или некоторые наработки и большое желание опубликоваться на самой масштабной IT-площадке Рунета с ежемесячным охватом в 10 млн человек, срочно пишите нам, ведь это прекрасная возможность не только сформировать положительный имидж Сбера перед внешней аудиторией, но и пропиарить собственное имя!
 
👏В 2020 году мы опубликовали 5 статей на Habr, суммарное количество просмотров статей на данный момент составляет 83 600!😱
Для ознакомления с трудами коллег предлагаем вам пройти по ссылкам:
 
Как считать и инвестировать свои деньги
10 приемов работы с Oracle
Когда у вас сберовские масштабы. Использование Ab Initio при работе с Hive и GreenPlum
Практика использования Spark SQL, или Как не наступить на грабли
Битва двух якодзун, или Cassandra vs HBase. Опыт команды Сбербанка
Друзья, привет!

📣💬👻Рады поделиться прекрасной новостью – после длительного перерыва команда Ab Initio возобновляет митапы, в связи с этим хотим пригласить вас на первую в 2021 году онлайн-встречу, которая пройдет 13 апреля с 11:00 до 12:00.

🎯Повестка:
• Баллес А.:
“CoE Ab Initio as a service (организационная матрица, процесс передачи PFS файлов, поддержка Ab Initio)”
• Гричик М.: “Автоматическая генерация графов в Ab Initio. Инструмент spec-to-graph и подход по генерации графов из базовых субграфов”

Ссылка для подключения:
https://meetup.sberbank.ru/w/w/2f4e6a42-b3cc-4902-b798-bd0cc7c6ef83

Запись эфира будет опубликована на канале команды Ab Initio в СберВидео.

Задать вопрос докладчикам в режиме реального времени вы сможете на slido.com
event code: #728464


До встречи на мероприятии!


С уважением,
команда DWH/BigData
The global event for the data community
The worlds of data and AI are converging and it’s opening new possibilities for data teams to collaborate, innovate and solve the world’s toughest problems. Presented by the original creators of Apache SparkTM, Delta Lake, MLflow, and Koalas, Data + AI Summit brings together the global data community to learn from leading experts in industry, research, and academia. Join us during Data + AI Summit, May 24-28, 2021.
Day 1: Free and paid training courses
Day 2: Free and paid training courses
Day 3: Keynotes, breakouts, networking and evening activities
Day 4: Keynotes, breakouts, networking and evening activities
Day 5: Keynotes, breakouts, networking and evening activities

https://databricks.cventevents.com/event/45414668-315b-4f08-b539-d9269a28d939/register
Друзья, привет!

🥳🙏Хотим поблагодарить эксперта нашего сообщества Липового Данила за публикацию 11-й статьи на Habr, в которой он подробно описал нагрузочное тестирование популярных key-value хранилищ данных: Aerospike, Scylla, HBase.

📊📈📉Автор проводил тестирование указанных выше баз данных в равных условиях в облаке Amazon и в целях достижения максимальной производительности предпочтение отдал носителю SSD
В статье вы найдете преимущества и недостатки каждой БД, что послужит большим подспорьем при выборе использования каждой из них.

🕵️‍♂️🕵️‍♀️Ознакомиться с текстом материала можно по ссылке.

С уважением,
команда DWH/BigData
Дорогие коллеги!

📣💬💻 Мы продолжаем серию регулярных экспертных площадок по миграции на Hadoop 3 и связанной с ней задачей миграции на OpenJDK.
Для формирования повестки просим оставлять свои вопросы здесь.

Очередная электронная площадка по миграции на Hadoop 3 и OpenJDK пройдет 15 апреля 2021 г. с 14:30 д 16:00.

🔸Повестка:
• Мартынов Алексей: Preview SDP Hadoop 3.3
• Исправников Кирилл: Как получить доступ к данным на SDP в DEV ALPHA?
• Орлов Семен: BC АС на SDP Hadoop: Пилот cross DC cluster

🔸Платформа проведения мероприятия – СберМитап.
Ссылка для подключения.

🔸Во время выступления спикеров вопросы можно будет задать в чате.


❗️Обращаем ваше внимание, что мероприятие проводится только на сотрудников Банка, просьба не пересылать информацию внешним участникам.

Спасибо и до встречи!


С уважением,
команда DWH/BigData
Друзья, привет!

🪴Ни для кого не секрет, что Сбер заботится о своих сотрудниках.

☝️В числе всевозможных льгот, привилегий и неограниченного доступа к бесплатным образовательным программам существует одна, о которой мы хотели бы поговорить сегодня.
🚀Речь пойдет о популярной программе "ПЕРЕЗАПУСК".
Ценность ее в том, что образовательный курс направлен на переподготовку сотрудников банка на востребованные сегодня (и в ближайшем будущем) профессии: Java Developer, Frontend Developer, Data Scientist, Data Analyst и Data Engineer уровня junior.

🏆🥇Мы гордимся, что эксперт и участники нашего сообщества в лице Гричика Михаила, Черничкина Станислава и Данилова Евгения имеют самое прямое отношение к данной программе. Коллеги разработали курс для junior DE, который будут читать в формате онлайн-лекций с середины апреля до середины июня.
Установочная встреча состоялась 13 апреля 2021 года, на которой студенты познакомились с будущими преподавателями и планом обучения, в конце которого их ждет итоговый проект.
Наши преподаватели расскажут, что собой представляет профессия DE, уделят время темам про DevOpsOracle SQLPL/SQL, основам Hadoop и Python, а также осветят разделы про Scala Spark и Java Spark.


📮Справочно о программе "ПЕРЕЗАПУСК":

Программа обучения закрывает сразу 4 задачи:
• Поддерживает знания сотрудника в области цифровых навыков на требуемом текущей ролью уровне
• Помогает приобрести специализированные знания и навыки для продвижения в рамках своей вертикали
• Подготавливает сотрудника к переходу на новую роль/должность
• Перепрофилирует IT-специалистов в рамках миграции legacy-систем

Цифры:
• > 4800 чел. изучают предкурсы
• > 170 чел. обучаются в Школе

Преподаваемые специализации:
• Java Developer
• Data Engineer
• Data Analyst
• Data Scientist
• Frontend Developer (new)

Снова цифры. Выпускники: 830 чел., из них:
• 37% JavaDev
• 25% DE
• 15% DA
• 23% DS

Карьерные перемещения:
> 32% выпускников трудоустроены на новую роль/обучались под задачи или получили повышение внутри функционального блока


💡Узнать больше о программе "ПЕРЕЗАПУСК" и условиях участия можно на площадке проекта на СберИдее.