SberProfi DWH/BigData
1.06K subscribers
320 photos
9 videos
361 links
Telegram-канал SberProfi DWH/BigData 💚
Наш чат: https://t.me/+6Vc_rNMJl8MzYzcy
Наша миссия: развивать компетенции по технологиям работы с данными, например, такими, как экосистема Hadoop, Teradata, Oracle DB, GreenPlum и др.
Download Telegram
SberProfi DWH/BigData
Коллеги, привет! Напоминаем о нашем митапе, который начнется ровно через 10 минут 🏃🏻‍♂️🏃‍♀️. 👉 Подключиться 👈 Нас ждут интересные полтора часа: 1. Гудков П.: «Развитие DevOps в Лаборатории данных» (подробнее – в Confluence) 2. Белов А.: «Горизонтальное…
Коллеги, делимся ссылкой по прошедшему митапу.

К сожалению, записать выступление Петра Гудкова не удалось (кое-кто забыл запустить запись вовремя. Sorry 😔😞).

P.S. Друзья, не забывайте слушать наши подкасты, которых мы записали целых 2:).

Лайки, комментарии и репосты приветствуются 🌴
Дорогие друзья! ☀️

Приглашаем вас на онлайн-митап по теме «Сервисные сообщения КАП», который состоится 24 июня 2022 года.
Начало в 14:00.

👉 Подключиться 👈


Коллеги из SberData (Управление развития корпоративной аналитической платформы) расскажут про историю создания продукта «Сервис сообщений», погрузят зрителей в техническую составляющую сервиса, а также проведут демонстрацию его возможностей.

Подробнее о сервисе – в Confluence.


Спикеры:
• Васильев Павел
• Маркелов Матвей



До встречи на митапе!


С уважением,
DWH/BigData 💚
Forwarded from Владимир Глебов
💡Друзья, помогите улучшить продукты
для Блока Т и Agile-команд, участвуйте в CSI

Команды Блока Т и смежных подразделений продолжают развивать свои продукты и запускают оценку удовлетворённости (CSI) по итогам II квартала. Расскажите, как сделать удобнее ваши рабочие инструменты.

📋 Сервисы для Agile-команд
🖋 Продукты SberInfra
Продукты SberData
🖌 Продукты SberWorks
🖍 Продукты СберНадёжности
🖊 SberUser. Рабочее окружение сотрудника


Проходите опросы до 3 июля и получайте баллы: 2 балла — за опрос, 1 балл — за комментарий о продукте. Чтобы баллы начислились, оставьте в конце опроса свою почту. Чем больше баллов, тем выше ваш ранг в Ордене Джедаев CSI.

Пройдите путь от Юнлинга до Гранд-Мастера!
💡💡💡

Коллеги, привет!
Свежий видео-выпуск новостей SberData смотрите по ссылке:
https://sberfriend.sbrf.ru/sberfriend/#/media/article/21366311 🔥📺

Хотите послушать новый подкаст экспертов SberProfi DWH/ BigData на тему R&D? 🎙
https://sbervideo.sberbank.ru/watch/kABKi3oj8WgSVu4DXm
SberProfi DWH/BigData
Дорогие друзья! ☀️ Приглашаем вас на онлайн-митап по теме «Сервисные сообщения КАП», который состоится 24 июня 2022 года. Начало в 14:00. 👉 Подключиться 👈 Коллеги из SberData (Управление развития корпоративной аналитической платформы) расскажут про историю…
Друзья!

Напоминаем, что через 10 минут мы начинаем митап, посвященный сервисным сообщениям КАП 🏃🏻‍♂️ 🌪.

👉 Подключиться 👈


Спикеры расскажут про историю создания продукта «Сервис сообщений», погрузят зрителей в техническую составляющую сервиса, а также проведут демонстрацию его возможностей.


С уважением,
DWH/BigData 💚
Коллеги, добрый день! ☀️

Просим принять участие в опросе CSI по продуктам SberData 🙏🏻.

Ответы на него помогут в развитии нашего с вами сотрудничества 🤝.

Опрос не займёт более 10 минут.

Срок проведения - до 11 июля.
Коллеги, привет! ☀️

Всех, кто еще не принял участие в опросе CSI по продуктам SberData, просим сделать это до 11.07 🙏🏻.

Ответы на него помогут в развитии нашего с вами сотрудничества 🤝.

Опрос не займёт более 10 минут.

Заранее спасибо!
Друзья! 🕊

Приятно осознавать, что участники нашего комьюнити – люди очень талантливые и творческие; люди, которые решили не останавливаться на одной сфере деятельности: спортсмены, музыканты, художники, преподаватели, психологи и тд.⚡️

Ребята, мы вами гордимся и с удовольствием расскажем коллегам о ваших внутрибанковских успехах и активностях, не стесняйтесь к нам обращаться!

Сегодня мы бы хотели пригласить вас на вебинар по ораторскому искусству, который проведет участница SberProfi DWH/BigData Мария Ильина (SberData).

Мария – член Российской ассоциации по связям с общественностью, преподаватель дисциплины: «Творческие основы PR-деятельности» в РУДН, журналист.

Начало в 14:00.

Готовьте вопросы и подключайтесь 👉 по ссылке 👈.


С уважением,
команда DWH/BigData 💚
Коллеги, еще раз привет! ☀️

В связи с тем, что СберЧат день за днем набирает все большую популярность, мы не смогли пойти мимо и тоже завели канал на корпоративной площадке .

Пока мы никуда не уходим из Telegram, но не знаем, что будет дальше, поэтому на всякий случай очень советуем подписаться на нас в СберЧате, чтобы потом (вдруг) не потеряться.

До встречи тут и там 🤝.


С уважением,
команда DWH/BigData 💚
Друзья, добрый день! 🌦

В первый день недели спешим поделиться с вами инересной новостью - теперь каждый понедельник (конечно, если вы поддержите нас проявленным интересом) эксперт нашего сообщества Андрей Баллес будет вести колонку в ТГ-канале DWH/BigData.
Админ канала - всего лишь его руки в этом увлекательном жанре ✍️.

Итак, встречайте новую рубрику нашего ТГ от Андрея Баллеса - #втренде 🔥!

(1 выпуск ищите через минуту, комментарии приветствуются)
#втренде #Выпуск1(ч.1)


📰 Новости команды RND
Рассказали на митапе про тренды в работе с данными. Записали подкаст про RND. Создали чат для тех, кто хочет вместе с нами активно мониторить и разбирать тренды и технологии. Работаем над Kylin как замена MS SSAS.

📰 Реанимировали Apache Ambari
Attic - это репозиторий неактивных проектов Apache Software Foundation. Буквально в июне Роман Шапошник возглавил проект Apache Ambari и запустил процедуру его возвращения в живые из Apache Attic. Напомню, что только в январе этого года проект был закрыт. Это первый случай за всю историю существования Apache. Детальнее про Attic: https://attic.apache.org/tracking.html

📰 Apache Doris - свежая MPP база стала Top-Level проектом
Высокопроизводительная, рил-тайм аналитическая база данных на MPP архитектуре, которая работает на MySQL протоколе. Детальнее о базе данных здесь (Продолжение следует)
1
#втренде #Выпуск1(ч.2)

Кто возьмется сделать one-pager по этой технологии, который критически проанализирует, что она на самом деле из себя представляет и как отличается от знакомых нам технологий?

📰 The Modern Data Stack
Под этим заголовком множество аналитиков пытаются определить современные технологии и подходы по хранению, обработке и анализу данных. Например,
The Modern Data Stack: Past, Present, and Future от dbt, Emerging Architectures for Modern Data Infrastructure от a16z или куда же без Thoughtworks Meet the Modern Data Stack, Data Maturity Journey.
Недавняя статья The Modern Data Stack for Embedded Analytics натолкнула на идею: вместо абсолютизма формулировать область применения стека. Например, ... for Enterprise BI или ... for BigTech Data Scientist ...for ДЗО. Кажется, что этот подход даст возможность охватить и всю широту Сбера.

📰 Мечта аналитика: Serverless
Путь клиента в новую эпоху cloud native и serverless технологий описан в статье Databricks Serverless SQL + Python. Это не только удобно и быстро с точки зрения аналитика. Цена ошибки (т.е. эксперимента) существенно снижается и позволяет выйти на совершенно новый уровень data driven решений в Банке. Команда RND SberData разработала прототип бессерверной базы данных. Задавайте вопросы в чате (ссылка).
Дорогие коллеги! ☀️🌸🐝

Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на Hadoop 3.
Для формирования повестки просим оставлять свои вопросы здесь.

Мероприятие состоится 28 июля 2022 г. Начало в 16:00.

Повестка:

• Орлов С.: “Восстановление данных в Hbase после disaster инцидентов”
• Матыцин С.: “Анонс воркшопа по фреймворку автотестов, использующемуся для SDP Hadoop”
• Орлов С.: “Архитектура и детали реализации интеграции кластеров SDP Hadoop с ППРБ Аудит”


Платформа проведения встречи – СберМитап.
📺 Ссылка для подключения.

Во время выступления спикеров вопросы можно будет задавать в чате.


Спасибо и до встречи!


С уважением,
команда DWH/BigData 💚
#втренде #Выпуск2

🌀 Data-diff - command-line tool и библиотека Python позволяет сравнивать таблицы в разных базах данных (миллиарды строк за несколько минут), даже не гоняя данные по сети. Как он это делает - см. github

🌀 Exo - низкоуровневый язык разработки - дает возможность полноценно использовать железные ускорители (GPU, ASIC, FPGA, нестандартные). Сам разработчик явно определяет хинты, что для определенных задач намного эффективнее компилятора. Пример реализации интерфейса - железо-код в ускорителе ML Gemmini. Exo существенно снижает порог входа → большой потенциал для SberDevice и ЛД: exo-lang.dev

🌀 PRQL - новый язык запросов, похожий на SQL, работает со всеми текущими БД! Основное преимущество - лучшая читаемость. Поддерживает абстракции, переменные и функции. Детали на prql-lang.org

🌀 CloudNativePG - оператор k8s для отказоустойчивого кластера PostgreSQL базы с primary/standby архитектурой с поддержкой стриминговой репликации. сайт

🌀 CeresDB - крайне интересная high-performance, distributed, schema-less, cloud-native timeseries database, написанная на Rust, вдохновленная InfluxDB IOx и TiKV. Совмещает технологии Apache Arrow и DataFusion. github

🌀 DAT Linux - сборка линукс, основанная на Ubuntu со множеством предустановленных инструментов по работе с данными, - ссылка. Обзор в следующем выпуске.

Обсуждаем в комментариях, что вам может пригодиться в работе, о чем хотелось бы узнать в деталях.
Дорогие друзья! ☀️

Нашему сообществу исполняется целых 3 года, отметить которые мы хотим большим митапом 🥳.

Приглашаем вас на онлайн-митап SberProfi DWH/BigData, который состоится 2 августа 2022 года.
Начало в 14:00.

👉 Подключиться 👈


Повестка:

1. Кузнецов А., Стрекаловский Р.: «Описание данных в Базах данных АС»

2. Радионов М.: «Немного ревирс-инжиниринга, декомпиляции, устройства плагинов PXF, QueryGrid. Или рассказ о способе "нативно" получить данные Teradata в GreenPlum»
(подробнее – в Confluence)

3. Ключко П., Постнова М.: «Платформа ML360: основа для разработки и вывода ML-моделей в ПРОМ» (подробнее – в Confluence)

4. Жукова Т.: «Сервис Ввода и корректировки данных КАП для загрузки пользовательских данных в ПРОМ» (подробнее – в Confluence)




Вопросы можно будет задать в чате во время выступления докладчиков.

До встречи на митапе!


С уважением,
DWH/BigData 💚
#втренде #Выпуск3

Apache Attic
- за июль ушли 3 проекта "на чердак". Причина у всех одна - отсутствие активности разработки. Один из них - Apache REEF - библиотека для ресурсных менеджеров типа YARN и Mesos. Означает ли это, что они следующие?!

🔥 Hex.tech - решение претендует на роль “UI для современного дата-стека”. На первый взгляд напоминает смесь Jupyter, Zeppelin с элементами Datawrangling. Другими словами - горячая тема. link

🔥 Apache ShardingSphere делает любую базу данных распределенной. Киллер SberDataFusion и SDP Hetero? 💪 link

🔥 Apache InLong - это стриминговая платформа, доступная пользователям в виде SaaS-продукта. Real-time ETL и т.д. Ранее ее инициировал китайский гигант Tencent. Сейчас активно развивается. link

🍭 Apache SystemDS - новая версия 3.0. Это масштабируемая система для машинного обучения. Поддерживает Spark MLContext, Spark Batch, Standalone, и Java Machine Learning Connector (JMLC). Авто-оптимизация основанная на характеристиках кластера и данных. link

Обсуждаем в комментариях, что вам может пригодится в работе, о чем хотелось бы узнать в деталях.
#втренде #Выпуск4

💫 InfoQ Data Engineering Trends Report - инновационные компании адаптируют Cloud agnostic computing for AI, Knowledge Graphs, AI pair programmer (like Github Copilot) and Synthetic Data Generation. Сбер в очередной раз #втренде 😎 Не хватает только сделать систему по дописыванию кода.

📰 Stack Overflow Developer Survey - SQL вернул себе 3 место в топе и скинул Python на 4 место; Julia обгоняет Python (а R уж тем более) в списке языков, которые люди больше любят, чем боятся.

🔥 wgpu-native выглядит как отличная возможность делать multi-tenant serverless сервисы с GPU on-demand на WGSL. Лаборатория данных 5.0 ?

︎ SecretFlow - представляет уровень абстракции таких технологий, как Secure Multiparty Computing, Homomorphic Encryption и поэтому упрощает анализ и ML на чувствительных данных.

Обсуждаем в комментариях, что вам может пригодиться в работе, о чем хотелось бы узнать в деталях.