Дорогие коллеги! ☀️
Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на Hadoop 3.
Для формирования повестки просим оставлять свои вопросы здесь.
Мероприятие состоится 30 августа 2022 г. Начало в 15:00.
Повестка:
• Зленко И. (SberData): “Перфоманс фикс timestamp из Hive 4 в Hive 3”
• Орлов С. (SberData): “Релиз 3.5.3: состав, план тиража”
• Тутринов В. (SberData): “YARN Watchdog: демо и функциональность”
👉 Ссылка для подключения 👈
Во время выступления спикеров вопросы можно будет задавать в чате.
Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.
Спасибо и до встречи!
С уважением,
команда DWH/BigData 💚
Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на Hadoop 3.
Для формирования повестки просим оставлять свои вопросы здесь.
Мероприятие состоится 30 августа 2022 г. Начало в 15:00.
Повестка:
• Зленко И. (SberData): “Перфоманс фикс timestamp из Hive 4 в Hive 3”
• Орлов С. (SberData): “Релиз 3.5.3: состав, план тиража”
• Тутринов В. (SberData): “YARN Watchdog: демо и функциональность”
👉 Ссылка для подключения 👈
Во время выступления спикеров вопросы можно будет задавать в чате.
Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.
Спасибо и до встречи!
С уважением,
команда DWH/BigData 💚
SberProfi DWH/BigData
Дорогие коллеги! ☀️ Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на Hadoop 3. Для формирования повестки просим оставлять свои вопросы здесь. Мероприятие состоится 30 августа 2022 г. Начало в 15:00. Повестка: • Зленко И.…
Друзья!
10 минут остается до начала нашей регулярной площадки по миграции на Hadoop 3 ⏳.
Присоединяйтесь!
10 минут остается до начала нашей регулярной площадки по миграции на Hadoop 3 ⏳.
Присоединяйтесь!
Дорогие друзья! 🌦
Приглашаем вас на онлайн-митап SberProfi DWH/BigData, который состоится 6 сентября 2022 года.
Начало в 14:30.
👉 Подключиться 👈
Повестка:
1. Матыцин С.: «Фреймворк AT SDP Hadoop: пример использования при тестировании прикладных приложений» (подробнее – в Confluence)
2. Бирзнек М., Савин О.: «Cервис автоматизации XOps: полезный инструментарий для витрин и ML-моделей» (подробнее – в Confluence)
3. Радионов М.: «Тестирования HDFS на нескольких ДЦ» (подробнее – в Confluence)
Вопросы можно будет задать в чате во время выступления докладчиков.
До встречи на митапе!
С уважением,
DWH/BigData 💚
Приглашаем вас на онлайн-митап SberProfi DWH/BigData, который состоится 6 сентября 2022 года.
Начало в 14:30.
👉 Подключиться 👈
Повестка:
1. Матыцин С.: «Фреймворк AT SDP Hadoop: пример использования при тестировании прикладных приложений» (подробнее – в Confluence)
2. Бирзнек М., Савин О.: «Cервис автоматизации XOps: полезный инструментарий для витрин и ML-моделей» (подробнее – в Confluence)
3. Радионов М.: «Тестирования HDFS на нескольких ДЦ» (подробнее – в Confluence)
Вопросы можно будет задать в чате во время выступления докладчиков.
До встречи на митапе!
С уважением,
DWH/BigData 💚
#втренде #Выпуск7
Apache TVM ⎋ повышает эффективность работы ML засчет компилирования под CPU, GPU, FPGA и другие ML-акселераторы, в т.ч. внутри баузеров (edge computing!). Поддерживает random forests/classical ML, memory planning, MISRA-C, Python, ... напоминает TensorFlowXLA ⎋
Apache StreamPark ⎋ - новый фреймворк, позволяющий отделить бизнес-логику от конфигурации Spark и Flink и таким образом увеличить скорость разработки и вывода в ПРОМ.
Visual Data Preparation ⎋ - ETL для неструктурированных данных (картинки, видео), позволяет привести их в анализируемые AI/ML-данные. Под капотом - микросервисная архитектура, Triton Inference Server, Temporal (workflow engine) и Airbyte (коннекторы).
SurrealDB ⎋ - опенсорс-бессерверная база под OLTP-нагрузки с поддержкой аналитических нагрузок. Интересно, как работает их движок.
Data Mesh в Netflix ⎋ в своем тех.блоге описывают платформу данных и то, как подход дата-меш помог прийти к лучшему качеству, создать каталог данных и трэчить линедж.
PS: 3-6 октября проходит ApacheCon ⎋. Доклады - топ!
Apache TVM ⎋ повышает эффективность работы ML засчет компилирования под CPU, GPU, FPGA и другие ML-акселераторы, в т.ч. внутри баузеров (edge computing!). Поддерживает random forests/classical ML, memory planning, MISRA-C, Python, ... напоминает TensorFlowXLA ⎋
Apache StreamPark ⎋ - новый фреймворк, позволяющий отделить бизнес-логику от конфигурации Spark и Flink и таким образом увеличить скорость разработки и вывода в ПРОМ.
Visual Data Preparation ⎋ - ETL для неструктурированных данных (картинки, видео), позволяет привести их в анализируемые AI/ML-данные. Под капотом - микросервисная архитектура, Triton Inference Server, Temporal (workflow engine) и Airbyte (коннекторы).
SurrealDB ⎋ - опенсорс-бессерверная база под OLTP-нагрузки с поддержкой аналитических нагрузок. Интересно, как работает их движок.
Data Mesh в Netflix ⎋ в своем тех.блоге описывают платформу данных и то, как подход дата-меш помог прийти к лучшему качеству, создать каталог данных и трэчить линедж.
PS: 3-6 октября проходит ApacheCon ⎋. Доклады - топ!
OpenXLA Project
Коллеги, что вам может пригодиться в работе, о чем хотелось бы узнать в деталях?
Anonymous Poll
9%
Apache TVM
30%
Apache StreamPark
17%
Visual Data Preparation
13%
SurrealDB
67%
Data Mesh
Коллеги, добрый день! 🐝
В продолжение рубрики #втренде просим вас пройти краткий опрос ⬆️⬆️⬆️.
Спасибо!
В продолжение рубрики #втренде просим вас пройти краткий опрос ⬆️⬆️⬆️.
Спасибо!
SberProfi DWH/BigData
Дорогие друзья! 🌦 Приглашаем вас на онлайн-митап SberProfi DWH/BigData, который состоится 6 сентября 2022 года. Начало в 14:30. 👉 Подключиться 👈 …
Коллеги!
Ровно через 10 минут встречаемся на нашем 29-м митапе ⌛️🏃🏻♂️🏃🏻♀️.
Очень ждем! 🙌🏻
Ровно через 10 минут встречаемся на нашем 29-м митапе ⌛️🏃🏻♂️🏃🏻♀️.
Очень ждем! 🙌🏻
SberProfi DWH/BigData
Коллеги! Ровно через 10 минут встречаемся на нашем 29-м митапе ⌛️🏃🏻♂️🏃🏻♀️. Очень ждем! 🙌🏻
Ссылка на новость на Confluence (материалы + запись встречи).
Дорогие коллеги! 🍁🍂
Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на SDP Hadoop.
Для формирования повестки просим оставлять свои вопросы здесь.
Мероприятие состоится 9 сентября 2022 г. Начало в 15:00.
Повестка:
• Орлов С. (SberData): “Дополнительная коммуникация по смещениям для дат до 1900 года при работе с Hive и Spark”
👉 Ссылка для подключения 👈
Во время выступления спикеров вопросы можно будет задавать в чате.
Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.
Спасибо и до встречи!
С уважением,
команда DWH/BigData 💚
Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на SDP Hadoop.
Для формирования повестки просим оставлять свои вопросы здесь.
Мероприятие состоится 9 сентября 2022 г. Начало в 15:00.
Повестка:
• Орлов С. (SberData): “Дополнительная коммуникация по смещениям для дат до 1900 года при работе с Hive и Spark”
👉 Ссылка для подключения 👈
Во время выступления спикеров вопросы можно будет задавать в чате.
Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.
Спасибо и до встречи!
С уважением,
команда DWH/BigData 💚
Дорогие друзья!
Спешим представить вам подкаст, который команда нашего сообщества выпустила в последний день лета.
Это уже 3-й выпуск комьюнити; его посвятили теме Графовой платформы Сбера.
👉 СЛУШАТЬ ПОДКАСТ 👈
В записи приняли участие: Поздняков Илья (руководитель управления по AI-технологиям, одной из которых является графовая платформа, лидер SberProfi DWH/BigData), Булавин Алексей (владелец продукта), Абрашкина Анна и Козлова Мария (клиенты со стороны УВА и БР, соответственно).
Во время встречи коллеги поговорили об истории создания сервиса, первых клиентах и основной бизнес-задаче.
Сложности и правильные решения в начале пути, высокий CSI сегодня, планы развития, патенты – все это и многое другое спикеры обсудили во время почти часовой беседы.
По традиции модератором подкаста выступил Коньков Иван.
Коллеги, просим оставлять заявки на интересные для вас темы будущих подкастов в комментариях под новостью.
like, share, repost 🙏
С уважением,
команда DWH/BigData 💚
Спешим представить вам подкаст, который команда нашего сообщества выпустила в последний день лета.
Это уже 3-й выпуск комьюнити; его посвятили теме Графовой платформы Сбера.
👉 СЛУШАТЬ ПОДКАСТ 👈
В записи приняли участие: Поздняков Илья (руководитель управления по AI-технологиям, одной из которых является графовая платформа, лидер SberProfi DWH/BigData), Булавин Алексей (владелец продукта), Абрашкина Анна и Козлова Мария (клиенты со стороны УВА и БР, соответственно).
Во время встречи коллеги поговорили об истории создания сервиса, первых клиентах и основной бизнес-задаче.
Сложности и правильные решения в начале пути, высокий CSI сегодня, планы развития, патенты – все это и многое другое спикеры обсудили во время почти часовой беседы.
По традиции модератором подкаста выступил Коньков Иван.
Коллеги, просим оставлять заявки на интересные для вас темы будущих подкастов в комментариях под новостью.
like, share, repost 🙏
С уважением,
команда DWH/BigData 💚
7 сентября самые активные по итогам первого полугодия 2022-го участники комьюнити DWH/BigData получили почетные грамоты от Вице-президента по технологическому развитию Банка Алексея Поддубного 🔥.
Награда нашла своих героев на 10-м этаже 2-го корпуса Даниловского Форта - заветные благодарности "За профессионализм и личный вклад в развитие сообщества DWH/BigData" коллеги получили из рук CDO Банка Бориса Рабиновича 🚀.
За первое полугодие были отмечены следующие коллеги: лидер комьюнити Поздняков Илья, эксперты: Гричик Михаил, Коньков Иван, Орлов Семен и участник сообщества Радионов Максим.
Коллеги, благодарим вас за труды, неравнодушие и желание приносить пользу нашему любимому SberProfi DWH/BigData на протяжении целых 3-х лет!
С надеждой на продолжение доброй традиции,
ваша команда DWH/BigData 💚
Награда нашла своих героев на 10-м этаже 2-го корпуса Даниловского Форта - заветные благодарности "За профессионализм и личный вклад в развитие сообщества DWH/BigData" коллеги получили из рук CDO Банка Бориса Рабиновича 🚀.
За первое полугодие были отмечены следующие коллеги: лидер комьюнити Поздняков Илья, эксперты: Гричик Михаил, Коньков Иван, Орлов Семен и участник сообщества Радионов Максим.
Коллеги, благодарим вас за труды, неравнодушие и желание приносить пользу нашему любимому SberProfi DWH/BigData на протяжении целых 3-х лет!
С надеждой на продолжение доброй традиции,
ваша команда DWH/BigData 💚
Команда, привет! ☀️
Приходите 16 сентября на Demo-Day SberData «Супермаркет данных»!
Это будет не совсем обычная встреча, а настоящий Demo-Birth-Day, ведь 17.09.2019 вышел первый релиз Супермаркета, и Demo-Day будет посвящён дню рождения продукта! 🥳🎈
Вас ждут:
• «инсайды» о создании портала
• краткий экскурс о пройденном пути и что из себя представляет продукт сейчас
• живое Демо
• опыт наших заказчиков о решениях, работающих на Супермаркете
• анонс ближайших важных изменений
Ну и, конечно, в честь дня рождения всех пришедших очно ожидают угощения, сюрпризы и живое общение с нашей командой 🎂.
Приходите поздравить команду продукта и дать ей обратную связь, коллеги будут очень рады вас видеть!
Когда: 16 сентября, 10:00 – 13:00
Очно: Кутузовский проспект 32к1, 6 этаж, переговорная 6.А.13 (корпус Е).
В домене Sigma и сети Интернет: https://meetup.sberbank.ru/event/r/rs3201851d-eff7-4f0b-bf6a-50019c633e40
Зарегистрируйтесь прямо сейчас https://public.oprosso.sberbank.ru/p/fniaucvv
До встречи!
Приходите 16 сентября на Demo-Day SberData «Супермаркет данных»!
Это будет не совсем обычная встреча, а настоящий Demo-Birth-Day, ведь 17.09.2019 вышел первый релиз Супермаркета, и Demo-Day будет посвящён дню рождения продукта! 🥳🎈
Вас ждут:
• «инсайды» о создании портала
• краткий экскурс о пройденном пути и что из себя представляет продукт сейчас
• живое Демо
• опыт наших заказчиков о решениях, работающих на Супермаркете
• анонс ближайших важных изменений
Ну и, конечно, в честь дня рождения всех пришедших очно ожидают угощения, сюрпризы и живое общение с нашей командой 🎂.
Приходите поздравить команду продукта и дать ей обратную связь, коллеги будут очень рады вас видеть!
Когда: 16 сентября, 10:00 – 13:00
Очно: Кутузовский проспект 32к1, 6 этаж, переговорная 6.А.13 (корпус Е).
В домене Sigma и сети Интернет: https://meetup.sberbank.ru/event/r/rs3201851d-eff7-4f0b-bf6a-50019c633e40
Зарегистрируйтесь прямо сейчас https://public.oprosso.sberbank.ru/p/fniaucvv
До встречи!
#втренде #Выпуск8
FineBI ⎋ - Альтернатива Tableau, сделано в Китае. В российском сообществе уже более 700 участников.
Apache Airavata ⎋ - фреймворк, созданный в результате десятка диссертаций коллег американских университетов. Позволяет создавать и управлять дата сайенс-приложениями на разных распределенных платформах вычислений - локальных кластерах, суперкомпьютерах, облаках.
Pipebird ⎋ - SaaS-платформа для обмена данными между компаниями. Может быть интересно для экосистемы и SDX.
Parseable ⎋ - платформа для хранения логов и "observability" для Cloud Native-приложений. Возможно, это решение поможет при миграции наших сервисов в k8s/OS.
subZero ⎋ - написанный на Rust фреймворк, который превратит любую SQL-базу в REST/GraphQL API.
FineBI ⎋ - Альтернатива Tableau, сделано в Китае. В российском сообществе уже более 700 участников.
Apache Airavata ⎋ - фреймворк, созданный в результате десятка диссертаций коллег американских университетов. Позволяет создавать и управлять дата сайенс-приложениями на разных распределенных платформах вычислений - локальных кластерах, суперкомпьютерах, облаках.
Pipebird ⎋ - SaaS-платформа для обмена данными между компаниями. Может быть интересно для экосистемы и SDX.
Parseable ⎋ - платформа для хранения логов и "observability" для Cloud Native-приложений. Возможно, это решение поможет при миграции наших сервисов в k8s/OS.
subZero ⎋ - написанный на Rust фреймворк, который превратит любую SQL-базу в REST/GraphQL API.
Хабр
Tableau vs FineBI. Часть I: особенности платформ и работа с данными
Китайские решения для российского рынка пока являются своего рода terra incognita. Даже если решение уже зарекомендовало себя и у пользователей за пределами Китая, и у аналитиков (а именно так, судя...
👍1
Что вам может пригодиться в работе, о чем хотелось бы узнать в деталях?
Anonymous Poll
55%
FineBI
32%
Apache Airavata
13%
Pipebird
11%
Parseable
45%
subZero
Коллеги, приглашаем вас на масштабное онлайн-мероприятие DIS Group Forum, которое состоится 22 сентября!
Узнайте подробности и зарегистрируйтесь на сайте DIS Group Forum.
Участие бесплатное.
https://www.youtube.com/watch?v=oQFhze1-v_4
Узнайте подробности и зарегистрируйтесь на сайте DIS Group Forum.
Участие бесплатное.
https://www.youtube.com/watch?v=oQFhze1-v_4
YouTube
Приглашение на DIS Group Forum 22 сентября
22 сентября представители Банка России, ВТБ, Райффайзенбанка, МКБ, розничной сети «Магнит», Ингосстраха, М.Видео-Эльдорадо и других крупнейших российских компаний расскажут о секретах успешной цифровой трансформации!
Регистрируйтесь на форум: https://dis…
Регистрируйтесь на форум: https://dis…
8 сентября в нашем SberProfi DWH/BigData произошло маленькое радостное событие - к нам присоединился 1000-й участник, а точнее – участница! 🎉
Тысячную отметку перешагнула Фролкина Дарья из Блока Т (ДИТ «Управление благосостоянием»):
"Я присоединилась к вашему замечательному сообществу, чтобы поскорее наращивать компетенции и не отставать от своих крутых коллег в УДиАК :). А также, чтобы присылать только самые актуальные мемы в наш уютный чатик команды" 🐱.
Страна должна знать своих героев в лицо, поэтому фото Дарьи в DWH-шной футболке прилагается :) 📸.
Тысячную отметку перешагнула Фролкина Дарья из Блока Т (ДИТ «Управление благосостоянием»):
"Я присоединилась к вашему замечательному сообществу, чтобы поскорее наращивать компетенции и не отставать от своих крутых коллег в УДиАК :). А также, чтобы присылать только самые актуальные мемы в наш уютный чатик команды" 🐱.
Страна должна знать своих героев в лицо, поэтому фото Дарьи в DWH-шной футболке прилагается :) 📸.
Всем привет! ☀️
Коллеги, если у вас есть знакомые студенты или преподаватели технических специальностей вузов, просьба поделиться с ними информацией о мероприятии 👇👇👇
Кейс-клуб МИФИ запускает чемпионат МИФИ Opportunity Cup.
Партнёром ИТ-трека выступил Сбер ✅.
Собирай свою команду, решай задачу по анализу и обработке данных и прокачивай полезные навыки!
Регистрация уже началась!
Общий анонс чемпионата: https://vk.com/cmephi?w=wall-128166631_1368
Анонс вебинара:
https://vk.com/cmephi?w=wall-128166631_1389
Канал чемпионата в телеграме:
https://t.me/OpportunityCup2022
Коллеги, если у вас есть знакомые студенты или преподаватели технических специальностей вузов, просьба поделиться с ними информацией о мероприятии 👇👇👇
Кейс-клуб МИФИ запускает чемпионат МИФИ Opportunity Cup.
Партнёром ИТ-трека выступил Сбер ✅.
Собирай свою команду, решай задачу по анализу и обработке данных и прокачивай полезные навыки!
Регистрация уже началась!
Общий анонс чемпионата: https://vk.com/cmephi?w=wall-128166631_1368
Анонс вебинара:
https://vk.com/cmephi?w=wall-128166631_1389
Канал чемпионата в телеграме:
https://t.me/OpportunityCup2022
VK
Кейс-клуб | НИЯУ МИФИ. Пост со стены.
🏆 Opportunity Cup 2022 🏆
Хочешь прокачать навыки за пределами учебной программы в университ... Смотрите полностью ВКонтакте.
Хочешь прокачать навыки за пределами учебной программы в университ... Смотрите полностью ВКонтакте.
Дорогие друзья! 🍂🍁☔
Приглашаем вас на онлайн-митап SberProfi DWH/BigData (30-й по счету 😊), который состоится 26 сентября 2022 года.
Начало в 14:30.
👉 Подключиться 👈
Повестка:
Васильев П. (SberData): Безопасное хранение и использование секретного слова при кодировании и декодировании зашифрованных параметров
Вопросы можно будет задать в чате во время выступления докладчиков.
До встречи на митапе!
С уважением,
DWH/BigData 💚
Приглашаем вас на онлайн-митап SberProfi DWH/BigData (30-й по счету 😊), который состоится 26 сентября 2022 года.
Начало в 14:30.
👉 Подключиться 👈
Повестка:
Васильев П. (SberData): Безопасное хранение и использование секретного слова при кодировании и декодировании зашифрованных параметров
Вопросы можно будет задать в чате во время выступления докладчиков.
До встречи на митапе!
С уважением,
DWH/BigData 💚
#втренде #Выпуск9
Hadoop Vectored IO 🔥 будет в Hadoop 3.4 и может ускорить Hive в 2 раза. "Vectored read" - новая фича HDFS, расширяющая класс FSDataInputStream.
Apache Sedona добавляет поддержку геоданных в Spark и Flink. Работает в 10 раз быстрее других фреймворков, использует меньше памяти. Проект на рубеже перехода из инкубатора в Top Level Project.
Borch - поверх PyTorch сделан новый язык разработки класса вероятностного программирования для решения продвинутых задач машинного обучения. Статья на arXiv.
Apache Science Data Analytics Platform (SDAP) - по сути это платформа и архитектурная концепция для Лаборатории данных, интегрирующая разрозненные компоненты для поиска, визуализации и ML-подсказок, а также - эмоциональный клей в превосходный UX по анализу данных. Ее особенность в том, что она заточена под юз кейсы науки о земле. Может вдохновить нюансы развития наших проудуктов.
Apache Atlas расширение и альтернативный UI - известны ограничения Atlas, появляются попытки их обойти для использования в крупных компаниях. Установить можно из github.
Hadoop Vectored IO 🔥 будет в Hadoop 3.4 и может ускорить Hive в 2 раза. "Vectored read" - новая фича HDFS, расширяющая класс FSDataInputStream.
Apache Sedona добавляет поддержку геоданных в Spark и Flink. Работает в 10 раз быстрее других фреймворков, использует меньше памяти. Проект на рубеже перехода из инкубатора в Top Level Project.
Borch - поверх PyTorch сделан новый язык разработки класса вероятностного программирования для решения продвинутых задач машинного обучения. Статья на arXiv.
Apache Science Data Analytics Platform (SDAP) - по сути это платформа и архитектурная концепция для Лаборатории данных, интегрирующая разрозненные компоненты для поиска, визуализации и ML-подсказок, а также - эмоциональный клей в превосходный UX по анализу данных. Ее особенность в том, что она заточена под юз кейсы науки о земле. Может вдохновить нюансы развития наших проудуктов.
Apache Atlas расширение и альтернативный UI - известны ограничения Atlas, появляются попытки их обойти для использования в крупных компаниях. Установить можно из github.