#втренде #Выпуск6
⇶ Arrows.app ⎋ Вообще Arrows используется для визуализации labeled property graphs из домена графовых баз данных. Но выяснилось, что для визуализации моделей данных в терминах анкеров/атрибутов/линков тоже отлично подходит.
🆀 Debezium + Quarkus = решение распределенного CDC в k8s ⎋ Статья описывает как это сделать и с помощью каких паттернов избежать проблему Dual-Writes
👯♀️ Ballerina ⎋ - язык для "Data-oriented programming" на тему недавно вышла книга ⎋. Интересно рассмотреть этот подход для преобразования данных на лету, напр в NRT или промышленных ML решениях.
🔀 Remote Shuffle Service для Spark ⎋- Uber сделали внешний шафл менеджер сами и ускорили Spark в 2-5 раз. Месяц назад похожее решение 🔀 Uniffle ⎋ было внесено коллегами из Китая в Apache инкубатор, но информации пока мало. Нащупали тренд )
👩🔬 Google Research на Youtube ⎋ - на днях запустили конент про последние тренды в AI/ML/Robotics/Algo/Quantum computing/... ждем контент дополняющий их отличный ресурс research.google
Обсуждаем в комментариях, что вам может пригодится в работе, о чем хотелось бы узнать в деталях ⬇️⬇️⬇️.
⇶ Arrows.app ⎋ Вообще Arrows используется для визуализации labeled property graphs из домена графовых баз данных. Но выяснилось, что для визуализации моделей данных в терминах анкеров/атрибутов/линков тоже отлично подходит.
🆀 Debezium + Quarkus = решение распределенного CDC в k8s ⎋ Статья описывает как это сделать и с помощью каких паттернов избежать проблему Dual-Writes
👯♀️ Ballerina ⎋ - язык для "Data-oriented programming" на тему недавно вышла книга ⎋. Интересно рассмотреть этот подход для преобразования данных на лету, напр в NRT или промышленных ML решениях.
🔀 Remote Shuffle Service для Spark ⎋- Uber сделали внешний шафл менеджер сами и ускорили Spark в 2-5 раз. Месяц назад похожее решение 🔀 Uniffle ⎋ было внесено коллегами из Китая в Apache инкубатор, но информации пока мало. Нащупали тренд )
👩🔬 Google Research на Youtube ⎋ - на днях запустили конент про последние тренды в AI/ML/Robotics/Algo/Quantum computing/... ждем контент дополняющий их отличный ресурс research.google
Обсуждаем в комментариях, что вам может пригодится в работе, о чем хотелось бы узнать в деталях ⬇️⬇️⬇️.
InfoQ
Debezium and Quarkus: Change Data Capture Patterns to Avoid Dual-Writes Problems
It’s common in microservices to write data in two places, a database and then send the content to another microservice. One approach to tackle this problem is dual writes, but you may lose data because of concurrent writes. Debezium is an open-source project…
Дорогие коллеги! ☀️
Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на Hadoop 3.
Для формирования повестки просим оставлять свои вопросы здесь.
Мероприятие состоится 30 августа 2022 г. Начало в 15:00.
Повестка:
• Зленко И. (SberData): “Перфоманс фикс timestamp из Hive 4 в Hive 3”
• Орлов С. (SberData): “Релиз 3.5.3: состав, план тиража”
• Тутринов В. (SberData): “YARN Watchdog: демо и функциональность”
👉 Ссылка для подключения 👈
Во время выступления спикеров вопросы можно будет задавать в чате.
Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.
Спасибо и до встречи!
С уважением,
команда DWH/BigData 💚
Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на Hadoop 3.
Для формирования повестки просим оставлять свои вопросы здесь.
Мероприятие состоится 30 августа 2022 г. Начало в 15:00.
Повестка:
• Зленко И. (SberData): “Перфоманс фикс timestamp из Hive 4 в Hive 3”
• Орлов С. (SberData): “Релиз 3.5.3: состав, план тиража”
• Тутринов В. (SberData): “YARN Watchdog: демо и функциональность”
👉 Ссылка для подключения 👈
Во время выступления спикеров вопросы можно будет задавать в чате.
Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.
Спасибо и до встречи!
С уважением,
команда DWH/BigData 💚
SberProfi DWH/BigData
Дорогие коллеги! ☀️ Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на Hadoop 3. Для формирования повестки просим оставлять свои вопросы здесь. Мероприятие состоится 30 августа 2022 г. Начало в 15:00. Повестка: • Зленко И.…
Друзья!
10 минут остается до начала нашей регулярной площадки по миграции на Hadoop 3 ⏳.
Присоединяйтесь!
10 минут остается до начала нашей регулярной площадки по миграции на Hadoop 3 ⏳.
Присоединяйтесь!
Дорогие друзья! 🌦
Приглашаем вас на онлайн-митап SberProfi DWH/BigData, который состоится 6 сентября 2022 года.
Начало в 14:30.
👉 Подключиться 👈
Повестка:
1. Матыцин С.: «Фреймворк AT SDP Hadoop: пример использования при тестировании прикладных приложений» (подробнее – в Confluence)
2. Бирзнек М., Савин О.: «Cервис автоматизации XOps: полезный инструментарий для витрин и ML-моделей» (подробнее – в Confluence)
3. Радионов М.: «Тестирования HDFS на нескольких ДЦ» (подробнее – в Confluence)
Вопросы можно будет задать в чате во время выступления докладчиков.
До встречи на митапе!
С уважением,
DWH/BigData 💚
Приглашаем вас на онлайн-митап SberProfi DWH/BigData, который состоится 6 сентября 2022 года.
Начало в 14:30.
👉 Подключиться 👈
Повестка:
1. Матыцин С.: «Фреймворк AT SDP Hadoop: пример использования при тестировании прикладных приложений» (подробнее – в Confluence)
2. Бирзнек М., Савин О.: «Cервис автоматизации XOps: полезный инструментарий для витрин и ML-моделей» (подробнее – в Confluence)
3. Радионов М.: «Тестирования HDFS на нескольких ДЦ» (подробнее – в Confluence)
Вопросы можно будет задать в чате во время выступления докладчиков.
До встречи на митапе!
С уважением,
DWH/BigData 💚
#втренде #Выпуск7
Apache TVM ⎋ повышает эффективность работы ML засчет компилирования под CPU, GPU, FPGA и другие ML-акселераторы, в т.ч. внутри баузеров (edge computing!). Поддерживает random forests/classical ML, memory planning, MISRA-C, Python, ... напоминает TensorFlowXLA ⎋
Apache StreamPark ⎋ - новый фреймворк, позволяющий отделить бизнес-логику от конфигурации Spark и Flink и таким образом увеличить скорость разработки и вывода в ПРОМ.
Visual Data Preparation ⎋ - ETL для неструктурированных данных (картинки, видео), позволяет привести их в анализируемые AI/ML-данные. Под капотом - микросервисная архитектура, Triton Inference Server, Temporal (workflow engine) и Airbyte (коннекторы).
SurrealDB ⎋ - опенсорс-бессерверная база под OLTP-нагрузки с поддержкой аналитических нагрузок. Интересно, как работает их движок.
Data Mesh в Netflix ⎋ в своем тех.блоге описывают платформу данных и то, как подход дата-меш помог прийти к лучшему качеству, создать каталог данных и трэчить линедж.
PS: 3-6 октября проходит ApacheCon ⎋. Доклады - топ!
Apache TVM ⎋ повышает эффективность работы ML засчет компилирования под CPU, GPU, FPGA и другие ML-акселераторы, в т.ч. внутри баузеров (edge computing!). Поддерживает random forests/classical ML, memory planning, MISRA-C, Python, ... напоминает TensorFlowXLA ⎋
Apache StreamPark ⎋ - новый фреймворк, позволяющий отделить бизнес-логику от конфигурации Spark и Flink и таким образом увеличить скорость разработки и вывода в ПРОМ.
Visual Data Preparation ⎋ - ETL для неструктурированных данных (картинки, видео), позволяет привести их в анализируемые AI/ML-данные. Под капотом - микросервисная архитектура, Triton Inference Server, Temporal (workflow engine) и Airbyte (коннекторы).
SurrealDB ⎋ - опенсорс-бессерверная база под OLTP-нагрузки с поддержкой аналитических нагрузок. Интересно, как работает их движок.
Data Mesh в Netflix ⎋ в своем тех.блоге описывают платформу данных и то, как подход дата-меш помог прийти к лучшему качеству, создать каталог данных и трэчить линедж.
PS: 3-6 октября проходит ApacheCon ⎋. Доклады - топ!
OpenXLA Project
Коллеги, что вам может пригодиться в работе, о чем хотелось бы узнать в деталях?
Anonymous Poll
9%
Apache TVM
30%
Apache StreamPark
17%
Visual Data Preparation
13%
SurrealDB
67%
Data Mesh
Коллеги, добрый день! 🐝
В продолжение рубрики #втренде просим вас пройти краткий опрос ⬆️⬆️⬆️.
Спасибо!
В продолжение рубрики #втренде просим вас пройти краткий опрос ⬆️⬆️⬆️.
Спасибо!
SberProfi DWH/BigData
Дорогие друзья! 🌦 Приглашаем вас на онлайн-митап SberProfi DWH/BigData, который состоится 6 сентября 2022 года. Начало в 14:30. 👉 Подключиться 👈 …
Коллеги!
Ровно через 10 минут встречаемся на нашем 29-м митапе ⌛️🏃🏻♂️🏃🏻♀️.
Очень ждем! 🙌🏻
Ровно через 10 минут встречаемся на нашем 29-м митапе ⌛️🏃🏻♂️🏃🏻♀️.
Очень ждем! 🙌🏻
SberProfi DWH/BigData
Коллеги! Ровно через 10 минут встречаемся на нашем 29-м митапе ⌛️🏃🏻♂️🏃🏻♀️. Очень ждем! 🙌🏻
Ссылка на новость на Confluence (материалы + запись встречи).
Дорогие коллеги! 🍁🍂
Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на SDP Hadoop.
Для формирования повестки просим оставлять свои вопросы здесь.
Мероприятие состоится 9 сентября 2022 г. Начало в 15:00.
Повестка:
• Орлов С. (SberData): “Дополнительная коммуникация по смещениям для дат до 1900 года при работе с Hive и Spark”
👉 Ссылка для подключения 👈
Во время выступления спикеров вопросы можно будет задавать в чате.
Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.
Спасибо и до встречи!
С уважением,
команда DWH/BigData 💚
Приглашаем вас посетить регулярную экспертную площадку, посвященную миграции на SDP Hadoop.
Для формирования повестки просим оставлять свои вопросы здесь.
Мероприятие состоится 9 сентября 2022 г. Начало в 15:00.
Повестка:
• Орлов С. (SberData): “Дополнительная коммуникация по смещениям для дат до 1900 года при работе с Hive и Spark”
👉 Ссылка для подключения 👈
Во время выступления спикеров вопросы можно будет задавать в чате.
Обращаем ваше внимание, что мероприятие проводится только для сотрудников Банка, просьба не пересылать информацию внешним участникам.
Спасибо и до встречи!
С уважением,
команда DWH/BigData 💚
Дорогие друзья!
Спешим представить вам подкаст, который команда нашего сообщества выпустила в последний день лета.
Это уже 3-й выпуск комьюнити; его посвятили теме Графовой платформы Сбера.
👉 СЛУШАТЬ ПОДКАСТ 👈
В записи приняли участие: Поздняков Илья (руководитель управления по AI-технологиям, одной из которых является графовая платформа, лидер SberProfi DWH/BigData), Булавин Алексей (владелец продукта), Абрашкина Анна и Козлова Мария (клиенты со стороны УВА и БР, соответственно).
Во время встречи коллеги поговорили об истории создания сервиса, первых клиентах и основной бизнес-задаче.
Сложности и правильные решения в начале пути, высокий CSI сегодня, планы развития, патенты – все это и многое другое спикеры обсудили во время почти часовой беседы.
По традиции модератором подкаста выступил Коньков Иван.
Коллеги, просим оставлять заявки на интересные для вас темы будущих подкастов в комментариях под новостью.
like, share, repost 🙏
С уважением,
команда DWH/BigData 💚
Спешим представить вам подкаст, который команда нашего сообщества выпустила в последний день лета.
Это уже 3-й выпуск комьюнити; его посвятили теме Графовой платформы Сбера.
👉 СЛУШАТЬ ПОДКАСТ 👈
В записи приняли участие: Поздняков Илья (руководитель управления по AI-технологиям, одной из которых является графовая платформа, лидер SberProfi DWH/BigData), Булавин Алексей (владелец продукта), Абрашкина Анна и Козлова Мария (клиенты со стороны УВА и БР, соответственно).
Во время встречи коллеги поговорили об истории создания сервиса, первых клиентах и основной бизнес-задаче.
Сложности и правильные решения в начале пути, высокий CSI сегодня, планы развития, патенты – все это и многое другое спикеры обсудили во время почти часовой беседы.
По традиции модератором подкаста выступил Коньков Иван.
Коллеги, просим оставлять заявки на интересные для вас темы будущих подкастов в комментариях под новостью.
like, share, repost 🙏
С уважением,
команда DWH/BigData 💚
7 сентября самые активные по итогам первого полугодия 2022-го участники комьюнити DWH/BigData получили почетные грамоты от Вице-президента по технологическому развитию Банка Алексея Поддубного 🔥.
Награда нашла своих героев на 10-м этаже 2-го корпуса Даниловского Форта - заветные благодарности "За профессионализм и личный вклад в развитие сообщества DWH/BigData" коллеги получили из рук CDO Банка Бориса Рабиновича 🚀.
За первое полугодие были отмечены следующие коллеги: лидер комьюнити Поздняков Илья, эксперты: Гричик Михаил, Коньков Иван, Орлов Семен и участник сообщества Радионов Максим.
Коллеги, благодарим вас за труды, неравнодушие и желание приносить пользу нашему любимому SberProfi DWH/BigData на протяжении целых 3-х лет!
С надеждой на продолжение доброй традиции,
ваша команда DWH/BigData 💚
Награда нашла своих героев на 10-м этаже 2-го корпуса Даниловского Форта - заветные благодарности "За профессионализм и личный вклад в развитие сообщества DWH/BigData" коллеги получили из рук CDO Банка Бориса Рабиновича 🚀.
За первое полугодие были отмечены следующие коллеги: лидер комьюнити Поздняков Илья, эксперты: Гричик Михаил, Коньков Иван, Орлов Семен и участник сообщества Радионов Максим.
Коллеги, благодарим вас за труды, неравнодушие и желание приносить пользу нашему любимому SberProfi DWH/BigData на протяжении целых 3-х лет!
С надеждой на продолжение доброй традиции,
ваша команда DWH/BigData 💚
Команда, привет! ☀️
Приходите 16 сентября на Demo-Day SberData «Супермаркет данных»!
Это будет не совсем обычная встреча, а настоящий Demo-Birth-Day, ведь 17.09.2019 вышел первый релиз Супермаркета, и Demo-Day будет посвящён дню рождения продукта! 🥳🎈
Вас ждут:
• «инсайды» о создании портала
• краткий экскурс о пройденном пути и что из себя представляет продукт сейчас
• живое Демо
• опыт наших заказчиков о решениях, работающих на Супермаркете
• анонс ближайших важных изменений
Ну и, конечно, в честь дня рождения всех пришедших очно ожидают угощения, сюрпризы и живое общение с нашей командой 🎂.
Приходите поздравить команду продукта и дать ей обратную связь, коллеги будут очень рады вас видеть!
Когда: 16 сентября, 10:00 – 13:00
Очно: Кутузовский проспект 32к1, 6 этаж, переговорная 6.А.13 (корпус Е).
В домене Sigma и сети Интернет: https://meetup.sberbank.ru/event/r/rs3201851d-eff7-4f0b-bf6a-50019c633e40
Зарегистрируйтесь прямо сейчас https://public.oprosso.sberbank.ru/p/fniaucvv
До встречи!
Приходите 16 сентября на Demo-Day SberData «Супермаркет данных»!
Это будет не совсем обычная встреча, а настоящий Demo-Birth-Day, ведь 17.09.2019 вышел первый релиз Супермаркета, и Demo-Day будет посвящён дню рождения продукта! 🥳🎈
Вас ждут:
• «инсайды» о создании портала
• краткий экскурс о пройденном пути и что из себя представляет продукт сейчас
• живое Демо
• опыт наших заказчиков о решениях, работающих на Супермаркете
• анонс ближайших важных изменений
Ну и, конечно, в честь дня рождения всех пришедших очно ожидают угощения, сюрпризы и живое общение с нашей командой 🎂.
Приходите поздравить команду продукта и дать ей обратную связь, коллеги будут очень рады вас видеть!
Когда: 16 сентября, 10:00 – 13:00
Очно: Кутузовский проспект 32к1, 6 этаж, переговорная 6.А.13 (корпус Е).
В домене Sigma и сети Интернет: https://meetup.sberbank.ru/event/r/rs3201851d-eff7-4f0b-bf6a-50019c633e40
Зарегистрируйтесь прямо сейчас https://public.oprosso.sberbank.ru/p/fniaucvv
До встречи!
#втренде #Выпуск8
FineBI ⎋ - Альтернатива Tableau, сделано в Китае. В российском сообществе уже более 700 участников.
Apache Airavata ⎋ - фреймворк, созданный в результате десятка диссертаций коллег американских университетов. Позволяет создавать и управлять дата сайенс-приложениями на разных распределенных платформах вычислений - локальных кластерах, суперкомпьютерах, облаках.
Pipebird ⎋ - SaaS-платформа для обмена данными между компаниями. Может быть интересно для экосистемы и SDX.
Parseable ⎋ - платформа для хранения логов и "observability" для Cloud Native-приложений. Возможно, это решение поможет при миграции наших сервисов в k8s/OS.
subZero ⎋ - написанный на Rust фреймворк, который превратит любую SQL-базу в REST/GraphQL API.
FineBI ⎋ - Альтернатива Tableau, сделано в Китае. В российском сообществе уже более 700 участников.
Apache Airavata ⎋ - фреймворк, созданный в результате десятка диссертаций коллег американских университетов. Позволяет создавать и управлять дата сайенс-приложениями на разных распределенных платформах вычислений - локальных кластерах, суперкомпьютерах, облаках.
Pipebird ⎋ - SaaS-платформа для обмена данными между компаниями. Может быть интересно для экосистемы и SDX.
Parseable ⎋ - платформа для хранения логов и "observability" для Cloud Native-приложений. Возможно, это решение поможет при миграции наших сервисов в k8s/OS.
subZero ⎋ - написанный на Rust фреймворк, который превратит любую SQL-базу в REST/GraphQL API.
Хабр
Tableau vs FineBI. Часть I: особенности платформ и работа с данными
Китайские решения для российского рынка пока являются своего рода terra incognita. Даже если решение уже зарекомендовало себя и у пользователей за пределами Китая, и у аналитиков (а именно так, судя...
👍1
Что вам может пригодиться в работе, о чем хотелось бы узнать в деталях?
Anonymous Poll
55%
FineBI
32%
Apache Airavata
13%
Pipebird
11%
Parseable
45%
subZero
Коллеги, приглашаем вас на масштабное онлайн-мероприятие DIS Group Forum, которое состоится 22 сентября!
Узнайте подробности и зарегистрируйтесь на сайте DIS Group Forum.
Участие бесплатное.
https://www.youtube.com/watch?v=oQFhze1-v_4
Узнайте подробности и зарегистрируйтесь на сайте DIS Group Forum.
Участие бесплатное.
https://www.youtube.com/watch?v=oQFhze1-v_4
YouTube
Приглашение на DIS Group Forum 22 сентября
22 сентября представители Банка России, ВТБ, Райффайзенбанка, МКБ, розничной сети «Магнит», Ингосстраха, М.Видео-Эльдорадо и других крупнейших российских компаний расскажут о секретах успешной цифровой трансформации!
Регистрируйтесь на форум: https://dis…
Регистрируйтесь на форум: https://dis…
8 сентября в нашем SberProfi DWH/BigData произошло маленькое радостное событие - к нам присоединился 1000-й участник, а точнее – участница! 🎉
Тысячную отметку перешагнула Фролкина Дарья из Блока Т (ДИТ «Управление благосостоянием»):
"Я присоединилась к вашему замечательному сообществу, чтобы поскорее наращивать компетенции и не отставать от своих крутых коллег в УДиАК :). А также, чтобы присылать только самые актуальные мемы в наш уютный чатик команды" 🐱.
Страна должна знать своих героев в лицо, поэтому фото Дарьи в DWH-шной футболке прилагается :) 📸.
Тысячную отметку перешагнула Фролкина Дарья из Блока Т (ДИТ «Управление благосостоянием»):
"Я присоединилась к вашему замечательному сообществу, чтобы поскорее наращивать компетенции и не отставать от своих крутых коллег в УДиАК :). А также, чтобы присылать только самые актуальные мемы в наш уютный чатик команды" 🐱.
Страна должна знать своих героев в лицо, поэтому фото Дарьи в DWH-шной футболке прилагается :) 📸.
Всем привет! ☀️
Коллеги, если у вас есть знакомые студенты или преподаватели технических специальностей вузов, просьба поделиться с ними информацией о мероприятии 👇👇👇
Кейс-клуб МИФИ запускает чемпионат МИФИ Opportunity Cup.
Партнёром ИТ-трека выступил Сбер ✅.
Собирай свою команду, решай задачу по анализу и обработке данных и прокачивай полезные навыки!
Регистрация уже началась!
Общий анонс чемпионата: https://vk.com/cmephi?w=wall-128166631_1368
Анонс вебинара:
https://vk.com/cmephi?w=wall-128166631_1389
Канал чемпионата в телеграме:
https://t.me/OpportunityCup2022
Коллеги, если у вас есть знакомые студенты или преподаватели технических специальностей вузов, просьба поделиться с ними информацией о мероприятии 👇👇👇
Кейс-клуб МИФИ запускает чемпионат МИФИ Opportunity Cup.
Партнёром ИТ-трека выступил Сбер ✅.
Собирай свою команду, решай задачу по анализу и обработке данных и прокачивай полезные навыки!
Регистрация уже началась!
Общий анонс чемпионата: https://vk.com/cmephi?w=wall-128166631_1368
Анонс вебинара:
https://vk.com/cmephi?w=wall-128166631_1389
Канал чемпионата в телеграме:
https://t.me/OpportunityCup2022
VK
Кейс-клуб | НИЯУ МИФИ. Пост со стены.
🏆 Opportunity Cup 2022 🏆
Хочешь прокачать навыки за пределами учебной программы в университ... Смотрите полностью ВКонтакте.
Хочешь прокачать навыки за пределами учебной программы в университ... Смотрите полностью ВКонтакте.
Дорогие друзья! 🍂🍁☔
Приглашаем вас на онлайн-митап SberProfi DWH/BigData (30-й по счету 😊), который состоится 26 сентября 2022 года.
Начало в 14:30.
👉 Подключиться 👈
Повестка:
Васильев П. (SberData): Безопасное хранение и использование секретного слова при кодировании и декодировании зашифрованных параметров
Вопросы можно будет задать в чате во время выступления докладчиков.
До встречи на митапе!
С уважением,
DWH/BigData 💚
Приглашаем вас на онлайн-митап SberProfi DWH/BigData (30-й по счету 😊), который состоится 26 сентября 2022 года.
Начало в 14:30.
👉 Подключиться 👈
Повестка:
Васильев П. (SberData): Безопасное хранение и использование секретного слова при кодировании и декодировании зашифрованных параметров
Вопросы можно будет задать в чате во время выступления докладчиков.
До встречи на митапе!
С уважением,
DWH/BigData 💚