Data Monsters
271 members
169 photos
9 videos
79 links
Data Monsters – это регулярные ивенты, вебинары, новости и полезности обо всем, что связано с данными📈📐📊

Интересно и без воды о data engineering, data architecture, analytics, machine learning и data science.

Для руководителей, инженеров и аналитиков.
Download Telegram
to view and join the conversation
Привет. Рады познакомить вас с нашим первым спикером.

Встречайте! Надежда Заблуда, BI Developer в VisiQuate.

Более 6 лет Надя работает с BI-платформами и знает «как их готовить».

В своём докладе «Tableau vs Microstrategy» Надежда сравнит два популярных инструмента для визуализации.

Мы узнаем, чем они отличаются друг от друга, поговорим о Gartner's Quadrant и об опыте использования обоих тулов «в полях».

Ждём вас 25 июня на Data Monsters Online.

Будет очень интересно.

Билеты➡️ https://datamonsters-online.ticketforevent.com/

Stay tuned #всебудетбигдато
Мы активно готовимся к Data Monsters, ждём встречи с вами и не можем удержаться, чтобы не поделиться полезной информацией.

Недавно мы рассказывали об опыте компании Uber в оптимизации их озера данных с помощью внутренней разработки Hudi.

И, продолжая тему, хотим поговорить о конкуренте Hudi - DeltaLake от Databricks.

По ссылке в статье вы найдёте ретроспективу развития DeltaLake за этот год.

А ещё там множество полезных ссылок на видео и статьи, раскрывающие всю мощь этого инструмента⬇️

https://databricks.com/blog/2020/06/18/time-traveling-with-delta-lake-a-retrospective-of-the-last-year.html
Друзья, знакомьтесь с нашим вторым спикером на Data Monsters Online.

Руслан Золотухин — BI Engineer в Jabil, Kharkiv Power BI User Group Leader, Advisor в community.powerbi.com, MCSA: BI Reporting, Microsoft Certified Trainer, Power BI Trainer & Consultant и просто хороший человек.

На Data Monsters Руслан выступит с докладом “User Case of Migration from MicroStrategy to Power BI”.

В ходе встречи мы остановимся на описании юзкейсов при переносе отчетов из MicroStrategy в Power BI, поговорим о миграционной стратегии и узнаем о функциях MicroStrategy, которые пугают всех BI девелоперов.

Присоединяйтесь к нам 25 июня в 19.00.

Регистрация по ссылке https://datamonsters-online.ticketforevent.com/
Data Monsters Online уже завтра и у нас солдаут!

На встрече сравним Tableau и MicroStrategy, а затем поговорим о переносе отчетов из MicroStrategy в Power BI.

Надеемся, что ссылки в этот раз нас не подвели, и все получили приглашения на наш ивент по электронной почте.

Но! Если вдруг этого не случилось и вы не знаете куда подключаться завтра — напишите нам (Виталик любит новых друзей):
vsamarskyi@greenm.io
https://t.me/Gyromonotron

Мы обязательно поможем!

Важно!
В прошлый раз на наш вебинар «не дошла» треть зарегистрировавшихся. Мы решили, что будет честно дать возможность послушать тем, кто не успел, но очень хочет. Поэтому, если будут свободные места, то в 19:15 мы шарим ссылку в нашем Tелеграм-канале для всех желающих.

Очень важно! Не сильно опаздывайте. Лучше залогиньтесь, отключите звук и сверните окно пока, работаете или занимаетесь своими делами, иначе кто-то сделает это за вас😁
Привет!

Как и обещали, делимся ссылкой на наш вебинар https://greenm.zoom.us/webinar/register/WN_XQfDWzd7Q0G2u2hxw3DyCA
Внимание! Ссылка работает! Присоединяйтесь https://greenm.zoom.us/webinar/register/WN_XQfDWzd7Q0G2u2hxw3DyCA
Привет!

На прошлой неделе прошел наш десятый по счету митап Data Monsters и мы не собираемся останавливаться. Впереди нас ждет еще много встреч и крутых data-историй.

Спасибо, что приходите и всегда задаете много вопросов. Это круто.

Как и обещали, делимся записью вебинара и презентациями спикеров.

Приятного просмотра и до встречи на следующих Data Monsters.

Запись вебинара https://www.youtube.com/watch?v=Axc5kQHUtNQ&t=1s

Презентации⬇️

▪️Надежда Заблуда, BI Developer в VisiQuate
“Tableau vs Microstrategy”

https://www.slideshare.net/GreenMrocks/tableau-vs-microstrategy

▪️Руслан Золотухин, Power BI Trainer & Consultant
“User Case of Migration from MicroStrategy to Power BI”

https://www.slideshare.net/GreenMrocks/user-case-of-migration-from-microstrategy-to-power-bi
А вы верите, что можно оценить вероятность попадания мяча в ворота во время футбольного матча?

Будущее наступило и машинное обучение на основе собранных данных помогает рассчитать шансы игрока забить гол, подобрать идеальные ракурсы камеры для трансляции, а также понять потенциал игроков и команд в течение игры или сезона.

Делимся интересной статьей о технологии Bundesliga Match Facts xGoals на основе AWS, созданной для генерации футбольного контента и расширения взаимодействия с болельщиками.

https://aws.amazon.com/ru/blogs/machine-learning/the-tech-behind-the-bundesliga-match-facts-xgoals-how-machine-learning-is-driving-data-driven-insights-in-soccer/
Согласно последнему опросу Cloud Native Computing Foundation (CNCF), 78% из всех опрошенных компаний используют Kubernetes для управления контейнерами.

А по подсчетам CloudFid в CloudF, из 109 инструментов для управления контейнерами, 89% используют различные версии Kubernetes.

Это говорит о растущей популярности K8s.

Каждое приложение имеет свою уникальную архитектуру и может иметь свои нюансы переноса в эту систему.

Несмотря на это, можно выделить три основные области процесса: подготовка приложения под K8s, установка CI/CD процесса, настройка кластера Kubernetes.

Илья Савельев, Software Architect в GreenM, подготовил статью о трех основных этапах процесса миграции, которые будут типичными для любого приложения.

Эта статья вошла в топ Medium, и мы с радостью делимся ею с вами
https://greenm.io/how-to-migrate-your-app-to-kubernetes/
Привет!

Осенью планируем провести очередную встречу Data Monsters.
В этот раз хотим попробовать комбинированный формат — онлайн + немного офлайн у нас в офисе. Будет интересно.

И мы всегда рады новым знакомствам и расширению нашего Data community. Приглашаем начинающих и опытных спикеров делиться своими data-историями на нашем атмосферном ивенте.

Если у вас есть доклад, или только мысли о докладе — пишите нам, поможем оформить идеи в интересное выступление.

https://t.me/gyromonotron
hello@greenm.io
facebook.com/greenmrocks
Hey hey!
На связи Data Monsters и это значит, что вот-вот, совсем скоро, еще чуть-чуть и мы снова встретимся на нашем онлайн ивенте.

22 октября приглашаем вас присоединиться к обсуждению интересных data-тем.
В этот раз Монстры будут сборно-обзорные с настоящими жизненными историями, и конечно, не менее интересные, чем все десять раз до этого.

Итак, о чем будем говорить⬇️
Irja Straus, Senior Quality Control Analyst в Infobip, Хорватия, поделится своим опытом создания тестовой стратегией ПО с упором на данные и информацию (язык доклада — английский).

Dmitry Anoshin, Data Engineer в Amazon, Канада, расскажет, чему научился за 5 лет работы в Amazon и нюансах работы на западном рынке.

В этот раз вы сможете по ссылке подключится к нашему вебинару в Zoom (количество мест ограничено сотней человек), а также посмотреть прямую трансляцию нашего ивента на YouTube.

Когда: 22 октября, 19.00-20.30
Где: Online
Стоимость: бесплатно.
Ссылка на вебинар в Zoom https://is.gd/H7tcRm
Знакомьтесь, Irja Straus наш первый спикер на Data Monsters.

Ирья Senior Quality Control Analyst в международной IT-компании Infobip. И она по-настоящему увлечена тестированием.

Ирье нравится изучать человеческую и деловую стороны программного обеспечения, экспериментировать с продуктами, чтобы исследовать риски и находить важные ошибки.

В докладе Ирьи «Test Strategy in a Data-Driven World» речь пойдет о тестовой стратегией с упором на данные и информацию.

Ирья расскажет нам, какие ключевые данные необходимы для создания эффективной стратегии тестирования в конкретном контексте, и объяснит связь между критериями качества и риском.
И, наконец, мы увидим, какую информацию можем получить в результате тестирования и как это может способствовать дальнейшему развитию нашей стратегии.

Регистрация на вебинар по ссылке https://is.gd/H7tcRm

До встречи на Data Monsters United!
Встречайте, наш второй спикер на Data Monsters United, Dmitry Anoshin.

Дмитрий почти 5 лет работает Data Engineer в Amazon в Канаде и США. И сейчас он создает аналитические решения для Amazon Marketplace (да, именно для главной страницы amazon.com) в департаменте Customer Behaviour Analytics в Сиэтле.

В своем докладе «Чему можно научиться за 5 лет в Амазоне?» Дмитрий расскажет про свои проекты и решения, которые использовал, а также поднимет такую важную тему, как взаимодействие с Product Managers, Science teams и SDE (разработчики ПО). Если вам интересно, какие решения используются в Amazon, что востребовано на западном рынке и куда развиваться, то не пропустите доклад.

Регистрация на вебинар по ссылке https://is.gd/H7tcRm

Ждем вас на Data Monsters United!
Мы уже немного рассказали и познакомили вас с Dmitry Anoshin, нашим вторым спикером на Data Monsters United.
Но это еще не все. Кроме работы в Amazon, Дмитрий еще много чего успевает. Думаем, вам будет интересно (и даже полезно) узнать о нашем докладчике больше.

Сначала немного предыстории.
До Amazon Дмитрий работал в Alexa AI и помогал scientists делать голосовой помощник Alexa умней (все это было в самом Кембридже, который через речку от Бостона). А до Alexa, занимался модернизацией аналитического решения в Ванкувере (миграция в облако = модернизация аналитики).

Сейчас Дмитрий пропагандирует современные аналитические решения и облачные вычисления (cloud computing). Он часто выступает на конференциях в Северной Америке и написал шесть (шесть!) книг про аналитические решения https://www.amazon.com/Dmitry-Anoshin/e/B01A5PVT2M.

Также Дмитрий преподает cloud computing в University of Victoria.
А последние несколько лет у него было хобби - создание консалтинг компании Rock Your Data https://rockyourdata.cloud/, где он мог бы предлагать услуги по модернизации аналитических решений с помощью облачных сервисов для Канадских компаний. Идея не очень взлетела, зато принесла много опыта.

Сейчас Дмитрий создает бесплатный ресурс по обучению с нуля профессиям Data Engineer, Analytics Engineer, BI Engineer на русском языке - https://www.datalearn.ru/ (регистрируйтесь), где хочет любому желающему помочь освоить профессию и научить работать с данными.

Курс будет полезен не только инженерам, но и аналитикам, рекрутерам и менеджерам. На курсе вы получите знания, которые востребованы по всему миру и познакомитесь с самыми современные аналитическими решения и поймете, почему компании так много времени и сил тратят на сбор и анализ данных.

А еще у Дмитрий ведет канал в Telegram https://t.me/rockyourdata, посвященный инжинирингу и аналитике данных (обязательно посмотрите, там много крутых постов).

И если вам интересно, как Дмитрий докатился до такой жизни, то он подробно расписал это на хабре https://habr.com/ru/post/498988/, где рассказал про переезд.

Фух! Вот такой наш второй спикер. Уже ждем его доклад на Data Monsters United.

Регистрация на вебинар по ссылке https://is.gd/H7tcRm
Привет, друзья!

Просто хотим вам напомнить, что уже завтра в 19.00 мы ждем вас на Data Monsters United.

Традиционно у нас будет два крутых спикера, два интересных доклада, ответы на вопросы, и вечер в приятной компании.

В этот раз поговорим о создании тестовой стратегии с упором на данные и информацию, а также узнаем чему можно научится в Amazon за пять лет, какие решения используются в этой компании и что востребовано на западном рынке.

До встречи на Data Monsters United.
Друзья, у нас закончились места для регистрации на вебинар в Zoom.

И всех кто не успел/забыл/не знал мы приглашаем смотреть прямую трансляцию ивента на нашем YouTube канале https://cutt.ly/zgxW8u6

До встречи завтра в 19.00 на Data Monsters United.
Вчера мы провели наш первый интернациональный ивент Data Monsters United.

Irja Straus, спикер из Хорватии, поделилась опытом создания тестовой стратегии с упором на данные и информацию.

А Dmitry Anoshin, спикер из Канады, рассказал чему научился за 5 лет работы в Amazon и много интересного о работе на западном рынке.

Это был самый длинный митап за всю историю Data Monsters. Не все вопросы мы успели задать нашим докладчикам, но они их уже получили, отвечают на них (скоро публикуем ответы) и выбирают самые интересные, за которые мы отправим призы.

И если вы вчера не смогли присоединится к нам, то можете посмотреть запись прямой трансляции на YouTube https://www.youtube.com/watch?v=q5K-iUFg-kA

Спасибо, что были с нами и до новых встреч на Data Monsters😉
Привет, друзья!

Держите первую часть ответов на вопросы, которые были заданы на Data Monsters United нашему второму спикеру Дмитрию Аношину⬇️

На чем были реализованы Data Marts (Sputnik project)? (Anna Linchak)
✔️Sputnik - это в первую очередь хранилище данных на Redshift. Использовал новые ноды RA3, которые позволяют хранить данные в S3 (файловое хранилище AWS) и использовать EC2 RA3 виртуальные машины для computing. По сути, Redshift копирует поведение Snowflake. Для ETL - Matillion ETL. Размер хранилища, где-то 170Тб. Есть еще элементы озера данных, когда данные хранятся в S3 в формате Parquet. Для визуализации Tableau и custom решения, которые создают SDE+Front End.

А после ML Layer куда данные попадают? (Никита Симоненко)
✔️Есть разные сервисы. Некоторые данные идут в платформу A/B тестов. Другие данные пишутся обратно в профайл клиента (cutomser perception score), еще кейс, когда данные отправляются в решение campaign management и формирует лист для рассылки. Также есть внутренние порталы для внутреннего пользования, например маркетологи могут смотреть насколько эффективны компании, могут проверять гипотезы и смотреть разные разрезы, прогнозировать и тп.

Была ли выделенная роль Data Quality Engineer или эту работу выполняет Data Engineer? (Anna Linchak)
✔️В больших и скучных enterprise (insurance, finance) есть. Там и data steward и тп. Но в Amazon, Google, Facebook and so on, это выполняют data engineer. Data pipeline это как продукт, мы должны производить хорошие и качественные продукты.

Можно пару слов про способы документирования реквайментсов при переписывании репортов? Как правило, большинство проблем с отчетами заключаются в формализации и описании логики метрик, КПИ, Дашборда. (Valeriy Zinovjev)
✔️В Амазон сейчас активно используется https://quip.com/. Это такой документооборот, где можно писать идеи, разные документы. Стандартов нет. Компании двигается очень быстро и использует подход 2 pizza teams (маленькие индивидуальные команды), поэтому все индивидуально. Кто как может, чтобы угодить бизнесу)
---
Вторая часть ответов будет позже.
И если вы посмотрели запись прямой трансляции вебинара и у вас появились вопросы к нашим спикерам, вы можете прислать их на почту tkravtsova@greenm.io