Прошла главная конференция AWS - re:invent2021, вот некоторые из новинок:

- AWS Lake Formation – General Availability of Cell-Level Security and Governed Tables with Automatic Compaction
- Announcing AWS Data Exchange for APIs: Find, Subscribe to, and Use Third-party APIs with Consistent Authentication
- Introducing Amazon Redshift Serverless – Run Analytics At Any Scale Without Having to Manage Data Warehouse Infrastructure
- Now in Preview – Amazon SageMaker Studio Lab, a Free Service to Learn and Experiment with ML
- New Storage-Optimized Amazon EC2 Instances (Im4gn and Is4gen) Powered by AWS Graviton2 Processors

И многое другое https://aws.amazon.com/blogs/aws/top-announcements-of-aws-reinvent-2021/

Так как я в gaming, то стоит упомянуть про демо игры The Matrix Awakens, которая создана на Unreal Engine 5 совместно с Epic и The Coalition (как раз где я собирают телеметрию от игр на Unreal Engine). Если вы еще не видели ролик, то можете посмотреть насколько графика ушла вперед и насколько крут UE5.

https://news.xbox.com/en-us/2021/12/10/how-the-coalition-worked-with-epic-to-bring-the-matrix-awakens-to-life-on-xbox-series-xs/

Всем привет!
Завтра (15 декабря) в 21:00 по мск вебинар.
Тема: Введение в докер контейнер, как его создать и где использовать.
Спикер: Дмитрий Браженко.
Дима уже выступал у нас с вебинаром про Airflow и вы просили рассказать его про Docker, так что добро пожаловать:)
ссылка: https://youtu.be/JQCTjz_PzSM

SAP BusinessOjects - это классика BI, они выпустили прошлый патч спустя 7 лет. И вот выпустили еще один, возможно прошло год или два. А вы испульзуете SAP BO? Для меня это идеальный BI инструмент, я на нем вырос в буквальном и переносном смысле🥰


Если вы в банке, то с большой вероятностью у вас еще SAP BO и возможно даже версии 3=)

PS мне кажется мужчина на фото уже давно на пенсии🤣

через 5 минут начинаем:
https://youtu.be/JQCTjz_PzSM

Самая лучшая карьерная консультация https://youtu.be/OS8lt3zC9HM

Погнали работать в такой хороший день🙈

💡Узнайте ответы на часто задаваемые вопросы об аналитике в 5-минутном ролике о платформе Vertica — унифицированном аналитическом хранилище данных:
📍Почему привычные СУБД не годятся для анализа данных?
📍В чем заключается инновационность Vertica?
📍Какую пользу приносит объединение корпоративного хранилища данных и озера данных в одной системе?
📍Подойдет ли #Vertica небольшим предприятиям?
🎤 Рассказывают Евгений Степанов, руководитель направления Vertica в России и СНГ, и Александр Скоробогатов, архитектор решений Vertica в России и СНГ.
Смотрите видео: https://t.me/microfocusrussia/506
Всегда полезный контент, в том числе регулярные анонсы бесплатных вебинаров — на канале Micro Focus Russia & CIS Присоединяйтесь!

PS Пост поддержал приют для собак в Ногинске.

Xbox выпустил первую часть документального фильма The Story of Xbox - https://youtu.be/AJYsA1jXf60

⚡️ Какие навыки должен иметь аналитик для работы с ведущими банками?

Международная консалтинговая компания Accenture выделила ТОП-5 навыков аналитика, которого «оторвут с руками» все ведущие IT-компании 🔥

Сверься с чек-листами в статье, чтобы определить свои сильные стороны и понять, какие качества стоит прокачать, если есть желание развиваться как IT-аналитик в финансовом секторе.

Читай статью по ссылке: https://vk.cc/c91usu

PS пост поддержал приют для собак в Ногинске.

Всем привет завтра (20 декабря) в 21:00 по мск вебинар!
Продолжение (2-я часть) про Data Vault Anchor modeling от Николая Голова.
Ссылка: https://youtu.be/IZw1cB1uDts

Часто, когда мы делаем систему или платформу данных в среде разработки, у нас нет еще реального объема данных для тестирования.

Например в геймдеве это частое явление, когда у нас просто нет продакшн данных до релиза игра и нам нужно сделать нагрузочное тестирование.

Самый популярный вариант - это нагенерить dummy/fake данных и прогнать через data pipelines/transformation/storage/BI access и тп.

И теперь вопрос для знатоков, как вы это делаете? Например, у меня есть Spark и на входе JSON файлы, которые разложены по часам.

Допустим я хочу нагенерить файлов на сотни млн событий и загрузить их в мое озеро и посмотреть как пойдет.

Я нашел пару библиотек на питоне:
- https://github.com/Zac-HD/hypothesis-jsonschema
- https://pythonrepo.com/repo/ghandic-jsf-python-josn

Они вроде умеют брать на вход простую схему JSON и создавать fake данные, но не понятно как контролировать объем. Может есть еще вариантыы

23 декабря в 16:00 (мск) Nedra.Digital приглашает на свой открытый онлайн митап «Данные в разведке и добыче».

Мы IT компания, которая помогает в цифровой трансформации нефтегазовой индустрии в России и мире. Вместе с нашими коллегами из «Газпром нефти» расскажем о ключевых направлениях работы с данными в нефтегазовой отрасли, таких как развитие централизованного хранилища данных, работа с качеством потоковых данных и их верификации, международный open-source стандарт и платформа интеграции данных разведки и добычи OSDU, DataOps, промышленный стандарт WITSML, и многое другое.

Ссылка на регистрацию

https://nedra-event.timepad.ru/event/1876513/

PS Пост поддержал приют для собак.

Всем привет, через 8 минут начинаем:
https://youtu.be/IZw1cB1uDts

Новый (для меня) термин - “metrics store”
Now the metrics store is gaining traction as its own category in the modern data stack. This technology provides some key benefits:

->Metrics become the language of data: You can build metric logic and support various data models all in one place. Metrics are already the language of the business, so why not use this as a model for how you interact with and surface insights?
->Eliminate secondary sources of truth: Consolidate all of your metrics so that all of your metrics are consistent across all upstream and downstream tools.
->Build a knowledge hub around metrics: Add context to your metrics so that the data team isn’t stuck answering the same questions over and over.
->All of the questions and the context is already ready and accessible for data teams and business users.


Статья обсуждает вопрос эволюции аналитики и примеры из индустрии от ведущих компаний.

https://towardsdatascience.com/a-brief-history-of-the-metrics-store-28208ec8f6f1

Microsoft ведёт блог - Data Science Microsoft на medium и часто там публикуются хорошие материалы. В статье Anatomy of a chart рассказывается про базовые принципы визуализации данных, которые для многих уже известны, а если нет, то вы можете узнать про них.

Successful chart design is not a random transition from data to visual. It requires an understanding of important concepts such as pre-attentive attributes, Gestalt principles, and how to apply the Grammar of Graphics. Each component must be handled with care as it is placed on the coordinate system used to systematically create a graph. Each piece has a purpose and plays an important role in the overall story. Applying these core principles helps data designers tell that story and deliver valuable insights to their audience.

Вот у меня была денди со 2го класса и спустя столько лет можно прочитать историю про создание бренда на российском рынке.

Загружаю последний урок модуля 6 - 6.8 про традиционнвй обзор вакансий в мире и мы можем переходить к модулю 7 про Apache Spark.

Кто пройдет модуль 6, может смело добавить к себе в Linkedin такой сертификат, вы его заслужили.