Важное сообщение про vulnerability log4j. Многие системы для аналитики, больших данных и инжиниинга данных используют этот пакет:

Yesterday, December 9, 2021, a very serious vulnerability in the popular Java-based logging package Log4j was disclosed. This vulnerability allows an attacker to execute code on a remote server; a so-called Remote Code Execution (RCE). Because of the widespread use of Java and Log4j this is likely one of the most serious vulnerabilities on the Internet since both Heartbleed and ShellShock.

Больше информации: https://blog.cloudflare.com/inside-the-log4j2-vulnerability-cve-2021-44228/

Сейчас все облачные вендоры засуетились и пишут письма своим клиентам о том, что они знают проблему и делают патч. Если у вас Hadoop, Hive, Spark или еще чего использует этот пакет, отличная возможность проявить себя и прикрыть угрозу.

В этом уроке мы узнаем про термин Операционная Аналитика, и чем он отличается от традиционной аналитики. Заодно мы посмотрим на три самых популярных решения на рынке – Splunk, Azure Data Explorer и Kusto.

Если кратко, то такие системы и решения не являются главными для Инженера Данных или BI инженера. Для BI инженера операционная аналитика –это про еще один источник данных, с которым придется работать.

А для инженера данных, решения операционной аналитики могут быть полезны по многим причинам, мы можем собирать машинные данные (логи) о работе наших data pipelines, ETL, Big Data и тп, мы можем забирать данные из решений операционной аналитики и загружать в хранилище данных или озеро. А иногда, нас просят создать NoSQL решение данных на основе Elastic Stack. (меня никогда не просили, но вдруг!)

В этом видео вы узнаете:
- Что такое операционная аналитика и ее роль в решениях BI/DW/BigData
- Основы и историю Splunk- Про Azure Data Explorer и Kusto
- Про ElasticStack
- Основные кейсы использования операционной аналитики и примеры из опыта 

На лабораторной работе я покажу как получить Splunk, ADX и ElasticSearch.

Дополнительные материалы:
- [Вебинар Data Learn про Azure Data Explorer](https://youtu.be/CAdkL9vM6Do)
- [Elastic Search Tutorial]( https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started.html)
- [Splunk Tutorial]( https://docs.splunk.com/Documentation/Splunk/8.2.3/SearchTutorial/WelcometotheSearchTutorial)
- [Splunk уходит из России (совсем)](https://habr.com/ru/post/441004/)
- [Год без Splunk — как американская компания изменила рынок аналитики машинных данных в РФ и кого оставила после себя](https://habr.com/ru/post/484904/)
- [Splunk — общее описание платформы, базовые особенности установки и архитектуры]( https://habr.com/ru/company/tssolution/blog/323814/)
- [Quickstart: Create an Azure Data Explorer cluster and database](https://docs.microsoft.com/en-us/azure/data-explorer/create-cluster-database-portal)
- [1.Elastic stack: анализ security логов. Введение](https://habr.com/ru/company/tssolution/blog/480570/)
- [2. Elastic stack: анализ security логов. Logstash](https://habr.com/ru/company/tssolution/blog/481960/)
- [3. Elastic stack: анализ security логов. Дашборды](https://habr.com/ru/company/tssolution/blog/482054/)

Мы тут обсуждали новый продукт хранилищ данных, который уже наделал шуму - Firebolt. Можете посмотреть интересный доклад с конференции Coalesce - Firebolt Deep Dive - Next generation performance with dbt (Premier Sponsor)

Через 7 минут начинаем:
https://youtu.be/TupXHhdSrhg

Прошла главная конференция AWS - re:invent2021, вот некоторые из новинок:

- AWS Lake Formation – General Availability of Cell-Level Security and Governed Tables with Automatic Compaction
- Announcing AWS Data Exchange for APIs: Find, Subscribe to, and Use Third-party APIs with Consistent Authentication
- Introducing Amazon Redshift Serverless – Run Analytics At Any Scale Without Having to Manage Data Warehouse Infrastructure
- Now in Preview – Amazon SageMaker Studio Lab, a Free Service to Learn and Experiment with ML
- New Storage-Optimized Amazon EC2 Instances (Im4gn and Is4gen) Powered by AWS Graviton2 Processors

И многое другое https://aws.amazon.com/blogs/aws/top-announcements-of-aws-reinvent-2021/

Так как я в gaming, то стоит упомянуть про демо игры The Matrix Awakens, которая создана на Unreal Engine 5 совместно с Epic и The Coalition (как раз где я собирают телеметрию от игр на Unreal Engine). Если вы еще не видели ролик, то можете посмотреть насколько графика ушла вперед и насколько крут UE5.

https://news.xbox.com/en-us/2021/12/10/how-the-coalition-worked-with-epic-to-bring-the-matrix-awakens-to-life-on-xbox-series-xs/

Всем привет!
Завтра (15 декабря) в 21:00 по мск вебинар.
Тема: Введение в докер контейнер, как его создать и где использовать.
Спикер: Дмитрий Браженко.
Дима уже выступал у нас с вебинаром про Airflow и вы просили рассказать его про Docker, так что добро пожаловать:)
ссылка: https://youtu.be/JQCTjz_PzSM

SAP BusinessOjects - это классика BI, они выпустили прошлый патч спустя 7 лет. И вот выпустили еще один, возможно прошло год или два. А вы испульзуете SAP BO? Для меня это идеальный BI инструмент, я на нем вырос в буквальном и переносном смысле🥰


Если вы в банке, то с большой вероятностью у вас еще SAP BO и возможно даже версии 3=)

PS мне кажется мужчина на фото уже давно на пенсии🤣

через 5 минут начинаем:
https://youtu.be/JQCTjz_PzSM

Самая лучшая карьерная консультация https://youtu.be/OS8lt3zC9HM

Погнали работать в такой хороший день🙈

💡Узнайте ответы на часто задаваемые вопросы об аналитике в 5-минутном ролике о платформе Vertica — унифицированном аналитическом хранилище данных:
📍Почему привычные СУБД не годятся для анализа данных?
📍В чем заключается инновационность Vertica?
📍Какую пользу приносит объединение корпоративного хранилища данных и озера данных в одной системе?
📍Подойдет ли #Vertica небольшим предприятиям?
🎤 Рассказывают Евгений Степанов, руководитель направления Vertica в России и СНГ, и Александр Скоробогатов, архитектор решений Vertica в России и СНГ.
Смотрите видео: https://t.me/microfocusrussia/506
Всегда полезный контент, в том числе регулярные анонсы бесплатных вебинаров — на канале Micro Focus Russia & CIS Присоединяйтесь!

PS Пост поддержал приют для собак в Ногинске.

Xbox выпустил первую часть документального фильма The Story of Xbox - https://youtu.be/AJYsA1jXf60

⚡️ Какие навыки должен иметь аналитик для работы с ведущими банками?

Международная консалтинговая компания Accenture выделила ТОП-5 навыков аналитика, которого «оторвут с руками» все ведущие IT-компании 🔥

Сверься с чек-листами в статье, чтобы определить свои сильные стороны и понять, какие качества стоит прокачать, если есть желание развиваться как IT-аналитик в финансовом секторе.

Читай статью по ссылке: https://vk.cc/c91usu

PS пост поддержал приют для собак в Ногинске.

Всем привет завтра (20 декабря) в 21:00 по мск вебинар!
Продолжение (2-я часть) про Data Vault Anchor modeling от Николая Голова.
Ссылка: https://youtu.be/IZw1cB1uDts

Часто, когда мы делаем систему или платформу данных в среде разработки, у нас нет еще реального объема данных для тестирования.

Например в геймдеве это частое явление, когда у нас просто нет продакшн данных до релиза игра и нам нужно сделать нагрузочное тестирование.

Самый популярный вариант - это нагенерить dummy/fake данных и прогнать через data pipelines/transformation/storage/BI access и тп.

И теперь вопрос для знатоков, как вы это делаете? Например, у меня есть Spark и на входе JSON файлы, которые разложены по часам.

Допустим я хочу нагенерить файлов на сотни млн событий и загрузить их в мое озеро и посмотреть как пойдет.

Я нашел пару библиотек на питоне:
- https://github.com/Zac-HD/hypothesis-jsonschema
- https://pythonrepo.com/repo/ghandic-jsf-python-josn

Они вроде умеют брать на вход простую схему JSON и создавать fake данные, но не понятно как контролировать объем. Может есть еще вариантыы

23 декабря в 16:00 (мск) Nedra.Digital приглашает на свой открытый онлайн митап «Данные в разведке и добыче».

Мы IT компания, которая помогает в цифровой трансформации нефтегазовой индустрии в России и мире. Вместе с нашими коллегами из «Газпром нефти» расскажем о ключевых направлениях работы с данными в нефтегазовой отрасли, таких как развитие централизованного хранилища данных, работа с качеством потоковых данных и их верификации, международный open-source стандарт и платформа интеграции данных разведки и добычи OSDU, DataOps, промышленный стандарт WITSML, и многое другое.

Ссылка на регистрацию

https://nedra-event.timepad.ru/event/1876513/

PS Пост поддержал приют для собак.