Какую архитектуру данных мне выбрать? — подход Data-инженера (часть 1)
Сегодня данные являются одним из самых ценных активов организаций. Они играют ключевую роль в принятии стратегических решений, оптимизации бизнес-процессов и создании конкурентных преимуществ. В этом контексте инженерия данных представляет собой важнейшую дисциплину, которая охватывает весь процесс: от сбора и преобразования данных до хранения и обеспечения их доступности.
Секреты аналитики
Сегодня данные являются одним из самых ценных активов организаций. Они играют ключевую роль в принятии стратегических решений, оптимизации бизнес-процессов и создании конкурентных преимуществ. В этом контексте инженерия данных представляет собой важнейшую дисциплину, которая охватывает весь процесс: от сбора и преобразования данных до хранения и обеспечения их доступности.
Секреты аналитики
XJProfessor — помощник аналитика: преобразуем форматы данных легко и с улыбкой
При разработке интеграционного взаимодействия труднее всего даётся сопоставление различных форматов данных интегрируемых систем — «маппинг». Для этого нужно проанализировать много форматов, выявить корректные связи между элементами XSD- или JSON-схем и описать правила преобразования. Работа кропотливая, трудозатратная и не самая интересная.
Секреты аналитики
При разработке интеграционного взаимодействия труднее всего даётся сопоставление различных форматов данных интегрируемых систем — «маппинг». Для этого нужно проанализировать много форматов, выявить корректные связи между элементами XSD- или JSON-схем и описать правила преобразования. Работа кропотливая, трудозатратная и не самая интересная.
Секреты аналитики
Какую архитектуру данных мне выбрать? — подход Data-инженера (часть 2)
При выборе архитектуры данных важно понимать, что каждый подход имеет свои достоинства и недостатки. Data Warehouse предлагает более структурированный подход, ориентированный на отчетность, в то время как Data Lake обеспечивает гибкость и возможности для анализа «больших данных». Data Lakehouse устраняет разрыв между этими двумя архитектурами, а Data Mesh предлагает более гибкую и децентрализованную модель управления данными. Выбор правильного подхода должен основываться на потребностях проекта и долгосрочных целях.
Секреты аналитики
При выборе архитектуры данных важно понимать, что каждый подход имеет свои достоинства и недостатки. Data Warehouse предлагает более структурированный подход, ориентированный на отчетность, в то время как Data Lake обеспечивает гибкость и возможности для анализа «больших данных». Data Lakehouse устраняет разрыв между этими двумя архитектурами, а Data Mesh предлагает более гибкую и децентрализованную модель управления данными. Выбор правильного подхода должен основываться на потребностях проекта и долгосрочных целях.
Секреты аналитики
Отказ от рекламы: ограничения методов оценки денежной стоимости
В этой статье автор поделится опытом оценки стоимости отказа от рекламы на примере трех подходов — Stratified Random Sampling, Propensity Score Matching и FAISS, а также выводами, к которым пришли в итоге.
Секреты аналитики
В этой статье автор поделится опытом оценки стоимости отказа от рекламы на примере трех подходов — Stratified Random Sampling, Propensity Score Matching и FAISS, а также выводами, к которым пришли в итоге.
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
Ускоряем работу в Excel
В этом видеоуроке автор наглядно показывает, как можно ускорить свою работу в Microsoft Excel. Вы узнаете, как в большой таблице быстро находить нужную информацию, как правильно производить поиск и как оптимизировать работу в Excel.
0:18 Вступление
0:42 Как ускорить работу в Excel
0:58 Горячие клавиши
2:16 Как в большой таблице находить нужную информацию
3:20 Формулы
5:16 Условное форматирование
6:18 Заключение
Смотреть это видео на youtube: youtu.be/92dZO2Dx88M
Секреты аналитики
В этом видеоуроке автор наглядно показывает, как можно ускорить свою работу в Microsoft Excel. Вы узнаете, как в большой таблице быстро находить нужную информацию, как правильно производить поиск и как оптимизировать работу в Excel.
0:18 Вступление
0:42 Как ускорить работу в Excel
0:58 Горячие клавиши
2:16 Как в большой таблице находить нужную информацию
3:20 Формулы
5:16 Условное форматирование
6:18 Заключение
Смотреть это видео на youtube: youtu.be/92dZO2Dx88M
Секреты аналитики
10 вопросов на позицию специалиста по Data Science
Машинное обучение и наука о данных рассматриваются как основная движущая сила следующей промышленной революции, которая происходит сегодня в мире. Что, в свою очередь, выводит позицию DS/ML-специалистов в топ по востребованности. Более того, даже джуниоры востребованы как никогда.
Однако попасть на эти роли все же непросто. Позиции подразумевают весьма обширный багаж знаний, который не получить в одном университете, требуется усердное самостоятельное обучение.
Секреты аналитики
Машинное обучение и наука о данных рассматриваются как основная движущая сила следующей промышленной революции, которая происходит сегодня в мире. Что, в свою очередь, выводит позицию DS/ML-специалистов в топ по востребованности. Более того, даже джуниоры востребованы как никогда.
Однако попасть на эти роли все же непросто. Позиции подразумевают весьма обширный багаж знаний, который не получить в одном университете, требуется усердное самостоятельное обучение.
Секреты аналитики
Руководство по Apache Spark не для начинающих: оптимизация
В этой статье автор хочет копнуть глубоко и рассмотреть оптимизацию Apache Spark, сосредоточившись на базовых концепциях, оптимизации запросов и соединениях. Конечно же, с примерами
Секреты аналитики
В этой статье автор хочет копнуть глубоко и рассмотреть оптимизацию Apache Spark, сосредоточившись на базовых концепциях, оптимизации запросов и соединениях. Конечно же, с примерами
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
Основы статистики для Data Science
В этом ролике автор делает подробный разбор основ статистики, которые пригодятся для изучения Data Science. Информация приведена в сжатом и доступном варианте, так как в первую очередь необходимо понимание и осознание материала, а не зазубривание сотни теорем.
Смотреть это видео на youtube: youtu.be/lFZqbYm5agk
Секреты аналитики
В этом ролике автор делает подробный разбор основ статистики, которые пригодятся для изучения Data Science. Информация приведена в сжатом и доступном варианте, так как в первую очередь необходимо понимание и осознание материала, а не зазубривание сотни теорем.
Смотреть это видео на youtube: youtu.be/lFZqbYm5agk
Секреты аналитики
Важнейшая модель теории вероятностей
Что объединяет частицу в воде, биржевой курс и кота Барсика, бродящего по району в поисках ларька с рыбой?
Секреты аналитики
Что объединяет частицу в воде, биржевой курс и кота Барсика, бродящего по району в поисках ларька с рыбой?
Секреты аналитики
Кто я: аналитик данных или датасаентист?
В 50% статей в интернете написано, что аналитик данных и датасаентист это одно и тоже, а другие 50% - за абсолютную разницу данных профессий. Одной из ключевых задач аналитика является обработка данных, такая же задача стоит и перед Data Scientist. Давайте разберемся к какой профессии вы действительно относитесь и почему.
Секреты аналитики
В 50% статей в интернете написано, что аналитик данных и датасаентист это одно и тоже, а другие 50% - за абсолютную разницу данных профессий. Одной из ключевых задач аналитика является обработка данных, такая же задача стоит и перед Data Scientist. Давайте разберемся к какой профессии вы действительно относитесь и почему.
Секреты аналитики
Кейс: Как создать сквозную аналитику для e-com на коленке
В идеальной картине мира в компании есть классные разработчики, которые выгружают данные и собственник видит всю аналитику до копеечки. По каждому товару, заказу. Легко считает свою прибыль.
В реальности существует очень мало компаний, которые могут себе такое позволить.
Секреты аналитики
В идеальной картине мира в компании есть классные разработчики, которые выгружают данные и собственник видит всю аналитику до копеечки. По каждому товару, заказу. Легко считает свою прибыль.
В реальности существует очень мало компаний, которые могут себе такое позволить.
Секреты аналитики
Как установить Apache Spark за 10 минут
Установка Apache Spark займет немного времени и позволит изучить этот инструмент еще глубже прямо на вашем компьютере.
Секреты аналитики
Установка Apache Spark займет немного времени и позволит изучить этот инструмент еще глубже прямо на вашем компьютере.
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
Jupyter Notebook – как установить и как пользоваться
В этом видео вы узнаете о Jupyter Notebook — это один из самых лучших инструментов для Data Science и Machine Learning. Автор разберет, как его установить и как начать им пользоваться.
00:00 о Jupyter Notebook
00:50 Установка Anaconda
03:06 Как запустить Jupyter Notebook
06:02 Создаем первый ноутбук
15:45 Использование внешних файлов
17:24 Закрытие и перезапуск ноутбука
21:17 Пример готового ноутбука
Смотреть это видео на youtube: youtu.be/bfCfBuIhlB8
Секреты аналитики
В этом видео вы узнаете о Jupyter Notebook — это один из самых лучших инструментов для Data Science и Machine Learning. Автор разберет, как его установить и как начать им пользоваться.
00:00 о Jupyter Notebook
00:50 Установка Anaconda
03:06 Как запустить Jupyter Notebook
06:02 Создаем первый ноутбук
15:45 Использование внешних файлов
17:24 Закрытие и перезапуск ноутбука
21:17 Пример готового ноутбука
Смотреть это видео на youtube: youtu.be/bfCfBuIhlB8
Секреты аналитики
Data Science до Data Science: как эволюционировала работа с данными
Систематизировать данные стали в 17-м веке, понятие Data Science ввели 50 лет назад, а популярность к датасайентистам пришла лишь в 2010-е. Но знания из данных извлекали на протяжении всей человеческой истории — в этой статье рассказываем, как именно.
Секреты аналитики
Систематизировать данные стали в 17-м веке, понятие Data Science ввели 50 лет назад, а популярность к датасайентистам пришла лишь в 2010-е. Но знания из данных извлекали на протяжении всей человеческой истории — в этой статье рассказываем, как именно.
Секреты аналитики
Книга: «Data mesh в действии»
Потребность эффективно хранить большие объемы данных и обращаться к ним стала одной из ключевых потребностей любого бизнеса. Сетка данных (data mesh) — это новый способ децентрализовать управление данными, радикально повышая их безопасность и доступность.
Секреты аналитики
Потребность эффективно хранить большие объемы данных и обращаться к ним стала одной из ключевых потребностей любого бизнеса. Сетка данных (data mesh) — это новый способ децентрализовать управление данными, радикально повышая их безопасность и доступность.
Секреты аналитики
Сколько денег вы теряете на инцидентах
В этом материале автор разберет, зачем и как считать потери на инцидентах, можно ли делать это автоматически и как продать ценность расчётов бизнесу.
Секреты аналитики
В этом материале автор разберет, зачем и как считать потери на инцидентах, можно ли делать это автоматически и как продать ценность расчётов бизнесу.
Секреты аналитики
Кто такой Data Engineer?
В этой статье вы узнаете кто такой Data Engineer. А также какие бывают направления и куда можно посмотреть, чтобы развиваться в дата-инженерии.
Секреты аналитики
В этой статье вы узнаете кто такой Data Engineer. А также какие бывают направления и куда можно посмотреть, чтобы развиваться в дата-инженерии.
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
Основы Power Query: подключение Excel
В этом видеоуроке автор подробно разбирает процесс подключения к файлу Excel при помощи Power Query. После создания подключения вы сможете преобразовать данные и импортировать их на лист Excel.
Смотреть это видео на youtube: youtu.be/JfChFjhuaNY
Секреты аналитики
В этом видеоуроке автор подробно разбирает процесс подключения к файлу Excel при помощи Power Query. После создания подключения вы сможете преобразовать данные и импортировать их на лист Excel.
Смотреть это видео на youtube: youtu.be/JfChFjhuaNY
Секреты аналитики
Как мы построили сервис, который помогает сократить поиск видео контента в огромной базе данных
Цель этой статьи — подробно рассказать о процессе создания сервиса по поиску видеоконтента с помощью текста, решениях, которые команда автора приняла на каждом этапе, и о том, какие технологии использовала. Вы узнаете, как сложные технические задачи могут быть решены простыми и эффективными методами.
Секреты аналитики
Цель этой статьи — подробно рассказать о процессе создания сервиса по поиску видеоконтента с помощью текста, решениях, которые команда автора приняла на каждом этапе, и о том, какие технологии использовала. Вы узнаете, как сложные технические задачи могут быть решены простыми и эффективными методами.
Секреты аналитики
8 советов по эффективной визуализации данных
Основная цель науки о данных — повысить ценность бизнеса. Большинство людей не понимают данные, и мы должны показать их. При эффективном выполнении визуализация может помочь нам раскрыть идеи, выявить тенденции и донести какой-то смысл. В этой статье автор дает 8 советов о том, как создать красивую, интерпретируемую и эффективную визуализацию данных.
Секреты аналитики
Основная цель науки о данных — повысить ценность бизнеса. Большинство людей не понимают данные, и мы должны показать их. При эффективном выполнении визуализация может помочь нам раскрыть идеи, выявить тенденции и донести какой-то смысл. В этой статье автор дает 8 советов о том, как создать красивую, интерпретируемую и эффективную визуализацию данных.
Секреты аналитики
Оптимизация метрик веба через аудит в Google Tag Manager: реальность или вымысел?
В этой статье автор расскажет, как она пробовала оптимизировать метрики веба с помощью аудита в GTM, и предоставит план эксперимента на случай, если вы решите провернуть это у себя.
Секреты аналитики
В этой статье автор расскажет, как она пробовала оптимизировать метрики веба с помощью аудита в GTM, и предоставит план эксперимента на случай, если вы решите провернуть это у себя.
Секреты аналитики