Какую архитектуру данных мне выбрать? — подход Data-инженера (часть 2)

При выборе архитектуры данных важно понимать, что каждый подход имеет свои достоинства и недостатки. Data Warehouse предлагает более структурированный подход, ориентированный на отчетность, в то время как Data Lake обеспечивает гибкость и возможности для анализа «больших данных». Data Lakehouse устраняет разрыв между этими двумя архитектурами, а Data Mesh предлагает более гибкую и децентрализованную модель управления данными. Выбор правильного подхода должен основываться на потребностях проекта и долгосрочных целях.

Секреты аналитики

Отказ от рекламы: ограничения методов оценки денежной стоимости

В этой статье автор поделится опытом оценки стоимости отказа от рекламы на примере трех подходов — Stratified Random Sampling, Propensity Score Matching и FAISS, а также выводами, к которым пришли в итоге.

Секреты аналитики

Ускоряем работу в Excel

В этом видеоуроке автор наглядно показывает, как можно ускорить свою работу в Microsoft Excel. Вы узнаете, как в большой таблице быстро находить нужную информацию, как правильно производить поиск и как оптимизировать работу в Excel.

0:18 Вступление
0:42 Как ускорить работу в Excel
0:58 Горячие клавиши
2:16 Как в большой таблице находить нужную информацию
3:20 Формулы
5:16 Условное форматирование
6:18 Заключение

Смотреть это видео на youtube: youtu.be/92dZO2Dx88M

Секреты аналитики

10 вопросов на позицию специалиста по Data Science

Машинное обучение и наука о данных рассматриваются как основная движущая сила следующей промышленной революции, которая происходит сегодня в мире. Что, в свою очередь, выводит позицию DS/ML-специалистов в топ по востребованности. Более того, даже джуниоры востребованы как никогда.

Однако попасть на эти роли все же непросто. Позиции подразумевают весьма обширный багаж знаний, который не получить в одном университете, требуется усердное самостоятельное обучение.

Секреты аналитики

Руководство по Apache Spark не для начинающих: оптимизация

В этой статье автор хочет копнуть глубоко и рассмотреть оптимизацию Apache Spark, сосредоточившись на базовых концепциях, оптимизации запросов и соединениях. Конечно же, с примерами

Секреты аналитики

Основы статистики для Data Science

В этом ролике автор делает подробный разбор основ статистики, которые пригодятся для изучения Data Science. Информация приведена в сжатом и доступном варианте, так как в первую очередь необходимо понимание и осознание материала, а не зазубривание сотни теорем.

Смотреть это видео на youtube: youtu.be/lFZqbYm5agk

Секреты аналитики

Важнейшая модель теории вероятностей

Что объединяет частицу в воде, биржевой курс и кота Барсика, бродящего по району в поисках ларька с рыбой?

Секреты аналитики

Кто я: аналитик данных или датасаентист?

В 50% статей в интернете написано, что аналитик данных и датасаентист это одно и тоже, а другие 50% - за абсолютную разницу данных профессий. Одной из ключевых задач аналитика является обработка данных, такая же задача стоит и перед Data Scientist. Давайте разберемся к какой профессии вы действительно относитесь и почему.

Секреты аналитики

Кейс: Как создать сквозную аналитику для e-com на коленке

В идеальной картине мира в компании есть классные разработчики, которые выгружают данные и собственник видит всю аналитику до копеечки. По каждому товару, заказу. Легко считает свою прибыль.

В реальности существует очень мало компаний, которые могут себе такое позволить.

Секреты аналитики

Как установить Apache Spark за 10 минут

Установка Apache Spark займет немного времени и позволит изучить этот инструмент еще глубже прямо на вашем компьютере.

Секреты аналитики

Jupyter Notebook – как установить и как пользоваться

В этом видео вы узнаете о Jupyter Notebook — это один из самых лучших инструментов для Data Science и Machine Learning. Автор разберет, как его установить и как начать им пользоваться.

00:00 о Jupyter Notebook
00:50 Установка Anaconda
03:06 Как запустить Jupyter Notebook
06:02 Создаем первый ноутбук
15:45 Использование внешних файлов
17:24 Закрытие и перезапуск ноутбука
21:17 Пример готового ноутбука

Смотреть это видео на youtube: youtu.be/bfCfBuIhlB8

Секреты аналитики

Data Science до Data Science: как эволюционировала работа с данными

Систематизировать данные стали в 17-м веке, понятие Data Science ввели 50 лет назад, а популярность к датасайентистам пришла лишь в 2010-е. Но знания из данных извлекали на протяжении всей человеческой истории — в этой статье рассказываем, как именно.

Секреты аналитики

Книга: «Data mesh в действии»

Потребность эффективно хранить большие объемы данных и обращаться к ним стала одной из ключевых потребностей любого бизнеса. Сетка данных (data mesh) — это новый способ децентрализовать управление данными, радикально повышая их безопасность и доступность.

Секреты аналитики

Сколько денег вы теряете на инцидентах

В этом материале автор разберет, зачем и как считать потери на инцидентах, можно ли делать это автоматически и как продать ценность расчётов бизнесу.

Секреты аналитики

Кто такой Data Engineer?

В этой статье вы узнаете кто такой Data Engineer. А также какие бывают направления и куда можно посмотреть, чтобы развиваться в дата-инженерии.

Секреты аналитики

Основы Power Query: подключение Excel

В этом видеоуроке автор подробно разбирает процесс подключения к файлу Excel при помощи Power Query. После создания подключения вы сможете преобразовать данные и импортировать их на лист Excel.

Смотреть это видео на youtube: youtu.be/JfChFjhuaNY

Секреты аналитики

Как мы построили сервис, который помогает сократить поиск видео контента в огромной базе данных

Цель этой статьи — подробно рассказать о процессе создания сервиса по поиску видеоконтента с помощью текста, решениях, которые команда автора приняла на каждом этапе, и о том, какие технологии использовала. Вы узнаете, как сложные технические задачи могут быть решены простыми и эффективными методами.

Секреты аналитики

8 советов по эффективной визуализации данных

Основная цель науки о данных — повысить ценность бизнеса. Большинство людей не понимают данные, и мы должны показать их. При эффективном выполнении визуализация может помочь нам раскрыть идеи, выявить тенденции и донести какой-то смысл. В этой статье автор дает 8 советов о том, как создать красивую, интерпретируемую и эффективную визуализацию данных.

Секреты аналитики

Оптимизация метрик веба через аудит в Google Tag Manager: реальность или вымысел?

В этой статье автор расскажет, как она пробовала оптимизировать метрики веба с помощью аудита в GTM, и предоставит план эксперимента на случай, если вы решите провернуть это у себя.

Секреты аналитики

Supervised Fine-Tuning: как настроить LLM под конкретную задачу?

Пожалуй, для адаптации больших языковых моделей под чётко очерченные задачи обработки естественного языка нет технологии лучше, чем SFT (supervised fine-tuning). Для дообучения модели её необходимо предварительно обучить, а это означает, что она уже многому научилась из широкого спектра текстов.

Секреты аналитики

Pandas - разбор основных возможностей на реальном датасете

01:17 Создание датафрейма
03:49 Экспорт датафрейма
04:38 Первичный анализ датафрейма
06:17 Одномерные данные (series)
07:18 Фильтрация по строкам (rows) и столбцам (columns)
14:43 Сортировка данных
16:20 Объединение датафреймов с помощью concat и merge
21:40 Аналитические функции (describe, mean и т.д.)
23:31 Группировка данных с помощью group by
26:12 Подсчет корреляции
26:33 Визуализация данных с помощью plot (matplotlib)

Смотреть это видео на youtube: youtu.be/-sJxwvx0P20

Секреты аналитики