Друзья, спасибо за ваши вопросы! Надеемся, ответы были вам полезны 🧡

Напомним, какие курсы упоминал Андрон, и ждём вас в числе наших студентов:
🟠 Курс «Аналитик данных»: simulative.ru/data-analyst
🟠 Курс «Fullstack-аналитик»: simulative.ru/fullstack-analyst

Остаёмся на связи!

⚡️ Ждём вас на практикуме по SQL через час!

Евгений Буторин подготовил четыре реальные задачи аналитика, которые мы будем решать на стриме. Вы увидите живые примеры кода и подходы к оптимизации сложных запросов.

Напоминаем, что это новый формат, и будем рады обратной связи!

➡️ Ссылка на комнату

📈 Симулейтив | ВК | YouTube

Два вебинара с Павлом Беляевым на этой неделе!

Тимлид дата-аналитиков в Яндекс eLama будет разбирать тестовое задание и решать задачи по прогнозированию в прямом эфире. Присоединяйтесь ❤️

⭐️ 5 мая, 19:00 МСК — «Разбираем тестовое на аналитика данных в Lamoda»

На вебинаре решим реальное тестовое аналитика: разберём структуру заказов и позиций, посчитаем нужные метрики и увидим, как к таким задачам подходит практикующий аналитик.

➡️ Зарегистрироваться

⭐️ 7 мая, 19:00 МСК — «Решаем задачи по временным рядам»

Покажем, как строить прогнозы на реальных данных, объясним, зачем это нужно бизнесу, и напишем рабочий код прямо на стриме.

➡️ Зарегистрироваться

Регистрируйтесь и добавляйте события к себе в календарь, чтобы не забыть!

📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

Как выявить выбросы в данных?

Всем привет, я Павел Беляев, ведущий канала Тимлидское об аналитике и автор нового курса Симулейтив «Временные ряды» 👋🏻

Одна из самых «популярных» проблем аналитика — выбросы в данных.

Выброс — это значение, которое сильно отличается от остальных. Датчик глюкнул, данные съехали при выгрузке, случилось что-то аномальное. Если не поймать баг, статистика будет искажена, модель будет учиться на мусоре, и в отчёты попадёт ложь. Поэтому выбросы следует постоянно детектировать — или разово перед началом анализа, если это единичное исследование.

Привожу три распространённых способа выявления выбросов:

➖ Ящик с усами (Box Plot)
Визуальный метод. Строите график — и сразу видите точки, которые торчат за «усами». Никакой математики руками, просто смотрите глазами. Хорош для быстрого первичного осмотра данных.

Минус: показывает, где выброс, но не говорит, сколько их, и не автоматизируется легко.

➖ Межквартильный размах (IQR)
Математическая основа того же ящика. Считаем разницу между 75-м и 25-м перцентилем (Q1 и Q3) — это и есть IQR. Всё, что выходит за границы Q1−1.5×IQR и Q3+1.5×IQR — выброс.

Плюс: не зависит от формы распределения, устойчив к самим выбросам. Работает даже на кривых данных.

➖ Z-score
Считаем, на сколько стандартных отклонений точка далека от среднего. Это число обозначается как |z|. Обычно если |z| > 3 — подозрительно, возможно выброс.

Минус: предполагает нормальное распределение. Если данные скошены, метод будет ошибаться. К тому же сами среднее и сигма чувствительны к выбросам.

Что выбрать?
✅ Если быстро посмотреть глазами → Box Plot;
✅ Если надёжная автоматическая очистка → IQR;
✅ Если данные близки к нормальным → Z-score.
На практике используют несколько методов сразу и сравнивают результат.

Все эти методы очистки мы рассмотрим в новом курсе «Временные ряды» — с кодом и подробными пояснениями.

🛎️ Записывайтесь, скоро стартуем: simulative.ru/time-series

📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

⚡️ Через пару часов решаем тестовое в Lamoda

Присоединяйтесь сегодня в 19:00 по МСК к вебинару — Павел Беляев, тимлид дата-аналитиков в Яндекс eLama, поделится своим решением тестового задания в Lamoda.

На примере реального тестового вы сможете «заглянуть в голову» нанимающему аналитику, разобрать живые кейсы и понять, как отвечать растущим требованиям рынка, не утопая в абстрактной теории.

➡️ Регистрация

📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

Логирование для инженера данных: что использовать вместо print()

Привет! На связи Валерия Елпатьевская, ментор курса «Инженер данных» 👋🏻

Сегодня расскажу о важном инструменте, о котором многие почему-то забывают. О логировании.

Согласитесь, хочется понимать, что происходит после запуска кода? Представьте, вы запустили пайплайн, но данные не загрузились. Где ошибка? Что пошло не так? Хорошо, если вы хотя бы расставили print() по ходу, когда проверяли работу пайплайна. Но есть опция надёжнее.

Зачем логировать?
➖ Видеть этапы «загрузка → очистка → сохранение»;
➖ Ловить ошибки с контекстом: не просто «сбой», а «ошибка парсинга в строке 142 файла X»;
➖ Иметь историю: логи хранят время и порядок, консоль — нет.

Почему print() не подходит для продакшна?
➖ Нет времени, уровня важности и структуры;
➖ Нельзя отфильтровать или подключить к мониторингу.

Решение — модуль loguru. Улучшенный и упрощённый логер, в котором легко разобраться. Держите мини-гайд, как начать использовать его уже сейчас.

1️⃣ Установить можно через pip или conda:

pip install loguru

2️⃣ Импортировать logger и либо использовать его из коробки, либо настроить под себя:

from loguru import logger
import sys

# Настраиваем формат и теги
logger.remove()    # удалить дефолтные настройки

logger_format = (
  "{time:HH:mm:ss} | "                      # настраиваем формат даты
  "{level: <8} | "                                 # для красоты, чтобы уровни были ровно
  "{name}:{function}:{line} | "         # что хотим видеть (файл:функция:строка)
  "{extra[task_id]} - {message}"       # если хотим добавить свою информацию
)
logger.add(
    sys.stderr,                                                 # вывод в stderr
    format=logger_format,                            # добавляем формат, который выше определили
    level="INFO"                                          # с какого уровня начинаем логировать       
)

3️⃣ Использовать настроенный логер в коде:

def run_etl(file: str, task_id: str = "my_daily_task"):
    # bind() добавляет кастомный тег к этому сообщению
    logger.bind(task_id=task_id).info(f"Старт: {file}")
    try:
        # наш код...
        logger.success(f"Готово: {file}")
    except Exception as e:
        logger.error(f"Ошибка: {e}")
        raise

run_etl("orders.csv", task_id="sales_v2")

Что мы увидим в консоли:

14:22:10 | INFO          | __main__:run_etl:12 | sales_v2 - Старт: orders.csv
14:22:13 | SUCCESS  | __main__:run_etl:14 | sales_v2 - Готово: orders.csv
14:22:15 | ERROR      | __main__:run_etl:16 | sales_v2 - Ошибка: [текст ошибки]

Формат задаёт внешний вид, а extra[] и bind() — контекст. В реальных проектах теги task_id, env, user позволяют отфильтровать логи одного пайплайна среди тысяч других.

С чего начать уже сегодня:
1. Замените print() на logger.info/error/warning/debug;
2. Добавьте {time} и 1-2 тега в format;
3. Оборачивайте основные шаги, в которых возможны ошибки, в try/except с logger.error().

Логирование — это контроль и ваша страховка от стресса. Сохраняйте пост и ставьте 🔥, если было полезно!

📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS