🆒 Недавно подписалась на канал, который ведет опытный продуктовый аналитик Юрий Борзило. Он так и называется Борзило
Очень интересно и много полезной практики:
✔️ Как быстро прокачаться в настройке систем веб-аналитики?

✔️ Что влияет на размер выборки и длительность АБ теста?

✔️ Как прокачать скилл аналитика?
Хороших каналов мало не бывает 👍

👍 А вы попробовали YandexGPT 2? Яндекс вчера ее представил. Я вбила вопрос “Почему стоит выбрать карьеру в аналитике данных?” Не, ну а что, пусть расскажет.

И вот что он/она (наверно она, это же нейросеть) выдала:
Выбор карьеры в аналититике данных может быть привлекательным для многих профессионалов по следующим причинам:
✔️1. Высокий спрос на специалистов: Аналитики данных и специалисты в области анализа данных востребованы во многих отраслях, включая IT, финансы, науку, производство и другие. Это обеспечивает широкие возможности для трудоустройства и карьерного роста.

✔️2. Достойная оплата труда 💰: Аналитики данных обычно получают хорошую заработную плату, так как их навыки и опыт ценятся на рынке труда. Уровень дохода зависит от опыта работы, компании и региона, но в целом аналитики данных могут рассчитывать на конкурентоспособную зарплату.

✔️3. Перспективы профессионального роста: Аналитика данных — это постоянно развивающаяся область, где специалисты могут совершенствовать свои навыки и знания, изучать новые методы и технологии, а также переходить на более высокие позиции, такие как руководитель отдела анализа данных, архитектор данных или директор по аналитике.

Сначала я посмеялась с аналититики. А если серьезно, то действительно есть высокий спрос. Самый большой спрос на мидлов и выше, если честно. Но и джуну реально найти работу. Я же в свое время нашла.
Оплата действительно достойная. Буду надеяться что с каждым годом она будет достойнее и достойнее. 😂 Насчет профессионального роста — в точку. Есть много направлений в аналитике и есть куда расти и в чем совершенствоваться 📊.

В целом нейросетка права и я с ней согласна. Я бы еще добавила, что это еще и ИНТЕРЕСНО 🤪.
Ну и если Вам нужен какой-то знак или ментальный пинок, чтобы начать/продолжить заниматься или подредактировать резюме и выходить на рынок hh, то пусть этот пост будет таким знаком для вас ⚡️. В сентябре наверняка будет больше вакансий после лета. Ну и с меня поддержка ❤️. Можете писать в комментах, на каком вы сейчас этапе своего пути!

Что может пойти не так? ❓ Месяц назад выкладывала тут задание про поиск клиентов, у которых более 70% пользователей с именами на латинице. Сделала его на питоне. Питон крут и все такое.
Но есть проблемка.. выгрузки по 50 млн строк и питон хоть и тянет, но обрабатывает дооолго. Решила переписать на SQL. Но не просто SQL, а для Clickhouse. Ему такое – море по колено.🌊

Стала искать гуглить про регулярки для Clickhouse. И вот, что нашла: match(где ищем, шаблон)
Сначала concat соединяю фамилию и имя пользователя, а потом оборачиваю в match и вторым аргументом прописываем [A-Za-z] – ищем английские буквы как в большом, так и в малом регистре. А потом заворачиваем все это безобразие в sum, чтобы посчитать количество пользователей так как результат match выдает единички напротив каждого с английскими буквами (смотрим пример на картинке).

SUM(MATCH(CONCAT(IFNULL(uu.first_name,''),' ',IFNULL(uu.last_name,'')), '[A-Za-z]')) as has_latin_letters
Чтобы прописать сразу и rate пишем вот так:

select uu.ACCOUNT_ID,
count(uu.id) as all,
SUM(MATCH(CONCAT(IFNULL(uu.first_name,''),' ',IFNULL(uu.last_name,'')), '[A-Za-z]')) as has_latin_letters,
round((sum(match(CONCAT(IFNULL(uu.first_name,''),' ',IFNULL(uu.last_name,'')), '[A-Za-z]'))/
count(uu.id))*100,2) as rate
from user.user uu
where uu.ACCOUNT_ID in {tuple(df_accounts['account_id'])}
and uu.deleted = 0
and uu.type = 'user'
group by uu.ACCOUNT_ID

В результате скрипт летает как Карлсон в самом расцвете сил 🚀

🥰Я вот тут подумала. Все мы хотим чувствовать поддержку пока идем к своей цели. Но ведь бывает зачастую так, что очень мало людей в окружении которые тоже хотят попасть в IT. 👨‍💻 И они не понимают с какими трудностями мы сталкиваемся. Сколько нужно всего выучить, сколько чашек кофе выпить сил приложить для достижения результата. Ладно еще просто учиться, а сколько отказов от эйчар будет бить ⚡️по вашей почти устойчивой психике на радость платным психологам! 💰А когда эта цель - заветный оффер еще и не сразу достигаема, то хочется опустить руки и не продолжать больше.

И если родные, близкие и друзья пожимают плечами и говорят: "- Да, забей. Все равно не получится", то это демотивирует очень сильно. Я наслышана о разных историях, так как "варюсь" в этом уже давно и хотела предложить вам такую простую, но искреннюю идею.
✔️Давайте поддерживать друг друга прям тут. Если кто-то сомневается, что получится - пиши в комменты и мы всегда поддержим тебя. Хоть смайликом, хоть парой фраз. Не сомневайся! Будем как дружная IT банда! 🤝

А когда случается радость - и заветный оффер в кармане, то порадуемся за человечка от всего сердца ❤️. И пожелаем ему много сил, терпения и веры в себя. Ведь первый/второй и т.д. оффер - это бесконечный путь развития своих скиллов и себя как личности на бесконечной дороге профессионального роста.
Так что @m0t0rama, держись там! Мы мысленно с тобой, поздравляем с оффером и желаем удачи! 🤝

Еще с утра я не думала, что накатаю такой пост. Но что-то захотелось и по фиг, что сейчас уже поздно и наверно имело смысл подождать до завтра. Не всегда следует действовать логично, иногда нужно прислушиваться к сердцу.

❗️❗️❗️Друзья, ко мне обратилась hr крупного федерального ритейлера с просьбой опубликовать вакансию. Это хороший шанс для подписчиков поэтому я это делаю бесплатно. 👍
А еще Александра заметила, что есть много вопросов по резюме, поэтому предложила свою помощь! Отправляйте ей свои резюме, она подскажет, где их нужно скорректировать и какими видят их эйчары.👌

Пишите на почту: susandra@inbox.ru с пометкой, что от канала Мир аналитика данных (так вас быстрее заметят)

🔥 Как тестировать SQL код при решении тестовых? Есть библиотека Pandasql. 🛠 Она позволяет выполнять SQL-запросы прямо в Юпитере, а вместо базы можно просто создавать DataFrame.
Например:

from pandasql import sqldf
import pandas as pd
# Создание DataFrame user_actions
user_actions = pd.DataFrame({'user_id': [1, 1, 2, 3, 3],
                             'order_id': [101, 102, 103, 104, 105],
                             'action': ['create_order', 'cancel_order', 'create_order', 'create_order', 'cancel_order']})

Предположим, у нас есть таблица user_actions с информацией о действиях пользователей на нашем сервисе, включая id пользователя, id заказа и тип действия. Мы хотим отобрать всех пользователей, которые ни разу не отменяли заказы.
Выполнение SQL-запроса с помощью pandasql:

query = """
SELECT DISTINCT user_id
FROM   user_actions
WHERE  user_id NOT IN (
    SELECT user_id
    FROM   user_actions
    WHERE  action = 'cancel_order'
)
"""
sqldf(query) 

Мы используем подзапрос, чтобы получить все user_id пользователей, которые отменили заказы, и затем исключаем этих пользователей из основного запроса с помощью оператора NOT IN.

Таким образом, мы получаем результат, который содержит только user_id пользователей, которые ни разу не отменяли заказы.

Учитывая, что осень - пора активных собеседований, то кому-то это точно пригодится. ✔️

P.S. Пост про то, какие онлайн сайты можно использовать для SQL у меня тут

📍 Пришло время упорядочить свои посты. Чтобы вам легче было в них ориентироваться и отыскать что-то нужное.

🐍 🔤🔤🔤🔤🔤🔤 ✨

- Живой кодинг на собеседовании. Примеры.
- Тестовое в Skyeng (ссылка на скрипт в комментариях)
- markdown и вставка картинок в Jupyter Notebook
- Метод format в Питоне
- Рабочий пример отчета для отдела продаж – формирование группы клиентов по разным условиям
- Особенности pivot_table на питоне
- Примеры сводной таблица pivot_table()
- Создание диапазона дат на питоне
- Рабочий скрипт по отвалу клиентов
- Отвал клиентов с доп.условиями
- Три топ клиента за год в каждой нише
- Кумулятивная функция сumsum()
- Примеры функции transform()
- Вопросы с собеседований по Python и Pandas
- Как определить к какой стране относится номер телефона? библиотека Phonenumbers
- Скрипт по когортному анализу (часть на SQL, часть на пандасе)
- Примеры np.where()
- Регулярные выражения на Питоне. модуль re

✨🔤🔤🔤✨ ✨

- Пример рабочего SQL скрипта в Jupyter Notebook
- Трафик, лиды, конверсия
- SQL Between
- HAVING в SQL
- Вопросы с собеседований по SQL
- Тестовое с решением
- Скрипт по когортному анализу (часть на SQL, часть на пандасе)
- Примеры использования CASE
- Group by на примере из курса Карпова и на рабочем примере.
- Регулярка для Clickhouse
- Библиотека Pandasql для написания SQL кода в Jupyter Notebook

✨ 🔤🔤🔤🔤🔤 ✨

- Как уменьшить вес Excel файла
- Excel vs Google таблицы
- Условное форматирование в Google таблицах.
- Выгрузка всех файлов с диска в Excel

✨☹️☹️😙🤑😓😓 ✨

- Как я сменила профессию
- Какие бывают аналитики
- Мотивация
- Теория вероятности на минималках
- Как заходить в LinkedIn без VPN
- YandexGPT 2 рассказал почему стоит выбрать карьеру в аналитике данных

p.s. Вам знакомо то чувство чистоты, когда у вас на рабочем столе был бардак, а вы взяли и навели порядок? Книжки расставили по местам, бумаги рассортировали по папкам и протерли пыль с клавы. Вот сейчас что-то похожее ощущаю 🍀

🔥 Установка PostgreSQL и создание таблицы в DBeaver из CSV ——————————————————————————————

Все-таки лучший способ для решения тестовых, для тренировки своих навыков в PostgreSQL – это установить базу к себе на компьютер и заливать туда csv файлы с нужными данными вместо создания таблиц. Да и оконки не потренируешь с pandasql, в которой синтаксис SQLite.
Я раньше думала, что это как-то сложно и потребуется много времени. Немного повозиться мне конечно пришлось, но зато теперь будет самая краткая инструкция!

✔️ Шаг 1 Грузим PostgreSQL для вашей операционной системы на странице официальной загрузки. Я ставила на Windows. Скачивается файл с расширением exe, который можно запустить и установить, как обычную программу! У меня этот файл соответственно назывался postgresql-16.1-1-windows-x64.exe Весил 361 МБ

Я выбрала 16 версию – самую новую. x64 - это 64-разрядная операционная система (какая у вас можно узнать в свойствах Мой компьютер). Там в характеристиках устройства указан тип вашей системы.
Запускаете инсталлятор – просто два раза щелкаете по файлу. В открывшемся окне выбираете Locale: «Russian, Russia» (русский язык в стране Россия) и далее выполняете то, что указано. Выбираете путь, где будет располагаться база. В конце установки снимите галочку в пункте Stack Builder. Там какие-то доп.утилиты предлагаются (не нужны короче, можно не заморачиваться)
На этом установка PostrgreSQL почти завершена! 🤪

✔️Шаг 2 Теперь заходите в Пуск и нажимайте pg и увидите слоника pgAdmin. При первом запуске pgAdmin просит задать Master Password. Он будет использоваться для безопасного сохранения паролей к базам данных PosgreSQL. Master Password можно выбрать любой, главное, запомнить его. И запомните номер Port (у меня 4 цифры). Это в свойствах (Properties)->Connection можно найти.
В целом только с помощью pgAdmin можно писать запросы, но я привыкла работать через DBeawer. Поэтому переходим к следующему шагу.

✔️Шаг 3 Если у вас не установлен DBeaver, то скачайте его тут.
У меня он уже установлен для работы. Идем в меню База данных. Там выбираем Новое соединение. Выбираем PostgreSQL. В настройках прописываем: Хост - localhost, база данных – postgres, Порт – тот номер Port из pgAdmin, пароль тоже вводим и жмем OK.

Теперь в списках баз DBeaver появился postgres с зеленой галочкой. Кликаете правой кнопкой мыши по postgres — Редактор SQL — Новый редактор SQL. Он Создадим схему. Пишем create schema test Теперь создадим таблицу. Сначала нужно обновить список объектов. Встаем на значок postgres внутри Базы данных и жмем F5. Появились наша схема test. А внутри название Таблицы. Правой клавишей мышки щелк и выбираем Импорт данных. В открывшимся окне, выбираем файл csv, который необходимо загрузить. Настраиваем параметры при необходимости. Здесь обращаю внимание на “Разделитель столбцов”, если в итоге вы получили некорректную таблицу, то необходимо проверить какой разделитель в исходном файле (иногда помогает сменить разделитель с запятой (,) на точку с запятой (;)). Нажимаем “Далее”, а потом “Продолжить”. Идет загрузка данных.
📌 И, ура, у нас табличка с нашими данными из файла! 🎯 Тип данных колонок можно менять прямо в свойствах.

🔥 Я побывала на интенсиве, где разбирали тестовое задание в OZON ⚡️ на аналитика данных! И принесла самое интересное сюда для тех, кто не смог присутствовать!
Задание
Для выполнения этого задания требуется сгенерировать DataFrame с синтетическими данными. DataFrame должен состоять из 10000 строк и 5 колонок. Каждую из колонок мы предлагаем тебе создать и наполнить следующим образом:

🔹 1-я колонка – user_id – идентификатор пользователя. Длина user_id должна равняться 15-ти символам. Идентификатор состоит из случайной комбинации следующих символов: "1234567890abcdefghijk". Для каждой строки в DataFrame значение user_id формируются случайным образом.

🔹 2-я колонка – order_number – номер заказа. Столбец необходимо заполнить случайными значениями в диапазоне от 1 до 10.

🔹 3-я колонка – click2delivery – время, прошедшее с момента оформления заказа до вручения клиенту. Столбец необходимо заполнить случайными значениями из нормального распределения со средним 1440 и стандартным отклонением 200.

🔹 4-я колонка – order_items_sum – общая стоимость заказа. Значения для этого столбца необходимо взять из экспоненциального распределения с параметром λ = 1, смещённого на +1.

🔹 5-я колонка – retention – день жизни покупателя, в который он совершил заказ. Необходимо сгенерировать значения 1, 2, 3, 4, 5 с вероятностями 0.35, 0.25, 0.2, 0.15 и 0.05 соответственно.
В случае, если в колонке user_id встречаются дублирующиеся значения, оставь только первое из них.

Итак, импортируем библиотеки и задаем seed:

import pandas as pd
import numpy as np
import random
np.random.seed(42)

Это для того, чтобы скрипт выполнялся идентичным образом при каждом запуске. Мы предоставляем начальное значение (42 - популярный вариант).

Функция random.choice() возвращает один элемент из последовательности. Запихнем ее в созданную нами функцию generate_user_id(), а возвращать она будет соединенные join-ом выбранные по одному элементы из characters в количестве 15 штук.

def generate_user_id():
    characters = "1234567890abcdefghijk"
    return ''.join(random.choice(characters) for _ in range(15))
#Проверим как работает функция
generate_user_id() 
'k4198854h3id213'

Теперь создадим функцию generate_df для генерации датафрейма.
И нашу функцию для user_id generate_user_id() запихнем в цикл for _ in range(n) чтобы нагенерировать 10 тыс строк.
Тут же создадим столбцы order_number, click2delivery, order_items_sum и retention.

def generate_df(n):
    data = {
      'user_id': [generate_user_id() for _ in range(n)],
      'order_number': np.random.randint(1, 11, size=n),
      'click2delivery': np.random.normal(1440, 200, size=n),
      'order_items_sum': np.random.exponential(1, size=n) + 1,
      'retention': np.random.choice([1, 2, 3, 4, 5], size=n, p=[0.35, 0.25, 0.2, 0.15, 0.05])
      }
    df = pd.DataFrame(data)
    return df

df = pd.DataFrame()

А вы знали, что в питоне можно разряды в числах вот так показывать? n = 10_000 Я – нет. 😜
Пока длина df не будет 10 тыс будет выполняться соединение concat два датафрейма.
Условие n = 10_000 - len(df) при длине df 10 тыс строк будет равно 0 и while перестанет выполняться.

n = 10_000
while n:
    new_df = generate_df(n)
    df = pd.concat([df, new_df])
    df = df.drop_duplicates(subset='user_id', keep='first')
    n = 10_000 - len(df)

df.head()

Если хотите разбор следующих заданий в ближайшие дни ставим 🔥

🔥 Итак, разберем следующие задачки из тестового на аналитика данных в OZON. Первую часть смотрите тут

⭐️ Задание 2
Для всех строк исходного датасета, сгруппированных по номеру заказа, посчитать среднее значение времени доставки по группе. Результат необходимо добавить в новый столбец датафрейма.
У нас с прошлого задания сформировался датасет df со следующими полями:
user_id, order_number, click2delivery, order_items_sum, retention
Делаем обычную группировку:

orders = (
    df
    .groupby('order_number')['click2delivery']
    .agg(mean_time='mean')
    .reset_index()
)

Если мы пишем код в скобочках (), то можно вот так прописывать, перенося точку и метод на отдельные строки.
Ну и присоединим это среднее к основному df :

df = df.merge(orders, how='inner', on='order_number')

⭐️ Задание 3
Отдельной колонкой добавить значения последовательности, начинающейся с 0 и 1, где каждый следующий элемент является суммой двух предыдущих, умноженных на 0.5.
Задаем лист arr, а потом в цикле пока длина листа не составит 10 тыс, добавляем сумму двух предыдущих элементов, умноженных на 0.5:

arr = [0, 1]
while len(arr) < 10_000:
    arr.append(sum(arr[-2:]) * 0.5)
df['seq'] = arr

Ну и еще было несколько заданий. 📎 Их найдете в файле юпитер ноутбука 👉 здесь

🍒🍒🍒🏆🍒😘 Теперь когда у меня есть Postgres 🐘 на компе (пост как установить тут) и она подключена к DBeaver,я могу показать вам как писать оконки на SQL. В одном из тестовых было следующее задание. Когда люди входят/выходят из здания, то это логгируется. Записывается время входа/выхода (pass_date), номер сотрудника (tab_id), адрес офиса (pass_name) и pass_direction (1 – вход, 0 - выход).
Нужно посчитать чистые рабочие часы сотрудников по дням без времени “на покурить” и обеды, когда они выходили из здания. Они могут ходить на улицу по несколько раз за день. И это тоже нужно учесть. Иногда сотрудники несколько раз прикладывают свой пропуск или пропускают по своему пропуску коллег, такое нужно исключать.

Тут нам поможет оконная функция LAG. Она используется для сравнения текущего значения колонки с предыдущим значением (в скобках смещение на 1 указала). Вот так мы узнаем время предыдущей записи:

lag (pass_date,1) over (partition by tab_id order by pass_date)

pass_date - это столбец, значение которого нужно сравнить с предыдущим значением.
partition by tab_id – берем партиции по номеру сотрудника и сортируем по дню order by pass_date

Когда мы из pass_date вычтем получившееся значение, то это будет разница между текущим временем (текущей строчкой) и временем предыдущего действия (вход либо выход) - time_diff

pass_date - lag (pass_date,1) over (partition by tab_id order by pass_date) as time_diff

Далее суммируем показатели текущего и предыдущего действия PASS_DIRECTION, тоже используя схему с lag

pass_direction +lag(pass_direction,1) over (partition by tab_id order by pass_date) as sum_enter

А теперь завернем все в подзапрос и прикрутим условие с фильтром. Мы суммируем время только когда выполняются два условия: sum_enter = 1 и pass_direction =0

sum(time_diff) filter (where (sum_enter = 1) and pass_direction =0)

В итоге:

select
  working_date,
  tab_id,
  sum(time_diff) filter (where (sum_enter = 1) and pass_direction = 0)
from
  (
  select
    date(pass_date) as working_date,
    pass_date,
    tab_id,
    pass_direction,
    -- разница между текущим временем и временем предыдущего действия 
    pass_date - lag (pass_date,  1) over (partition by tab_id order by pass_date) as time_diff,
    -- суммируем показатели текущего и предыдущего действия (0+1 - то, что нужно), а если 1+1=2 - такое нам не надо
    pass_direction + lag(pass_direction, 1) over (partition by tab_id order by pass_date) as sum_enter
  from
    test.newtable
  order by
    pass_date  
) t1
group by 1, 2

💡 Тренируйте оконки, это прямо уже must have на собесах! Файл с данными забирайте для тренировки! 👌