Лучший источник по статистике для аналитика

Недавно я рассказывала о несложной книге по статистике для новичков.

А сегодня поговорим о настоящей объемной энциклопедии! Я обожаю книгу «Практическая бизнес статистика» Эндрю Сигела и вот почему:
🔵Максимально подробно раскрыты все основные темы по статистике
🔵Много детально разобранных примеров с расчетами и графиками
🔵Удобная навигация (несмотря на внушительный объем книги)

Никакие «Статистика и котики» и что там еще рекомендуют и рядом не стояли. А вот к этой книге я неизменно возвращаюсь каждый раз, когда готовлюсь к собеседованиям и хочу освежить знания по каким-то темам.

Очень рекомендую каким-то образом найти ее в бумажном виде (я покупала через Авито). Ну а электронный вариант прикрепила в комментариях

#статистика_анна_в_данных
#книги_анна_в_данных

А еще я очень рада вас всех здесь видеть👀

Буду рада, если вы расскажете о себе в комментариях👀

Если вы ведете свой телеграм канал, можете рассказать о нем тут же в комментариях к этому посту

Обработка десятков миллионов строк за секунды или Как я заменила Pandas и не пожалела 🐻‍❄️

*Pandas - библиотека для анализа данных на Python

Я уже рассказывала в одном из предыдущих постов, для чего использую Python. Вот и вчера мне понадобилось выгрузить десятки миллионов строк из одной СУБД, потом сметчить с десятками миллионов строк из другой, пофильтровать и посчитать агрегаты. Так как рабочий компьютер у меня слабоват, к сожалению (Air на 8 Гб), Pandas мне бы его положил 🥺Уже сталкивалась с таким

Сразу поняла, что тут он мне не помощник, и стала искать замену. В закладках у меня была статья про Polars🐻‍❄️ https://nuancesprog.ru/p/18192/

Попросила ChatGPT переписать мой код с Pandas. Синтаксис, кстати, очень похож, но различия есть.

В общем, это песня! 🥰Polars выполнил все преобразования и выплюнул мне результат просто за секунду. Он как-то под капотом круто оптимизирует, распараллеливает операции, делает обработку частями и творит прочую магию

А я в результате быстро закрыла задачу и не тратила свои нервы 😎

Документация:
https://docs.pola.rs/user-guide/getting-started/

#python_анна_в_данных

Мы дожили до пятницы! 🫠

Не знаю как у вас, у меня эта неделя была довольно загруженной: несколько презентаций директорам по итогам эффективности дорогостоящих💲фичей, соответственная аналитика и расчеты для них. Одна фича прям спорная и находится на стыке интересов нескольких отделов 😱

При этом я простудилась, поэтому отменила походы на все крутые мероприятия, которые себе запланировала, чтобы никого не заразить. В итоге worklife-balance на этой неделе полностью завален! 😱Не люблю такое

Как ваша рабочая неделя?

(На фото моя очаровательная Булочка)

Всю неделю проболела и продолжаю чувствовать себя не очень😪Но в очередной раз задумалась насколько мир стал удобнее за последние годы

Сейчас, если ты простужаешься, тебе НЕ надо (версия для айтишников):

↔️Брать больничный и терять в доходе♦️
Раньше приходилось либо «героически» идти на работу (и заражать остальных), либо брать больничный и терять огромную часть зарплаты. Сейчас, благодаря удаленке, можно просто продолжать работать в привычном режиме из дома. Помню, как до 2020 года я, как и многие мои коллеги, ходила в офис простуженной, потому что больничный казался слишком большой роскошью. Сейчас это кажется дикостью, но тогда это было нормой.

⏭Идти в поликлинику к врачу⏬
Я предпочитаю обращаться к своим проверенным врачам, а не просто по ДМС, но в несерьезных случаях ДМС очень меня выручает! Например, очень удобно вызывать врача на дом, чтоб послушал, сделал экспресс-тест на 🦠. А иногда можно вообще ограничиться и телемедициной: пообщаться с врачом в чате приложения страховой или созвониться по телефону.

⏮Идти в магазин за продуктами и готовить◀️
К счастью, есть доставка. Этим я пользуюсь даже когда здорова, потому что это удобно и экономит время. А уж когда плохо себя чувствуешь, это просто спасение. Заказал животворящий супчик, мед, лимончик и еще что-то вкусненькое — и через 15 минут уже можно есть, не тратя силы на готовку.

⏩Выходить из дома в аптеку за лекарствами🔼
Все лекарства кроме рецептурных можно просто доложить в корзину к еде, и их так же быстро привезут

‼️Главное, помните, что даже с такими удобствами важно заботиться о себе и не перегружаться‼️

Всем подписчикам желаю крепкого здоровья ❤️

#поболтать_анна_в_данных

Ну а утро понедельника началось у меня с тупняка: я полчаса поэтапно раскомменчивала блоки кода в своем даге, пытаясь понять, почему он падает. Вместо того, чтобы просто глянуть в логи и увидеть, что я забыла выдать техучетке права на изменение таблицы👍

*Даг (DAG) - это грубо говоря Python-скрипт в Airflow, в котором прописано как и какие задачи нужно выполнить, в каком порядке, с какими зависимостями и когда

А календарь свой даже показывать не буду 😅Я выкладывала пару недель назад, так вот на этой он еще хуже

Как ваш понедельник?

Аналитик должен знать ответы на эти 10 вопросов по SQL ⌨️

Для этих вопросов не нужно писать запросы и ответить можно очень быстро, поэтому какие-то из них иногда задают прям рекрутеры во время первого скрининга. У них перед глазами есть правильные ответы, и они делают себе пометочки, чтобы отсеять кандидатов еще до собеседования:

1️⃣Может ли измениться результат запроса, если в LEFT JOIN поменять таблицы местами?

🆒В чем разница между UNION и UNION ALL?

3️⃣Сколько будет 5 + NULL?

4️⃣Можно ли делать JOIN таблицы саму на себя?

5️⃣Включает ли функция COUNT NULL-значения при подсчете?

6️⃣При каких типах соединения условие из WHERE можно перенести в ON с гарантированным сохранением результата запроса?

🆒Какой из операторов: SELECT, FROM, WHERE, GROUP BY - будет выполняться последним при обработке запроса?

8️⃣Какие функции умеют возвращать значения из предыдущих/последующих строк для заданной строки таблицы?

🔡В чем разница между HAVING и WHERE?

1️⃣🔡Какое минимальное и максимальное количество записей может выдать FULL JOIN таблицы на 10 строк с таблицей на 100 строк?

На все получилось ответить?

Ставьте кричащего котенка - 😱, если хотите, чтобы выложила правильные ответы
Ставьте крутого котенка - 😎, если и так знаете ответы на эти вопросы

#sql_анна_в_данных

Аналитик должен знать ответы на эти 10 вопросов по SQL: ОТВЕТЫ👉

Мы собрали достаточно кричащих котиков под предыдущим постом, поэтому выкладываю правильные ответы.

А если что-то показалось непонятным, смело пишите в комментариях, разберём подробнее!

1.Может ли измениться результат запроса, если в LEFT JOIN поменять таблицы местами?

Да. В LEFT JOIN сохраняются все строки из первой (левой) таблицы и соответствующие строки из второй (правой) таблицы. Порядок тут критически важен.

2.В чем разница между UNION и UNION ALL?

UNION удаляет дубликаты строк после объединения, а UNION ALL - нет.

3.Сколько будет 5 + NULL?

Любая математическая операция с NULL вернет NULL.

4.Можно ли делать JOIN таблицы саму на себя?

Да, это называется self-join (слово self при этом писать не нужно, джойните как обычно)

5.Включает ли функция COUNT NULL-значения при подсчете?

COUNT по конкретному столбцу не будет включать NULL значения. COUNT(*) посчитает все строки.

6.При каких типах соединения условие из WHERE можно перенести в ON с гарантированным сохранением результата запроса?

Гарантированно - при обычном JOIN. В случаях с другими видами JOIN есть нюансы (в зависимости от того, к какой таблице условие)

7.Какой из операторов: SELECT, FROM, WHERE, GROUP BY - будет выполняться последним при обработке запроса?

Среди перечисленных операторов SELECT будет выполняться последним, несмотря на то, что пишется первым. Сначала будет определяться откуда берутся данные (FROM), потом какие (WHERE), потом условия группировки (GROUP BY) и только затем, что будет выведено (SELECT)

8.Какие функции умеют возвращать значения из предыдущих/последующих строк для заданной строки таблицы?

Оконные функции, например такие как: LAG(), LEAD()

9.В чем разница между HAVING и WHERE?

WHERE фильтрует отдельные исходные строки таблицы и не может применяться к агрегирующим функциям. HAVING - наоборот фильтрует строки уже после группировки по значениям агрегирующих функций.

А 10-й вопрос я решила сделать через квиз ⌨️ В комментах к ним добавила объяснение

#sql_анна_в_данных

BI vs Продуктовая аналитика: как я сбежала из BI и не пожалела

На момент смены направления у меня уже было 3 года опыта в аналитике, из которых 2 года я занималась BI. Ну и я уже где-то 4 месяца была в компании, в которой чувствовала себя не на своем месте: дежурства, проблемная инфраструктура, дашборды, которые было больно поддерживать, и BI-системы, которые мне не нравились🫠

Я поняла, что пора увольняться, и стала думать, что делать дальше. BI-аналитика начала казаться мне скучной: надоели строгие стайлгайды для дашбордов и неопределенность вокруг BI-систем (многие компании метались между тем, чтобы остаться на зарубежных с риском лишиться лицензии, и сырыми российскими решениями)😠Задачи продуктовой аналитики в противовес сильно разнообразнее, а если начнут надоедать - всегда можно сменить продукт.
Еще одним аргументом стал зарплатный потолок: в BI он ниже, и я уже начала в него упираться, да и вакансий на тот момент, как мне показалось, стало меньше. В то же время спрос на продуктовых аналитиков рос🤑💰

И когда пришло время выбирать между двумя офферами - один на позицию BI-аналитика, другой на продуктового - я выбрала второе. Решающим фактором стало то, что задачи BI уже вызывали у меня внутреннее сопротивление😡Возможно, на это повлиял негативный опыт на предыдущем месте

С тех пор прошло 2 года, и я ни о чем не жалею!

Основные отличия, которые я заметила (на основе своего опыта):
💬Требования к навыкам💬 В BI достаточно знать SQL, BI-системы и базовую статистику буквально на уровне мер центральной тенденции (чем среднее отличается от медианы). Продуктовому аналитику же нужно глубже разбираться в статистике, нужно уметь в АБ-тесты, но можно быть менее продвинутым в BI.
💬Взаимодействие с людьми💬 У BI-аналитиков меньше созвонов: собрал у заказчика требования и дальше сиди себе делай. Дата инженеры обычно не фанаты созваниваться и с ними вопросы тоже можно просто в переписке порешать. Продуктовые же аналитики гораздо больше взаимодействует с коллегами: продактами, разработчиками, тестировщиками, другими продуктовыми аналитиками и пр.
💬Влияние на бизнес💬 BI аналитик не влияет напрямую на деньги, в отличие от продуктового
💬Зарплатный потолок💬 У продуктовых аналитиков он выше

А есть ли среди вас те, кто пробовал оба направления? Согласны с моими наблюдениями или нет? Делитесь в комментариях!

#карьера_анна_в_данных

Я поняла, что так толком и не рассказала о себе. Давайте познакомимся поближе!

Карьера
💜Работаю Senior продуктовым аналитиком в компании Самокат🛴
💜Вообще в индустрии я 6й год, успела поработать и BI, и продуктовым (пост о том, как я перешла и почему)

Локация
💜Живу в Москве и считаю свой вид из окна одним из самых лучших видов на город 🏙Москву очень люблю, здесь есть просто все
💜Помимо Москвы в моем сердечке живет Питер. Я испытываю к этому городу какую-то невероятную любовь и готова возвращаться снова и снова
💜Успела 4 года пожить в Тунисе, и вообще люблю путешествовать по миру

Окружение
💜У меня есть чудесная кошка (см фото), самая добрая и ласковая малышка в мире
💜Так вышло, что все мои друзья из IT💻

Предпочтения
💜Люблю деньги 💵И не только потому что я ипотечница 😁
💜Я знатный чаехлеб☕️Просто обожаю чай, особенно с бергамотом
💜Люблю читать бумажные книги, но покупаю их больше, чем успеваю прочесть
💜Обожаю кататься на машине, но в качестве пассажира. Для меня это как медитация, я беру кофе, катаюсь по городу, смотрю в окно и думаю
💜Я очень люблю вести насыщенную культурно-развлекательную жизнь: театры, концерты, поэтические вечера, выставки, мастер-классы, квизы, настолки, конференции, экскурсии🙎‍♀️Нравится узнавать и пробовать новое, нравится общаться с людьми
💜Я очень рада вас здесь видеть! Рассказывайте о себе, с кем еще не познакомились

К важным новостям: купила себе длинный шарф-клавиатуру 🥰

Всем ли нужно становиться лидами?

Я 5 лет в аналитике, уверенный синьор, казалось бы логичным развитием карьеры для меня было бы стать лидом. Но на данный момент я осознанно выбираю не идти по этому пути.

Почему?

🟣Зачастую лид получает не сильно больше, а иногда может и вообще меньше, чем синьор, который недавно вышел к нему в команду. При этом нагрузка и ответственность лида существенно выше

🟣У лида больше созвонов, чем у синьора, а я точно не могу назвать себя фанатом забитого встречами календаря

🟣Перед лидом часто ставят более глобальные и долгосрочные цели, поэтому частая смена места работы у лида может вызывать больше вопросов. Намерения специально часто менять работу у меня конечно нет, но нравится иметь такую возможность и успевать даже за небольшое время в одной компании закрывать цели, соответствующие моему грейду.

🟣Мне нравится иногда быть наставником, но не менеджерить людей на работе. Я с удовольствием помогу коллеге-джуну, переодически менторю ребят, но вот следить за выполнением тасок мне не хочется

🟣Мне кажется, что хороший лид - своего рода психолог. Быть эмпатичным, правильно давать обратную связь, мотивировать, развивать сразу нескольких людей, это доп ответственность. Не уверена, что на данный момент я бы хотела так сильно погружаться в это и смогла бы это делать на высоком уровне

Возможно мое мнение изменится в будущем, но пока так.

А как у вас, есть желание становиться тимлидом? Или может кто-то из вас уже тимлид, согласны с моими тезисами?

Кстати у практикума есть бесплатный тест на тимлида https://practicum.yandex.ru/promo/management-test/ Они потом присылают развернутый отчет, что у тебя проседает, а что нужно прокачать

#карьера_анна_в_данных