На днях прям подряд послушала два интервью на тему аналитики.
В чем-то схожие, в чем-то разные.

Про путь аналитика, про будущее профессии, про кадры, собеседования, навыки, инструменты и задачи. ☺️

Может, кому тоже интересно будет послушать.

Интервью с Алексеем Макаровым
(его канал: https://t.me/datalytx)

https://www.instagram.com/tv/CVDjDXzoyKn/?utm_medium=copy_link

Интервью с Николаем Валиотти
(его канал: https://t.me/leftjoin)

https://www.instagram.com/tv/CVFf8ebjOGW/?utm_medium=copy_link

Про гипотезу о равенстве средних.

Давайте развенчаем ещё один миф. На это раз про равенство средних. Если мы тестируем гипотезу по-честному, надо выписывать z-статистику и сравнивать её с критическим значением.

Видимо, из-за того, что это сложно, на практике иногда встречается процедура с доверительными интервалами. Строим доверительный интервал для первого среднего. Строим для второго среднего. Если они не пересекаются, значит гипотеза о равенстве средних отвергается. Периодически встречаю людей, которые так делают. Не делайте так.

Дело в том, что для одинаковых ошибок первого рода, ошибка второго рода для процедуры, основанной на доверительных интервалах, окажется выше. Соотвественно мощность такого теста будет ниже. То есть, мы часто будем не замечать верность альтернативы и оставаться с нулевой гипотезой.

В АБ мы всегда формулируем свои предположения в терминах, что вообще ничего не поменялось. Эффекта нет. Средние в контрольной группе и в тестовой совпадают. Ошибка второго рода здесь --- не найти эффекта, когда он есть. Если мы пользуемся техникой с доверительными интервалами, часть изменений, от которых мог бы быть профит будет закопана.

Понятное дело, что при очень большом числе наблюдений эта разница будет небольшой. Однако это не мешает нам устроить священную войну за статистическую корректность. Не верите? Попробуйте провести симуляции, либо держите pdf-ку с решением этой задачки. Если преподаёте матстат, включите что-то похожее студентам в домашку :3

На картинке видно, что первая процедура (z-статистика) стабильно выигрывает у второй (интервалы). При бесконечном числе наблюдений разницы не будет, так как мы всегда сможем идеально отделить две альтернативы друг от друга.


Почему так происходит?

Мне кажется, что причина в нашей извращённой логике. Когда речь идёт об одном среднем, мы можем посчитать z-статистику, а можем посмотреть попал ли в доверительный интервал ноль. Эти два способа будут эквивалентны. Наше сознание хочет обобщить этот опыт на более сложные ситуации и делает это неверно.

Привет!
Многие из вас знают, что в 2019 NEWHR выпускали большое исследование рынка аналитиков. Этот опрос они готовили совместно с экспертами-аналитиками. Многие работодатели до сих пор ориентируются на результаты того исследования при формировании зарплат, а ведь данные уже устарели.

Поэтому NEWHR стартовали новое масштабное исследование рынка аналитиков. На этот раз - с фокусом на Продуктовых аналитиках и на Руководителях аналитики. И, если вы продуктовый аналитик, советую принять участие и повлиять на общую картину рынка или узнать, что вас ждет в ближайшем будущем.

❗️Общая цель исследования: понять, кем является продуктовый аналитик в 2021 году?
✅ Что входит в зону ответственности, а что не входит (но все равно приходится этим заниматься);
✅ Кто становится продуктовым аналитиком (бэкграунд) и какие карьерные перспективы есть у этой профессии;
✅ Что влияет на уровень зарплат и есть ли паттерны, присущие наиболее зарабатывающим профессионалам;
✅ Как устроен найм и удержание продуктовых аналитиков.

Чтобы принять участие в исследовании, необходимо заполнить верификационную анкету. Она нужна для того, чтобы быть уверенным, что опросник заполняют только релевантные респонденты.

Пройдя опрос, вы получите срез зарплат аналитиков разных грейдов в вашей отрасли, которого не будет в публичном доступе.

Все участники получают призы и подарки от партнеров исследования: Нетологии, Матемаркетинга-2021, EXPF, Издательства МИФ — будут хорошие скидки и даже бесплатные ништяки.

Также, каждую неделю разыгрывается одна консультация Оксаны Прутьяновой, эксперта направления аналитики и датасайенс, и 5 крафтовых напитков от NEWHR.

Forbes: Основанный Яндексом стартап ClickHouse стал «единорогом»

– Компания ClickHouse привлекла $250 млн и стала «единорогом»
– В ходе раунда компанию ClickHouse была оценена в $2 млрд
– Ключевыми инвесторами стали фонды Coatue и Altimeter
– Также вложились основатели: Benchmark Capital, Index Ventures и Яндекс
– Остальные инвесторы: Lightspeed, Redpoint, Almaz, FirstMark и Lead Edge
– Средства пойдут на рост штата и на развитие международного бизнеса
– ClickHouse используют Uber, Tesla, Spotify, Bloomberg, Alibaba, ByteDance и др.

Принёс вам подборку каналов и чатов с вакансиями для аналитиков, data scientists и дата-инженеров

🟢 Datalytics Jobs — Канал с вакансиями для DA, DS, DE
🟢 Работа ищет аналитиков — Пожалуй, самый большой чат с вакансиями для аналитиков. Не только вакансии, но и чат, где можно обсудить наболевшие вопросы
🟢 Business Intelligence HeadHunter — Вакансии для BI-аналитиков и не только https://t.me/biheadhunter
🟢 Job for Analysts & Data Scientists — Вакансии для Digital-аналитиков и Data scientists от NewHR
🟢 Data jobs feed — Вакансии для Data Engineers (но иногда проскакивают и другие data-related вакансии). Также есть чат
🟢 Data jobs — Вакансии по data science, анализу данных, аналитике, искусственному интеллекту https://t.me/datajob
🟢 Работа для ИТ-аналитиков — Вакансии для системных и бизнес-аналитиков, но бывают и вакансии для аналитиков данных
🟢 Big Data Science job — Вакансии для data scientists и data analysts
🟢 Data Science Jobs / AI / NN / ML / DL / NLP — Вакансии для data scientists и не только

Сбор и хранение данных

SQL
- «SQL Problems and solutionsS», I. Moiseenko Интерактивный учебник по SQL
- ByteScout SQL Trainer Быстрый и приятный тренажер, усложняющийся по мере вашего продвижения.
- Simple SQL Queries Упражнения для Постгреса
- SQL Tutorial for Beginners: Database, JOIN, WHERE, GROUP BY, HAVING, ORDER BY, LIKE, IN, BETWEEN
- Тренажер по SQL
- Как посчитать всё на свете одним SQL-запросом. Оконные функции PostgreSQL https://habr.com/ru/post/268983/
- Простенький тренажер с теорией https://sqlzoo.net/wiki/SQL_Tutorial
- Мануал по установке PostgreSQL в MacOS https://www.robinwieruch.de/postgres-sql-macos-setup
- Пример обращения к MySQL с помощью Python, используя библиотеку sqlalchemy https://pythondata.com/quick-tip-sqlalchemy-for-mysql-and-pandas/
- Пример обращения к PostgreSQL с помощью Python: https://khashtamov.com/ru/postgresql-python-psycopg2/
- window function - https://learnsql.com/course/window-functions
- window function - https://campus.datacamp.com/courses/intermediate-t-sql/window-functions?ex=4
- Хорошая статья об оконных функций SQL - https://khashtamov.com/ru/window-functions-sql/

Парсинг
- Русский перевод документации к BeautifulSoup Beautiful Soup — это библиотека Python для извлечения данных из файлов HTML и XML. Она работает с вашим любимым парсером, чтобы дать вам естественные способы навигации, поиска и изменения дерева разбора. Она обычно экономит программистам часы и дни работы.
- Статья с примером парсинга данных с веб-сайтов с применением BeautifulSoup Освещены все основные этапы: формирование запроса и получение странички с помощью requests, поиск нужного элемента в HTML через инспектор, выделение данных из элемента через методы BeautifulSoup.

API
Работа с первичной аналитикой: выгружаем сырые данные из Метрики с помощью скрипта

#аналитика_с_марса
Коварный t-test

Скорее всего, если вы не аналитик — вам мимо. Увидимся в следующем посте!

Итак, типичный вопрос: какой стат-тест когда стоит использовать?
И типичный ответ: если нормальное распределение метрики — Стьюдент, если нет — Манн-Уитни.

И это, короче, неправда!

В статье-источнике можно почитать про то, откуда выросло это заблуждение, но гораздо важнее понять, а как же тогда правильно.

Нормальным должно не распределение метрики, а распределение среднего значения. Например, если нас интересует выручка, то мы можем считать такую метрику как ARPU, и чтобы сравнить ARPU в двух группах в АБ нам как раз подойдет t-тест по ЦПТ. При этом, сама выручка на юзера (RPU) не должна быть распределена нормально.

ЦПТ — это только предположение. С помощью бутстрапа как раз можно нагенерить подвыборки, посчитать на них ARPU и убедиться, что оно нормально распределено.

Зато у t-теста есть другое требование о равенстве дисперсий в выборках. Если они неравны, нужна модификация Уэлча.

⚡️Масштабное независимое исследование онлайн-курсов по аналитике ⚡️

Мы с моими коллегами из компании твердо решили узнать все-все самое важное об онлайн образовании по теме аналитики и data science. Об онлайн образовании говорят повсеместно, курсы чрезвычайно распространены, ведь профессии в IT-сфере сейчас очень популярны. Думаю, что огромная часть аудитории данного канала либо прошла, либо собирается пройти курсы, связанные с анализом данных.

Прошу вас пройти опрос и оставить ваше искреннее мнение о той школе, курс в которой вы прошли. Хорошее, плохое, главное, не безразличное!

Буду признателен коллегам владельцам каналов по аналитике за репост. Разумеется, результатами опроса мы вскоре с вами поделимся в виде симпатичного дашборда 🤓

➡️ Ссылка на опрос

p.s. Любые комменты по опросу тоже приветствуются

Как онлайн-школы НЕ гарантируют трудоустройство

Вчера в чате «Работа ищет аналитиков» возникла бурная дискуссия о том помогают ли онлайн-школы с трудоустройством. Я не удивлён тому, что такой вопрос вызывает активное обсуждение:
- для большинства людей, идущих изучать аналитику данных или data science в онлайн-школах, ключевым обещанием является именно возможность сменить профессию;
- определенные ожидания тут сформировали и сами онлайн-школы, для которых обещание карьерной трансформации и увеличение дохода выпускника стало частью коммерческого предложения.

Когда мы говорим о поддержке студентов в карьерных начинаниях, важно понимать одну вещь: никто не может гарантировать трудоустройство. Поэтому любая гарантия трудоустройства в онлайн-курсах — это маркетинговая уловка с кучей оговорок

В Практикуме существуют профессии, в рамках которых предоставляется возврат в том случае, если за 6 месяцев с момента окончания курсов у выпускника не получается найти работы. Но для этого важно приложить усилия — искать вакансии самостоятельно, отсматиривать предложения от работодателей партнеров Практикума, делать определенное число откликов ежемесячно, ходить на собеседования, выполнять тестовые задания. То есть даже для того, чтобы вернуть деньги за обучение, надо прилагать усилия. А для того, чтобы устроиться на работу — тем более

Онлайн-школы не могут обеспечить вероятность трудоустройства 100%, потому что:
- Люди готовы инвестировать разное количество времени и сил в поиск работы. Сам поиск работы, прохождение собеседований, выполнение тестовых заданий — это тоже труд, на который надо выделять временные и когнитивные ресурсы
- Люди обладают разным предыдущим опытом. Бывает так, что предыдущий опыт позволяет существенно повысить шансы при трудоустройстве. Например, если выпускник работал в сфере телекоммуникаций, то конечно выше шанс найти первую работу аналитиком в этой сфере, потому что у такого человека будет понимание предметной области. Или если в предыдущем опыте было много работы с Excel, таблицами и отчетностью — из этого легко сделать конкурентное преимущество. Также предыдущий опыт определяет наличие различных мета-навыков и софт-скиллов: как хорошо вы умеете задавать вопросы, как быстро находите общий язык с людьми, какой у вас уровень критического мышления, насколько хорошо вы понимаете как компании зарабатывают деньги
- Мотивационная составляющая сильно влияет на то, как выглядит соискатель в глазах работодателя. Приходит ли человек только за деньгами или ему интересна профессия и сфера; готов ли он к тому, чтобы постоянно учиться и развивать свои компетенции или ищет «островок спокойствия и стабильности». Онлайн-школа не способна и не должна кардинально изменять ценностные установки, а они являются важной компонентой, которую оценивает работодатель. При этом критерии оценки у каждого работодателя разные
- У всех разные критерии поиска. Кто-то готов пойти в любую компанию лишь бы взяли, кто-то целится только в крупные tech-компании (куда критерии отбора жестче). Кто-то готов пойти на работу, где первый год будет клепать ad-hoc запросы и делать отчёты, а кто-то ищет сразу место, где будет влиять на рост продукта
- Шансы не равны из-за возраста и пола. Увы, это так. У Практикума есть успешные кейсы трудоустройства студентов 40+ на работу аналитиками, но это почти всегда сложный процесс, требующий упорства и нестандартного подхода к поиску

Если вы выбираете онлайн-школу для того, чтобы изменить собственный карьерный путь, получить перспективную профессию и обрести больше возможностей, то прежде всего стоит ответить себе на вопросы:
- Сколько усилий вы готовы приложить к поиску работы?
- Зачем вы хотите сменить профессию?
- Какие объективные предпосылки у вас есть, позволяющие выбрать именно эту профессию? (Я не хочу снобствовавать, но не поддерживаю распространенного мнения, что анализом данных может заниматься любой человек)
- Что может вам помешать в том, чтобы получить профессию? (Важно заранее продумать риски трудоустройства, а не бросаться в омут с головой в надежде, что вас устроят онлайн-курсы)

Онлайн-школы предлагают посильную карьерную поддержку: помощь с подготовкой резюме, сопроводительного письма, портфолио; тренировку в прохождении собеседований; партнерские вакансии; вебинары, знакомящие с различными представителями индустрии; дополнительный проектный опыт; и многое другое. Но это никак не отменяет того, что трудоустройство требует от выпускников осознанного подхода, понимания своих целей и, самое главное, приложения усилий в поиске

В следующий раз попробую рассказать как выпускники онлайн-школ выглядят глазами работодателей

Внутри три модуля: «Числа», «Дроби», «Алгебра». Модули открытые: можно проходить все темы по порядку, можно повторить только нужные вам. Позже тренажёр дополнится модулями «Логика и множества», «Теория вероятности» и «Комбинаторика»

Сейчас доступны 60 уроков с теорией и больше 1000 задач — они помогут вспомнить, как переводить величины, возводить в степень, считать пропорции и проценты, решать уравнения, неравенства и задачи

Если у вас внутри тоже сидят какие-то математические травмы, если вы просто хотите освежить знания в голове, или хотите лучше разобраться с математикой для профессионального роста — попробуйте тренажёр. Внутри всё сделано очень классно. Я уже участвовал в бета-тестировании с теплотой вспоминаю многие моменты, например, как помогал герою одной из задач подбирать наряд с помощью комбинаторики

Дано: тренажер по математике. Решение за вами) Да прибудет с вами математическая сила!

https://practicum.yandex.ru/math-foundations

Мегоатонны инфографики внутри. Смотрел со стороны на процесс и завидовал авторам
https://practicum.yandex.ru/math-foundations

Помимо вчерашнего анонса бесплатного тренажера по математике есть ещё одна хорошая новость: Школа Анализа Данных (ШАД) начала публиковать онлайн-учебник по машинному обучению и Data Science

Многолетний опыт преподавания и использования ML позволил создать учебник, который наглядно и доступно объясняет, что такое машинное обучение и как его использовать. Материал учебника будет полезен для начинающих ML-специалистов, разработчикам и аналитикам, а также исследователям

Пока в нём есть две большие главы: Классическое обучение с учителем и Оценка качества моделей. В будущем учебник будет дополняться, поэтому следите за обновлениями

https://academy.yandex.ru/dataschool/book

В продолжение сообщения про независимое исследование онлайн-курсов по аналитике

Если вы где-то учились/учитесь аналитике и ещё не поучаствовали в опросе — самое время

Мы собрали уже 250 ответов на опрос 🔥🔥🔥

Большое спасибо всем, кто уже принял участие, вы большие молодцы! Огромная просьба к тем, кто еще планирует пройти — отвечать про один конкретный курс, про который вы хотите рассказать.

Мне бы очень хотелось собрать как минимум 500 ответов (а лучше 1000), чтобы выборка респондентов была полноценной, поэтому большая просьба принять участие, если вы обучались на каком-либо платном курсе по аналитике / data science / data engineering и поделиться своими впечатлениями.

По планам на результаты: скорее всего, на выходе будет дашборд с ответами в Tableau Public + презентация с выводами, которую можно прочитать.

Помимо этого, мы хотим сделать некоторый выпуск, где голосом обсудим самые интересные случаи как успешного, так и разочаровавшего образования онлайн.

➡️ Поэтому прошу всех пройти опрос про онлайн-курсы и рассказать про свой опыт 📢📢📢

А коллег-авторов телеграм-каналов снова прошу о репосте, чтобы получить побольше охвата и отзывов о курсах.

Вчера я написал про то, что математика как область знаний оказала сильное влияние на мою жизнь: на восприятие своих мыслительных способностей, на восприятие себя как профессионала

Я много общаюсь с аналитиками: как с джунами, так и с уже крепко стоящими на ногах спецами, так и с теми, кого можно называть экспертами отрасли. И у всех разное отношение к математике в профессии аналитика. Естественно, что это отношение вытекает из множества факторов: какие задачи аналитика решает в компании, уровень аналитической культуры в компании, какие вузы оканчивало большинство сотрудников компании

19 ноября на конференции Матемаркетинг я поделюсь результатами своих наблюдений: расскажу как математика помогает в аналитике, про то какую роль математика играет в жизни аналитиков, с какими инструментами оценки математических навыков сталкиваются соискатели в найме, почему между знанием математики и знанием статистики нельзя ставить знак равенства. Также попробуем вместе разобраться с тем как можно подтянуть свои навыки математики и что делать, если вы уже занимаетесь аналитикой, но до сих пор чувствуете себя «математическим самозванцем»

Очень рад, что Матемаркетинг в этом году состоится в оффлайне. Огромная благодарность всем организаторам, что взяли на себя смелость проводить мероприятие вживую в такое сложное время. Это очень ценно! Алексей Никушин Kseniia Baidina Роман Беднарский
Делюсь промокодом на мероприятие MM10, который дает скидку 10%!

Ну и картинка для привлечения внимания — моё первое публичное выступление на конференции iMetrics-2012. Кажется с тех пор ораторские скиллы прокачал, будет отличная возможность для меня ещё раз в этом убедиться 🙂

https://matemarketing.ru/

Только сегодня досмотрел митап от EXPF и СберМаркет - https://youtu.be/1blbhx9BYxk.
Для меня самым интересным был доклад Виталия Черемисина про чувствительность метрик. Виталий очень доступно все разжевал и рассказал о том, как оценивать эту самую чувствительность метрик. Ниже небольшой конспект этой части его выступления.

Для того, что оценить чувствительность той или иной метрики, нужно моделировать рост нашей метрики на некоторой выборке и оценивать, при каком условии чувствительность максимальная.

1. Нужно взять некоторую группу пользователей, разбить ее на две группы, так чтобы в обеих группах наша метрика была равна.

2. Выбрать несколько значений uplift. Шаг может быть разным, исходя из эмпирического опыта.

3. И по каждому из значений uplift нужно произвести операции:
- В одной из выборок (пусть она будет B) увеличить значение метрики на величину uplift. Это нужно делать не коэффициентом умножить на вреднее, а некоторым пользователям добавить конверсии, каким-то убрать - в результате получится полноценная выборка с дополнительными конверсиями.
- Делать множественные подвыборки (например, 1000) из обеих групп, сравнивать их показатели, рассчитывать pvalue.
- В результате у нас получится 1000 значений pvalue. Считаем, какой в каком проценте из них pvalue был ниже 0,05. Например, их будет 65%. Вот это процент и есть чувствительность нашей метрики при увеличении на некоторую величину.
- Фиксируем данные. И то же самое теперь производим с остальными значениям uplift.

4. В результате у нас получится таблица, в которой у нас посчитана чувствительность метрики при разных значениях ее увеличения. И можно сделать вывод, при каком росте конверсии можно рассчитывать зафиксировать эффект, если он есть.

Для чего это можно использовать:
1. Чтобы сделать вывод, нужно при проводить эксперимент. Например, выяснится, что, чтобы получить чувствительность 80%, нужно увеличить конверсию на 30%, что считается невозможным при данных изменениях. Значит, на данный момент нужно отказаться от тестирования данной гипотезы.
2. Чтобы приоритизировать гипотезы для проведения экспериментов. Проверив чувствительность многих метрик и предполагая их увеличение на определенный процент, можно понимать, какие гипотезы про какие метрики являются более перспективными с точки зрения возможности увидеть положительный эффект. Становится понятно, с каких метрик и каких гипотез лучше начать тестирование изменений.

В публичном треке смотрите доклад Ромы Бунина из Яндекс Go - Фреймворк развития системы отчётности в крупной компании.

Доступ бесплатный - https://matemarketing.ru