🎨 Всем привет!

😀 В субботу обойдемся без Python и SQL, а обсудим тему, которая на прямую не касается аналитики данных, но тем не менее интересна - авторские права.

🙋‍♀️Некоторые заметили (на самом деле никто), что название группы созвучно с сайтом OnlyFans - платформой для поддержки создателей контента 😉

👩‍🎨 С дизайнером @anna_chet_art, когда прорабатывали дизайн, я решил сыграть на этом совпадении, поэтому некоторые элементы стиля были переосмыслены и воплощены с более технической и строгой ноткой. Подробный брендбук можете посмотреть по ссылке.

💌 После согласования и принятия работы, оставался один небольшой штрих - получить разрешение от OnlyFans на использование графических элементов, отдаленно напоминающих их творение! И кто бы мог подумать, но после короткой переписки и предоставления всех материалов, получили от них разрешение на использование (см. фото к посту) 😅

©️ Так что друзья, никогда не забывайте, что живем во время, когда все уже кому-то принадлежит, даже когда занимаешься анализом данных, надо задаваться вопросом откуда эти данные берутся и есть ли у вас разрешение на их использование или под какой лицензией они распространяются.

💻 Такое направление как парсинг довольно привлекательно звучит для начинающего аналитика, который хочет для своего проекта собрать информацию, но необходимо понимать, что многие сайты не сильно обрадуются такому наплыву GET запросов с Вашей стороны. И очень часто напрямую запрещают подобные действия.

🎳 Так что всегда лучше использовать данные, которые специально собраны для анализа. Множество датасетов можно найти в подборке или вот ссылка на мой давнишний набор данных недвижимости Парижа. Usability максимальная и распространяется по лицензии CC BY-NC-SA 4.0.

✒️ А откуда Вы обычно берете данные для исследований?

#авторскиеправа #истории

😀 Всем привет!

🧭 В предыдущем посте обсуждали различные источники открытых данных для pet-проектов, но иногда запросы бывают довольно специфические и доступных наборов может не хватить, в таком случае на помощь приходят синтетические данные.

⛩️ В таком случаю помогут как специализированные библиотеки для создания «фэйковых» данных, так и более распространенные в узких кругах решения.

🎰 Библиотека Faker широко используется для создания реалистичных поддельных данных, таких как имена, адреса, номера телефонов и многое другое. Обеспечивает простой способ создания больших наборов данных с различными значениями.

from faker import Faker
import pandas as pd

fake = Faker()

# Generate fake names and addresses
data = {'Name': [fake.name() for _ in range(100)],
'Address': [fake.address() for _ in range(100)]}

df = pd.DataFrame(data)

df.head()

🧮 NumPy - это мощная библиотека для научных вычислений на Python. Он предоставляет функции для генерации массивов случайных чисел в соответствии с различными распределениями.

import numpy as np
import pandas as pd

random_integers = np.random.randint(low=1, high=100, size=1000)

random_normal = np.random.normal(loc=0, scale=1, size=1000)

data = {'Random_Integers': random_integers,
'Random_Normal': random_normal}

df = pd.DataFrame(data)

🐼 Pandas - популярная библиотека для обработки и анализа данных. Она включает в себя функции для создания синтетических данных с определенной структурой, таких как временные ряды или категориальные переменные.

import pandas as pd

dates = pd.date_range(start='2022-01-01', periods=365)

data = pd.DataFrame({'Date': dates, 'Value': np.random.rand(len(dates))})

🙇‍♂️ Scikit-Learn - это широко используемая библиотека машинного обучения, которая также предлагает инструменты для генерации данных. Функция make_classification() может создавать синтетические наборы данных.

from sklearn.datasets import make_classification
import pandas as pd

X, y = make_classification(n_samples=1000, n_features=5, n_informative=3, n_classes=2)

df = pd.DataFrame(X, columns=[f"Feature_{i+1}" for i in range(X.shape[1])])
df['Label'] = y

📚 Это всего лишь несколько примеров библиотек Python, доступных для генерации синтетических данных. В зависимости от ваших конкретных потребностей вы можете изучить эти библиотеки более подробно и найти ту, которая наилучшим образом соответствует вашим требованиям.

🥋 Теперь Вы знаете как создавать синтетические данные для тестирования, прототипирования или заполнения пробелов в ваших наборах данных!

✒️ Какие еще данные хотелось бы Вам создать? Приглашаю в комментарии для обсуждения.

#петпроект

😀 Всем привет!

👍 Ни для кого не секрет, что 30 мая пройдет техническая конференция по продуктовой аналитике Aha!'23, которая обязательна к посещению не только опытным специалистам, но и начинающим, чтобы влиться в "аналитическую" тусовку.

🔬 На правах пятничного поста к данному событию подготовил небольшой текст о А/Б тестировании, которое будет очень подробно разбираться на мероприятии.

🎬 Сразу предупрежу, что формат новый, любые совпадения с реальными событиями и персонажами случайны.

🏢 Давным-давно, в оживленном городе Дейтавилль, жил опытный аналитик по работе с клиентами по имени Макс. Вооруженный аналитическим складом ума и тягой к приключениям, Макс обнаружил, что погружается в мир A/B-тестирования.

🕵️‍♀️ Последней задачей Макса было раскрыть секреты поведения пользователей при сравнении медицинских товаров. Видите ли, у пользователей был доступ к отличному инструменту, который позволял им сравнивать различные медицинские препараты. Однако, к ужасу Макса, оказалось, что эти пользователи и в таком простом деле смогли все испортить, добавляя только один элемент для сравнения, что делало процесс сравнения практически бесполезным.

🧑‍🔬 Преисполненный решимости разгадать эту загадку, Макс собрал команду экспертов и разработал хитроумный план. Они проведут A/B-тест, где одной группе будет предлагаться рекомендованные товары к сравнению, а вторая будет вынуждена по старинке добавлять их из общего каталога.

🔪 Разделив пользователей на две группы, контрольную и тестовую, Макс и его команда начали свой эксперимент. Контрольная группа продолжила работу без каких-либо предложений, в то время как тестовая группа получила тщательно подготовленные рекомендации.

🧫 По мере прохождения теста дни превращались в недели, и волнение Макса росло с каждой минутой. Наконец, настал день расплаты — результаты были получены!

📉 Но, увы, данные говорили на другом языке, оставляя Макса в состоянии недоумения. Контрольная группа, в которой не было никаких предложений, продемонстрировала небольшой рост показателей, в то время как тестовая потянула метрики на дно. Казалось, что блестящий план Макса с треском провалился.

👩‍🎤 Озадаченный и удрученный, Макс отправился на поиски истины, стоящей за этим неожиданным поворотом событий. Было ли это врожденное сопротивление изменениям или упрямая зависимость пользователей от собственного суждения? Ответы оставались неуловимыми.

🧖‍♂️ Тем не менее, среди этого хаоса Макс извлек ценный урок о сложностях человеческого поведения. Иногда даже самые благонамеренные эксперименты могут привести к непредвиденным результатам. И когда пошли титры этого захватывающего A / B теста, прошедшего неудачно, Макс поклялся подходить с еще более пристальным вниманием к непредсказуемым хитросплетениям человеческого разума.

🦸‍♂️ Итак, наш бесстрашный аналитик данных двинулся вперед, вооруженный новообретенным пониманием и решимостью покорить тайны, которые ждали его в области анализа данных.

👍 Прошу поддержать реакцией, если понравился формат, если нет, то приглашаю в комментарии для обсуждения.

#матемаркетинг #aha23

😀 Всем привет!

📚 Сегодня поделюсь подборкой инструментов для автоматического исследоватльского анализа данных (EDA).

🙋‍♀️ EDA является важным этапом для аналитиков данных, поскольку он позволяет получить всестороннее представление о наборе данных. Используя статистические методы и визуализацию, можно выявлять закономерности, тенденции и аномалии в данных. EDA помогает находить проблемы с качеством данных, такие как пропущенные значения или выбросы, обеспечивая надежность последующего анализа.

🦸‍♂️ Этап важный, но довольно рутинный, поэтому автоматизированных инструментов хватает:

🐼 pandas-profiling

🥇 Я его использую сам, но есть и другие достойные альтернативы, если нужен упор на визуализации или автономность.

Предоставляет возможность проводить EDA в одну строку. Можно экспортировать анализ в различные форматы, такие как html и json.

📊 AutoViz

С помощью AutoViz вы можете легко и быстро создавать визуализации для ваших данных. AutoViz может помочь изучить данные и получить ценную информацию.

🍬 sweetviz

Библиотека Python с открытым исходным кодом, которая генерирует визуализации для EDA всего двумя строками кода. На выходе получаете полностью автономное HTML-приложение.

🧖‍♂️ dtale

Библиотека на Flask и React, которая предоставляет вам простой способ просмотра и анализа структур данных Pandas. Интегрируется с ноутбуками ipython и терминалами python / ipython.

🧑‍🍳 dataprep

Позволяет проводить EDA данных Pandas / Dask с помощью нескольких строк кода за считанные секунды.

🏋️‍♀️ AutoProfiler

Автоматически визуализирует DataFrame Pandas после каждого выполнения ячейки, никакого дополнительного кода не требуется.

✒️ А вы доверяете EDA автоматизированным инструментам или все делаете сами? Хотели бы подробный разбор одного из инструментов?

#подборка

😀 Всем привет!

🏴‍☠️ Меньше месяца прошло с прошлого мероприятия и Хабр.Карьера снова радует интересным проектом «Неделя Аналитиков», где компании рекламируют себя, а аналитики могут голосовать за лучшую и откликаться на вакансии, далее будет IT митап, а завершится все статьей с ответами на вопросы участников. Вот пример с прошлого года.

📺 Каждая компания сняла короткое видео о себе (питч), где рассказывает о себе, аналитике и плюшках. Я посмотрел все питчи за Вас. В некоторые компании я проходил собеседование или даже работал, поэтому интересно будет как реклама соотносится с реальностью. Написал пару слов про каждый питч с оценками по параметрам:

📽 операторская работа
🎭 игра актеров
🎬 сценарий
📃 описания работы аналитика
🎁 плюшки от компании

🛒 X5 Tech (Перекресток):

📽 снято отлично, переходы понравились
🎭 главный герой хорошо держится в кадре
🎬 много смиЩных шуток и рваное повествование
📃 конкретики ноль, что делать непонятно
🎁 плюшки расписали плотно, но ничем особым не выделяются

🏠 Дом.Клик:

📽 снято в формате интервью, так что скромненько, хотя бы ракурсы меняли
🎭 ребята смотрятся живо, но проскальзывает небольшое волнение
🎬 сюжет простой, но понятный
📃 подробно и с примерами расписали проекты и стек
🎁 про плюшки рассказали мало (рассказы про внутренний университет и «плойку после работы» не считаются), что странно, так как есть более внушительные «бонусы»

🏦 МТС Банк:

📽 хорошая, даже есть подсъемы и разные ракурсы
🎭 рассказывают уверенно, но пафоса много
🎬 обычный формат интервью, но есть субтитры
📃 рассказ очень поверхностный, про аналитику пара слов, больше похоже на «агитку»
🎁 пара слов про плюшки, но тут никого не удивить

💸 Альфа Банк:

📽 отличная, подсъемы и разные ракурсы
🎭 девушка молодец, очень искренне рассказывает
🎬 обычное интервью
📃 рассказали подробно про аналитику и с примерами, но не хватило стека технологий, больше упор на системных аналитиков
🎁 про полюшки ничего не сказали, но думаю, что в банке не обидят

🏝 РНКБ:

📽 Переходы из iMovies, смотреть тяжело, но под конец переходит в стандартный интервью формат
🎭 сложилось ощущение, что снимали после работы все
🎬 нарезка кадров Крыма под хвалебные отзывы, текст слабый
📃 подробностей никаких и упор на системных аналитиков
🎁 из плюшек: санаторий и релокация в Крым. Зато подсветили благотворительные программы.

🐝 Билайн:

📽 картинка не поправилась, хотя были неплохие ракурсы
🎭 понимаю, что не мне говорить, но можно было переснять 3 минуты видео с «эээ»
🎬 интервью, но довольно скучное и нет целостности
📃 скудно и с упором на системный анализ
🎁 ничего, но это не самая большая проблема

✈️ Самолет:

📽 просто «Вау», сразу видно, что делали профессионалы
🎭 смотрятся естественно и даже есть настоящие актеры
🎬 сюжет классный, в кадре постоянно что-то происходит
📃 хоть в одной компании расписали разные виды аналитик и все довольно подробно без лишней воды
🎁 хорошо подсветили плюшки: скидки на квартиру и благотворительные проекты.

🏁 Мне понравился 🏠 Дом.Клик и ✈️ Самолет, остальные компании даже близко к ним не приблизились. Сразу видно, что старались и делали с пониманием дела.

✒️ Какая компания понравилась Вам больше всего? Как Вам такие мероприятия? Будете участвовать?

#поискработы