👋 Всем привет!

🔢 Сегодня сравним все возможные способы возведения списка в квадрат в Python 🐍

🦄 Во-первых, создадим список:

my_list = [1, 2, 3, 4, 5]

🌈 Теперь рассмотрим различные способы возведения списка в квадрат:

1️⃣ Цикл for и метод append():

squared_list = []
for num in my_list:
squared_list.append(num ** 2)

2️⃣ Списковое включение:

squared_list = [num ** 2 for num in my_list]

3️⃣ Функция map():

squared_list = list(map(lambda num: num ** 2, my_list))

4️⃣ Массив numpy:

import numpy as np
my_array = np.array(my_list)
squared_array = np.square(my_array)
squared_list = squared_array.tolist()

🔬Теперь проверим какой способ самый быстрый в зависимости от количества элементов в списке! Для этого воспользуемся библиотекой timeit. Диапазон значений для списка будет от 0 до 500 000 элементов.

🏁 Массив Numpy неоспоримый чемпион по скорости! Практически в 5 раз превышающий цикл и функцию map(), которая я думал будет быстрее. Списковое включение не только лаконичный, но и самый быстр способ возведения списка в квадрата без использовался дополнительных библиотек.

✒️ Как Вам такие питоновские гонки? Что еще было бы интересно Вам сравнить? Какие способы возведения списка в квадрат Вы еще знаете?

🏠 В качестве задания попробуйте использовать не метод np.square(), а broadcasting.

#numpy #python

🧜‍♂️ Всем привет!

🤯 Сейчас в процессе подготовки с @dianakoloda, Head of HR DataGo, два проекта: ответы на вопросы и «Прожарка» 🔥 резюме.

🧖 Если кто-то хотел задать вопрос или поделиться своим резюме, то у Вас еще есть время!

🙋‍♀️ Вопросы могут касаться любого этапа трудоустройства: поиск и смена работы, прохождение HR и технической части, выбор профессионального пути.

🚒 «Прожарка» заключается в разборе вашего резюме с точки зрения HR и технической. По итогу получите достаточно подробную обратную связь, которую сразу же сможете применить. Зрителям будет тоже интересно, так как проблемы обычно +- похожи.

✒️ Вопросы и резюме присылайте в комментарии под постом. Можете ставить пометку на сколько сильную «Прожарку» 👩‍🚒 хотите.

👯 Если есть друзья, которым это может быть интересно, то зовите - вместе веселее.

#прожарка #резюме #поискработы

🫡 Всем привет!

🙋 Самый частый вопрос после «Кто сильнее Python или SQL?» - это «Как/какой/когда/зачем пет-проект сделать?». Поэтому будет серия статей, в первой мы разберем мотивацию и определение, а также поделюсь списком возможных источников данных.

🦊 Пет-проект в первую очередь - это личный проект специалиста на тему, которая ему интересна, а уже потом строчка в резюме, на которую обратит внимание HR.

👨‍🏫 Исходя из определения, необходимо решить, что Вам интересно, иначе проект обречен на провал, не успев начаться.

🧑‍💻 Далее выбираем стек технологий, который будет релевантен в вашей области. Это может быть даже Excel, ведь идея намного важнее инструмента реализации.

🧞‍♂️ Например, я начинал digital web аналитиком, поэтому я выбрал пет-проект на тему: повторить Google Analytics дэшборды с использованием Python и BigQuery, в качестве платформы я использовал kaggle, так как там были необходимые датасеты и среда разработки.

🎁 Подготовил для Вас небольшую подборку по платформам с открытыми данными и категоризировал их.

🌍 Общие наборы данных:

Kaggle: много наборов данных по широкому кругу тем.
Репозиторий машинного обучения UCI: коллекция наборов данных для исследований в области машинного обучения, включая данные по финансам, медицине и социальным наукам.
Google Dataset Search: поисковая система для поиска наборов данных, размещенных на различных веб-сайтах.
DataHub: платформа для обнаружения, обмена и публикации открытых данных.
Коллекция общедоступных наборов данных, размещенных на Amazon Web Services.

📈 Экономические и финансовые наборы данных:

Данные Федерального резервного банка Сент-Луиса.
Quandl: финансовые и экономические данные.
Yahoo Finance: данные финансового рынка, включая исторические курсы акций.
Данные Всемирного банка и других международных организаций по ряду тем, включая бедность, гендер и окружающую среду.
Данные Международного валютного фонда по целому ряду тем, включая экономический рост и международную торговлю.

🌡 Наборы климатических и экологических данных:

NASA Earth Observations: данные об окружающей среде и спутниковые изображения.
Данные о погоде и климате от Национального управления океанических и атмосферных исследований (NOAA).
Global Forest Watch: данные о лесах по всему миру.
Данные Организации Объединенных Наций по целому ряду тем, включая окружающую среду и устойчивое развитие.

🏠 Наборы социальных и демографических данных:

Pew Research Center: данные о социальных и демографических тенденциях в США.
Open Data Soft: данные по целому ряду тем, включая здравоохранение, транспорт и общественную безопасность.
Данные UNICEF о здоровье и благополучии детей во всем мире.
Данные о гуманитарных кризисах и мерах реагирования по всему миру.

💊 Понимаю, что не самый удобный формат, поэтому оформил еще и в табличном виде с дополнительными полями: API, регистрация, форматы и прочее!

🖊 А какие еще источники Вы знаете? В ближайшее время планирую список расширять и добавить отечественные платформы.

#петпроект #подборка

🚀 Всем привет!

🐼 При работе с данными, используя библиотеку pandas в Python, обычно возникает необходимость применить операцию к каждой строке DataFrame. Один из способов сделать это - использовать итерацию строк. Однако этот подход может быть медленным и неэффективным, особенно для больших наборов данных.

🧭 В этом посте мы рассмотрим, как использовать метод .apply() и векторизацию, которые могут значительно повысить производительность.

👉 Предположим, у нас есть DataFrane с двумя столбцами "x" и "y", и мы хотим создать новый столбец "z", который является суммой "x" и "y" для каждой строки.

import pandas as pd

df = pd.DataFrame({'x': [1, 2, 3], 'y': [4, 5, 6]})

for index, row in df.iterrows():
df.loc[index, 'z'] = row['x'] + row['y']

👷‍♀️ Метод .iterrows() перебирает каждую строку DataFrame, а затем вычисляет сумму "x" и "y" для каждой строки. Метод .loc используется для установки значения нового столбца "z" для каждой строки.

♾️ Теперь давайте посмотрим, как мы можем использоваь векторизацию. Pandas предоставляет множество векторизованных операций, которые могут быть применены сразу ко всему столбцу или DataFrame, что может быть намного быстрее, чем итерация строк.

df['z'] = df['x'] + df['y']

➕ Создаем новый столбец "z", просто складывая столбцы "x" и "y" вместе с помощью оператора "+". Эта операция применяется сразу ко всему DataFrame, что намного быстрее, чем циклическое прохождение по каждой строке.

🍏 Наконец, давайте используем метод .apply() с лямбда-функцией для достижения того же результата.

df['z'] = df.apply(lambda row: row['x'] + row['y'], axis=1)

🐸 Этот код применяет лямбда-функцию к каждой строке DataFrame, чтобы вычислить сумму "x" и "y" и создать новый столбец "z" для сохранения результата.

⚖️ Чтобы сравнить производительность этих трех методов, давайте создадим больший DataFrane со 100 000 строками.

import numpy as np

df = pd.DataFrame({'x': np.random.randint(0, 10, size=100000), 'y': np.random.randint(0, 10, size=100000)})

🧮 Теперь давайте подсчитаем, сколько времени потребуется, чтобы создать новый столбец "z", используя итерацию строк, векторизацию и .apply()

# Итерация строк
start_time = time.time()
for index, row in df.iterrows():
df.loc[index, 'z'] = row['x'] + row['y']
end_time = time.time()
print(f"Time using row iteration: {end_time - start_time:.4f}s")

# Векторизация
start_time = time.time()
df['z'] = df['x'] + df['y']
end_time = time.time()
print(f"Time using vectorisation: {end_time - start_time:.4f}s")

# Apply
start_time = time.time()
df['z'] = df.apply(lambda row: row['x'] + row['y'], axis=1)
end_time = time.time()
print(f"Time using apply with lambda: {end_time - start_time:.4f}s")

Time using row iteration: 5.4305s
Time using vectorisation: 0.0021s
Time using apply with lambda: 0.7210s

🛬 На моем компьютере запуск этого кода занимает около 5 секунд при использовании итерации строк, метод .apply() выполняется почти секунду, а векториазция заняла всего 2 тысячных секунды.

🙇 Как вы думаете, когда использование итерации или метод .apply() оправдано? Какие результаты будут с 1 000 000 строк? Жду Ваших ответов в комментариях!

#pandas

👩‍🎨 Всем привет!

🐍 В продолжении поста о визуализации данных, которая является неотъемлемой частью любого исследования, делюсь подборкой самых популярных библиотек Python, которые помогут Вам в этом нелегком деле.

⚒️ Matplotlib

Matplotlib - библиотека Python для создания статических, интерактивных и анимированных визуализаций на Python. Легко настраиваемая библиотека, и ее API прост в освоении. Отличный выбор как для начинающих, так и для опытных аналитиков данных.

🌊 Seaborn

Seaborn - это библиотека визуализации данных, основанная на Matplotlib. В Seaborn есть множество встроенных тем и цветовых палитр, которые позволяют делать самые красивые графики.

🦫 Plotly

Plotly - это библиотека визуализации данных на Python, которая создает интерактивные визуализации, готовые к публикации, используя Dash. Plotly поддерживает несколько языков, включая Python, R и Julia.

📸 Bokeh

Bokeh - это библиотека визуализации данных на Python, для создания интерактивных визуализаций для веб-браузеров. Она поддерживает инструменты для очистки и соединения данных. Bokeh предназначен для использования с большими наборами данных и может обрабатывать потоковые данные в режиме реального времени. С помощью Bokeh можно создавать визуализации на основе JavaScript, не используя JavaScript.

🦅 Altair

Altair - это декларативная библиотека визуализации для Python, которая предоставляет простой и лаконичный синтаксис для создания визуализаций. Altair построен поверх Vega-Lite. Может использоваться с большими наборами данных.

📊 Ggplot

Ggplot - это библиотека визуализации данных на Python, которая предоставляет API для создания графиков. Она основана на популярном R-пакете ggplot2 и предоставляет аналогичный синтаксис и функционал. Предоставляет широкий спектр возможностей настройки.

🐼 Pandas

Pandas Visualization - это встроенная библиотека визуализации данных, которая предоставляет простой API для создания диаграмм и графиков из DataFrame Pandas.

🌁 HoloViews

HoloViews - это библиотека визуализации данных на Python, которая предоставляет гибкий и мощный API для создания интерактивных визуализаций данных. HoloViews построен поверх Bokeh и поддерживает несколько бэкендов, включая Matplotlib. Богатые возможности для создания аннотаций к графикам.

🙏 Cufflinks

Cufflinks - это библиотека Python для создания интерактивных графиков из DataFrames Pandas с помощью Plotly. Cufflinks также поддерживает несколько стилей построения, включая темы из Matplotlib и Plotly.

🕊️ Pygal

Pygal - это библиотека визуализации данных на Python. Она построена поверх SVG, что позволяет легко встраивать диаграммы в веб-приложения и документы. Pygal поддерживает целый ряд опций настройки, включая темы и цветовые схемы.

🖼️ Vincent

Vincent - это библиотека визуализации данных на Python с использованием Vega и Vega-Lite. Возможно, самое главное, что у Vincent есть Pandas-Fu, и он создан специально для обеспечения быстрого построения графиков DataFrames и Series Pandas.

🔗 Вот данные в табличном виде.

✒️ А какая Ваша любимая библиотека для визуализации?

#подборка #визуализация

👋 Аналитики, привет!

🐼 В технической секции собесеования на аналитика данных, помимо SQL и Python, бывает еще отдельный блок вопросов про Pandas! Собрал некоторые из самых популярных вопросов о Pandas со StackOverflow, чтобы не только подготовиться к собеседованию, но и решать реальные рабочие задачи.

📚 Некоторые темы мы уже разбирали в группе, к ним будет приложена ссылка с соответствующим постом.

1️⃣ "Как выбрать определенные строки из фрейма данных в Pandas?" 🤔

📚 Разбор

🕵️‍♂️ Ответ: Использовать методы .loc или .iloc для выбора строк на основе условий или индекса.

import pandas as pd

df = pd.DataFrame({'Name': ['Alice', 'Bob', 'Charlie', 'David'],
'Age': [25, 30, 35, 40],
'Gender': ['F', 'M', 'M', 'M']})

male_rows = df.loc[df['Gender'] == 'M']
print(male_rows)

2️⃣ "Как сгруппировать данные по столбцам в Pandas и использовать агрегатные функции?" 🤔

🕵️‍♂️ Ответ: Использовать метод .groupby для группировки данных по столбцу, а затем применить к группам агрегатные функции: mean, sum и count.

import pandas as pd

df = pd.DataFrame({'Name': ['Alice', 'Bob', 'Charlie', 'David'],
'Age': [25, 30, 35, 40],
'Gender': ['F', 'M', 'M', 'M'],
'Salary': [50000, 60000, 70000, 80000]})

grouped = df.groupby('Gender')
print(grouped['Salary'].mean())
print(grouped['Salary'].sum())

3️⃣ "Как обработать пропущенные значения во фрейме данных в Pandas?" 🤔

🕵️‍♂️ Ответ: Использовать метод .fillna для заполнения пропущенных значений или используйте метод .dropna для удаления строк или столбцов с пропущенными значениями.

import pandas as pd
import numpy as np

df = pd.DataFrame({'Name': [np.nan, 'Bob', 'Charlie', 'David'],
'Age': [25, 30, np.nan, 40],
'Gender': ['F', 'M', 'M', 'M']})

filled = df.fillna(value={'Age': df['Age'].mean()})
print(filled)

df.dropna()

4️⃣ "Как мне объединить два DataFrames в Pandas?" 🤔

📚 Разбор

🕵️‍♂️ Ответ: Использовать метод .merge для объединения двух DataFrames на основе общего столбца или использовать метод .concat для объединения двух фреймов данных вдоль указанной оси.

import pandas as pd

df1 = pd.DataFrame({'Name': ['Alice', 'Bob', 'Charlie', 'David'],
'Age': [25, 30, 35, 40]})
df2 = pd.DataFrame({'Name': ['Bob', 'Charlie', 'David', 'Eve'],
'Salary': [60000, 70000, 80000, 90000]})

merged = pd.merge(df1, df2, on='Name')
print(merged)

5️⃣ "Как применить функцию к каждому элементу в DataFrame Pandas?" 🤔

📚 Разбор

🕵️‍♂️ Ответ: Использовать метод .apply, чтобы применить функцию к каждому элементу во фрейме данных, как по строкам, так и по столбцам.

import pandas as pd

df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})

def add_one(x):
return x + 1

result = df.apply(add_one)
print(result)

6️⃣ "Как отсортировать DataFrame Pandas по столбцу?" 🤔

🕵️‍♂️ Ответ: Использовать метод .sort_values для сортировки фрейма данных по одному или нескольким столбцам.

import pandas as pd

df = pd.DataFrame({'Name': ['Alice', 'Bob', 'Charlie', 'David'],
'Age': [25, 30, 35, 40]})

sorted_df = df.sort_values(by='Age')
print(sorted_df)

7️⃣ "Как создать новый столбец в DataFrame Pandas на основе существующих столбцов?" 🤔

🕵️‍♂️ Ответ: Использовать оператор присваивания для создания нового столбца на основе существующих столбцов в DataFrame.

import pandas as pd

df = pd.DataFrame({'Name': ['Alice', 'Bob', 'Charlie', 'David'],
'Age': [25, 30, 35, 40],
'Gender': ['F', 'M', 'M', 'M']})

df['IsFemale'] = df['Gender'].apply(lambda x: x == 'F')
print(df)

8️⃣ "Как читать и записывать CSV-файлы с помощью Pandas?" 🤔

🕵️‍♂️ Ответ: Использовать метод .read_csv для чтения данных из CSV-файла в DataFrame Pandas и использовать метод .to_csv для записи DataFrame в CSV-файл.

import pandas as pd

# Reading data from a CSV file
df = pd.read_csv('data.csv')

# Writing data to a CSV file
df.to_csv('output.csv', index=False)

✒️ Какую из тем хотелось бы подробней обсудить?

#pandas