🗂 Работа с файлами CSV в Python с помощью pandas

Использование библиотеки pandas для работы с CSV-файлами в Python значительно облегчает обработку, анализ и манипуляцию данными. В этом посте рассмотрим базовые примеры работы с библиотекой.

✔️ Установка библиотеки

pip install pandas

⚙️ Пример использования

import pandas as pd

# Чтение CSV файла
df = pd.read_csv('data.csv')

# Вывод первых 5 строк
print(df.head())

# Запись данных обратно в CSV файл
df.to_csv('output.csv', index=False)

➡️ Этот скрипт загружает CSV-файл в DataFrame, выводит первые 5 строк и записывает данные обратно в новый файл.

🔍 Фильтрация данных

Фильтрация позволяет выбрать только те строки, которые удовлетворяют определённым условиям.

# Фильтрация строк, где значение в столбце 'age' больше 30
filtered_df = df[df['age'] > 30]

print(filtered_df)

➡️ В этом примере выбираются строки, где значение в столбце age превышает 30.

✅ Объединение нескольких файлов

Если у вас есть несколько CSV-файлов, их можно легко объединить в один.

import glob

# Получение списка всех CSV файлов в текущей директории
csv_files = glob.glob('*.csv')

# Чтение и объединение всех CSV файлов
df_list = [pd.read_csv(file) for file in csv_files]
combined_df = pd.concat(df_list, ignore_index=True)

print(combined_df)

Здесь все CSV-файлы в текущей директории загружаются и объединяются в один DataFrame.

➡️ Ссылка на документацию Pandas

🐍 Ghostly Python | #библиотеки

🖥 Самые частые ошибки новичков в Python (и как их избежать)

В этом видео рассматриваются распространённые ошибки, которые часто допускают начинающие разработчики в Python. Вы узнаете, как эти ошибки замедляют ваш проект, создают проблемы для анализа кода и как их исправить, чтобы стать более эффективным программистом.

📱 Ссылка на видео

🐍 Ghostly Python | #уроки

💡 Идея пет-проекта: бот для загрузки видео с YouTube и извлечения его аудиодорожки

Суть данного проекта заключается в том, что необходимо создать телеграм-бота, который позволит пользователям скачивать видео с YouTube указав ссылку на него. А также, извлекать только аудиодорожку из видео в формате .mp3.

⚙️ Основной функционал

💬 Загрузка видео: Пользователь отправляет боту ссылку на видео с YouTube, и бот загружает это видео.

💬 Выбор формата: Пользователь может указать формат и качество видео, которое он хочет загрузить (например, 720p, 1080p). А также выбрать загрузку только аудиодорожки.

💬 Прогресс загрузки: Бот будет сообщать пользователю о прогрессе загрузки видео.

💬 Получение файла: По завершении загрузки, бот должен прислать файл пользователю.

❔ Что используем:

Язык: Python
Библиотеки: pytube, aiogram или pyTelegramBotApi

⚡️ Сложность: средняя

Если хотите урок с полной реализацией этой идеи, оставляйте реакции 🔥

🐍 Ghostly Python | #идеи

🐍 Django-аутентификация: просто о сложном

Аутентификация — ключевой аспект любого веб-приложения. В этой статье рассматриваются различные подходы к реализации аутентификации в Django, начиная с базовых встроенных методов и переходя к более продвинутым, таким как двухфакторная аутентификация (2FA) и OAuth2.

🖥 Перейти к статье

🐍 Ghostly Python | #статьи

📱 Лямбда-функции в Python: компактный способ работы с функциями

Лямбда-функции — это краткий способ определения анонимных функций в Python. Они полезны, когда вам нужно написать простую функцию прямо "на месте", без явного её объявления через def.

📌 Синтаксис:

lambda аргументы: выражение

• lambda: ключевое слово для создания лямбда-функции.
• аргументы: входные данные функции.
• выражение: результат, который возвращает функция.

⚙️ Где и как их использовать?

1. Мы можем использовать лямбда-функции, вместо коротких функций. Например:

add = lambda x, y: x + y
print(add(3, 5)) # результат 8

2. Также, можем брать на вооружение при работе внутри функций высшего порядка (map, filter, sorted). Например, если нам необходимо удвоить каждый элемент списка:

numbers = [1, 2, 3, 4, 5]

# Удваиваем каждый элемент списка
doubled = list(map(lambda x: x * 2, numbers))
print(doubled)
# Вывод: [2, 4, 6, 8, 10]

⚠️ Не стоит прибегать к лямбда-функциям, если:

• функция содержит более одной строки или выполняет несколько задач
• необходим повторный вызов функции в будущем

🐍 Ghostly Python | #фишки

📖 Автоматизация рутинных задач с помощью Python

Книга подходит даже для тех, кто никогда не программировал. Узнайте, как работать с файлами, собирать данные с веб-сайтов, обрабатывать PDF-документы, отправлять email и многое другое.

Обновлённое второе издание включает новые главы о проверке данных и автоматизации Google Таблиц.

🗄 Скачать PDF из архива

🐍 Ghostly Python | #книги

🖼️ Библиотека: HDWallet

HDWallet — это библиотека для Python, которая позволяет легко создавать, управлять и использовать иерархически детерминированные криптовалютные кошельки (HD wallets). Она поддерживает множество популярных криптовалют и использует стандарты BIP-32, BIP-39 и BIP-44.

📌 Основные возможности

• Генерация HD-кошельков из seed-фразы или мастер-ключа.
• Создание seed-фраз по стандарту BIP-39.
• Поддержка более 10 криптовалют (Bitcoin, Ethereum и др.).
• Получение адресов, приватных и публичных ключей.
• Удобная работа с различными путями деривации.

⚙️ Пример использования

➡️ Генерация нового кошелька:

from hdwallet import HDWallet
from hdwallet.symbols import BTC

# Генерация нового кошелька для Bitcoin
hdwallet = HDWallet(symbol=BTC)
hdwallet.from_mnemonic("your seed phrase here", passphrase="optional passphrase")
hdwallet.from_index(0)  # Первый дочерний ключ
print(f"Адрес: {hdwallet.p2pkh_address()}")

➡️ Создание seed-фразы:

from hdwallet.utils import generate_mnemonic

mnemonic = generate_mnemonic()
print(f"Сгенерированная seed-фраза: {mnemonic}")

Можем использовать для простого управления крипто-кошельками в Python, или для интеграции в криптопроекты и кошельки.

🐍 Ghostly Python | #библиотеки

✏️ Методы строк в Python

🐍 Ghostly Python | #шпаргалки

📱 Comprehensive Python Cheatsheet

Эта удобная шпаргалка по Python создана для того, чтобы всегда держать под рукой ключевые функции и примеры кода. Независимо от вашего уровня знаний, она поможет быстро вспомнить, как решить ту или иную задачу.

📌 Что внутри?

• Базовый синтаксис: переменные, циклы, условия.
• Работа со строками и списками: часто используемые методы.
• Файлы и исключения: примеры открытия, чтения и записи данных.
• Модули и пакеты: основы импорта и работы с библиотеками.
• Популярные библиотеки: краткие примеры использования pandas, requests, numpy и других.

⛓️ Ссылка на шпаргалку

🐍 Ghostly Python | #шпаргалки

📖 Black Hat Python

Когда речь идет о создании мощных и эффективных хакерских инструментов, большинство аналитиков по безопасности выбирают Python. Во втором издании бестселлера Black Hat Python вы исследуете темную сторону возможностей Python.

📌 Что внутри?

🟢 Разработка инструментов для тестирования на проникновение.
🟢 Создание сетевых сканеров и анализаторов трафика.
🟢 Написание вредоносных программ и управление ботнетами.
🟢 Обход антивирусных защит и создание эксплойтов.
🟢 Использование Python для автоматизации атак и защиты.

Хорошее руководство для начинающих, чтобы освоить основы кибербезопасности, пентестинга и написания утилит для защиты систем.

🗄 Скачать PDF из архива

🐍 Ghostly Python | #книги

📱 Фишка: dataclasses — избавляемся от лишнего кода

Работая с классами, часто приходится писать много однотипного кода: конструкторы, методы сравнения, представление объектов. Dataclasses позволяют не тратить на это время.

С помощью декоратора @dataclass Python автоматически создаёт методы __init__, __repr__, __eq__ и другие, освобождая вас от рутины.

⚙️ Пример использования

from dataclasses import dataclass

@dataclass
class User:
    id: int
    name: str
    email: str

user1 = User(1, "Alice", "alice@example.com")
user2 = User(1, "Alice", "alice@example.com")

print(user1)  # User(id=1, name='Alice', email='alice@example.com')
print(user1 == user2)  # True

📌 Что мы получаем?

1. Упрощенную работу с данными — меньше шаблонного кода.
2. Код становится чище и понятнее.
3. Автоматически добавляются методы, но при необходимости их можно переопределить.

Используем, для создания структурированных классов, где нужно хранить только данные. Или для упрощения работы с конфигурациями, результатами запросов или параметрами функций.

🐍 Ghostly Python | #фишки

🚛 Отслеживаем прогресс выполнения в Python

Индикаторы прогресса — это не просто анимация, которая радует глаз, а инструмент который помогает оценить насколько быстро выполняется наш код и сколько еще ждать завершения.

Кто-то может подумать, что это лишнее усложнение кода. Однако, это не так.

В этой статье, вы найдете небольшие примеры, которые покажут, как быстро и просто начать отслеживать прогресс в консоли или в интерфейсе

🖥 Перейти к статье

🐍 Ghostly Python | #статьи

⚙️ Скрипт: Мониторинг изменений на веб-странице

Этот скрипт проверяет изменения на веб-странице, сравнивая текущую версию страницы с её предыдущей версией. Полезно для мониторинга обновлений, новостей или отслеживания изменений на сайтах.

💬 Как работает

💬 Скрипт загружает HTML-код страницы и рассчитывает его хэш с помощью hashlib.
💬 Каждые N секунд загружает страницу и проверяет, изменился ли хэш.
💬 При обнаружении изменений выводит сообщение в консоль.

📂 Скрипт с подробным комментированием кода уже в архиве:

➡️ Скачать...

🐍 Ghostly Python | #скрипты

💬 Выбираем формат реализации пет-проекта

Дорогие подписчики, вы набрали огромное количество реакций под постом с идеей проекта — «Бот для загрузки видео с YouTube». Обещал сделать урок с полной реализацией этого проекта.

Так вот, какой формат вам будет более удобен?

🔥 — формат видео урока с подробным процессом разработки
❤️‍🔥 — пошаговый гайд в формате PDF файла

🐍 Ghostly Python | #заметки

🖼️ Библиотека: PyMongo

PyMongo — это официальная библиотека для взаимодействия с MongoDB, одной из самых популярных NoSQL баз данных. Она позволяет легко подключаться к базе, управлять данными и выполнять запросы из Python-кода.

📌 Основные возможности

• Подключение к локальной или удалённой MongoDB.
• Создание, чтение, обновление и удаление документов (CRUD-операции).
• Работа с коллекциями и базами данных.
• Полная поддержка MongoDB запросов, индексов и агрегаций.
• Асинхронное взаимодействие через Motor.

⚙️ Пример использования

➡️ Подключение к базе:

from pymongo import MongoClient

# Подключение к MongoDB
client = MongoClient("mongodb://localhost:27017/")

# Выбираем базу данных
db = client["mydatabase"]

# Выбираем коллекцию
collection = db["users"]

➡️ Добавление данных:

user = {"name": "Alice", "age": 25, "city": "Paris"}
collection.insert_one(user)

➡️ Чтение данных:

# Читаем все документы
for user in collection.find():
    print(user)

✔️ Установка

pip install pymongo

➡️ Ссылка на документацию

🐍 Ghostly Python | #библиотеки

📊 Шпаргалка для новичков по Matplotlib

В ней собраны ключевые команды и примеры для создания базовых графиков, настройки визуализации и работы с осями.

📌 Что внутри?

• Основы построения графиков (plt.plot, plt.scatter).
• Настройка легенд, заголовков и подписей осей.
• Создание гистограмм, диаграмм и heatmap.
• Использование стилей и тем оформления.

🗄 Скачать PDF из архива

🐍 Ghostly Python | #шпаргалки

🐍 Ghostly Python | #мемы

🐍 Как изучать Python в 2025 году: дорожная карта

Эта статья представляет собой детальный план обучения Python с нуля. Вы узнаете в каком порядке стоит изучать язык, чтобы переход от простейших концепций к более сложным был плавным и понятным.

🖥 Перейти к статье

🐍 Ghostly Python | #статьи

📱 Фишка: Использование functools.partial для настройки функций

functools.partial позволяет создавать функции с предопределёнными аргументами, что полезно для сокращения кода и повышения читаемости.

⚙️ Пример использования

from functools import partial

def greet(greeting, name):
    return f"{greeting}, {name}!"

# Создаём функцию с предопределённым приветствием
say_hello = partial(greet, "Hello")
print(say_hello("Alice"))
# Вывод: Hello, Alice!

➡️ Пример функции преобразования типов:

int_base_2 = partial(int, base=2)
print(int_base_2("1010"))
# Вывод: 10

Используйте partial для настройки функций и упрощения повторяющихся вызовов!

🐍 Ghostly Python | #фишки

➕ Botasaurus — инструмент для веб-скрейпинга с максимумом удобства и возможностей. Он упрощает создание скрейперов, помогает обходить антибот-защиту и экономит время.

📌 Что предлагает Botasaurus?

➡️ UI для скрейперов
➡️ Обход защиты от ботов
➡️ Экономия на прокси
➡️ Асинхронность и масштабируемость
➡️ Встроенные инструменты: кэширование, очистка данных, профили — всё, что нужно для удобной работы.

📱 Ссылка на GitHub

🐍 Ghostly Python | #инструменты