🤔 Если вы работаете с большими наборами данных, формат CSV может оказаться не лучшим вариантом

Формат CSV отлично подходит для обработки небольших наборов данных, однако, при работе с большими объемами информация может стать проблемой.

✅ Здесь в игру вступают бинарные форматы. Эти файлы состоят из нулей и единиц и не могут быть прочитаны человеком, но они обеспечивают высокую эффективность для программ.

Преимущество бинарных форматов в том, что они занимают меньше места и обеспечивают более высокую скорость обработки по сравнению с CSV.

✅ Одним из известных бинарных форматов является Parquet. Этот формат значительно эффективнее использует память по сравнению с CSV.

Например, если запись данных в CSV-файл может занять почти 2 минуты, то процесс записи в Parquet может завершиться всего за 8 секунд.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

👆 Основы SQL

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

✅ Используйте Python, чтобы превратить неструктурированные данные в полезную информацию

Вот основные функции, которые вам нужно знать:

🔢𝗱𝗿𝗼𝗽𝗻𝗮(): очистите свой набор данных, удалив пропущенные значения. Используйте df.dropna(), чтобы исключить строки или столбцы с NaN и сохранить чистоту данных.
   
🔢 𝗳𝗶𝗹𝗹𝗻𝗮(): замените пропущенные значения указанным значением или методом. С помощью df.fillna(value) вы поддерживаете целостность данных, не теряя ценную информацию.
   
🔢 𝗱𝗿𝗼𝗽_𝗱𝘂𝗽𝗹𝗶𝗰𝗮𝘁𝗲𝘀(): убедитесь, что ваши данные уникальны и точны. Используйте df.drop_duplicates(), чтобы удалить дубликаты строк и избежать искажения анализа из-за агрегации избыточных данных.
   
🔢 𝗿𝗲𝗽𝗹𝗮𝗰𝗲(): замените определенные значения во всем наборе данных. Функция df.replace(to_replace, value) позволяет эффективно исправлять ошибки и стандартизировать данные.
   
🔢 𝗮𝘀𝘁𝘆𝗽𝗲(): преобразуйте типы данных для обеспечения согласованности и точности. Используйте функцию приведения df['column'].astype(dtype), чтобы убедиться, что столбцы данных находятся в правильном формате, необходимом для анализа.
   
🔢 𝗮𝗽𝗽𝗹𝘆(): применяйте пользовательские функции к своим данным. df['column'].apply(func) позволяет выполнять сложные преобразования и вычисления. Работает как со стандартными, так и с лямбда-функциями.
   
🔢 𝘀𝘁𝗿.𝘀𝘁𝗿𝗶𝗽(): Очищает текстовые данные, удаляя начальные и конечные пробелы. Использование df['column'].str.strip() помогает избежать труднообнаружимых ошибок при сравнении строк.
   
🔢 𝘃𝗮𝗹𝘂𝗲_𝗰𝗼𝘂𝗻𝘁𝘀(): Получает краткую сводку частоты значений в столбце. df['column'].value_counts() помогает понять распределение ваших данных.
   
🔢 𝗽𝗱.𝘁𝗼_𝗱𝗮𝘁𝗲𝘁𝗶𝗺𝗲(): преобразует строки в объекты datetime для точной обработки даты и времени. Для анализа временных рядов использование pd.to_datetime(df['column']) часто будет одним из ваших первых шагов в подготовке данных.
   
🔢🔢 𝗴𝗿𝗼𝘂𝗽𝗯𝘆(): агрегирует данные на основе определенных столбцов. Используйте df.groupby('column') для выполнения таких операций, как сумма, среднее значение или подсчет сгруппированных данных.

⚠️Чтобы использовать указанные функции для обработки и анализа данных в Python, вам нужна библиотека Pandas.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

📌 Шпаргалка по спискам Python

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

😞 В чем разница между UNION и UNION ALL

Оба оператора UNION и UNION ALL используются для объединения результатов двух или более запросов SELECT, но они по-разному обрабатывают дублирующиеся записи.

😃 UNION (удаляет дубликаты)
Оператор UNION автоматически объединяет наборы результатов и удаляет дубликаты строк. Это приводит к тому, что в итоговом наборе данных остаются только уникальные записи. Он выполняет неявную операцию DISTINCT, что может повлиять на производительность, особенно при большом объеме данных.

SELECT employee_id, department_id FROM employees 
UNION 
SELECT employee_id, department_id FROM managers;

😄 UNION ALL (сохраняет дубликаты)
В отличие от UNION, оператор UNION ALL объединяет наборы результатов, не удаляя дубликаты. Это делает его более быстрым, так как не нужно выполнять операцию по исключению дубликатов.

SELECT employee_id, department_id FROM employees 
UNION ALL 
SELECT employee_id, department_id FROM managers;

Основные отличия:
😫 UNION удаляет дубликаты, что может привести к снижению производительности, особенно при работе с большими объемами данных.
😫 UNION ALL сохраняет все записи, включая дубликаты, что делает его более эффективным и быстрым вариантом для объединения данных.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🤨 Попали прямо в точку))

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

➡️ Способы установки библиотек в Python

🔴pip: Стандартный менеджер пакетов для установки библиотек из PyPI.

🟢conda: Менеджер пакетов, используемый в Anaconda/Miniconda, поддерживает Python и другие языки.

🟠Из исходного кода: Установка библиотеки напрямую из репозитория или локального исходного кода.

🔵Из .whl файла: Установка библиотеки из предварительно собранного дистрибутива в формате .whl.

🔴Виртуальное окружение: Создание изолированной среды для управления зависимостями проекта.

🟢poetry: Современный инструмент для управления зависимостями и создания проектов.

🟠easy_install: Устаревший менеджер пакетов, предшественник pip.

🔵Через IDE: Установка библиотек через встроенные инструменты в IDE, такие как PyCharm или VS Code.

🔴Системные пакеты: Установка системных зависимостей, необходимых для работы некоторых библиотек.

🟢Проверка установленных библиотек: Просмотр списка установленных библиотек в текущем окружении.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

👉 «Подчиненный перед лицом начальствующим должен иметь вид лихой и придурковатый, дабы разумением своим не смущать начальство»

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

💎 Рефакторинг в Python

Рефакторинг в Python — это процесс улучшения структуры вашего кода без изменения его функциональности. Это помогает сделать код более читабельным, поддерживаемым и оптимизированным.

Вот несколько общих советов и техник для рефакторинга:

🌸 Избегайте дублирования кода:

Если вы заметили, что один и тот же код повторяется в разных частях программы, подумайте о том, чтобы вынести его в отдельную функцию или класс.

🌸 Используйте понятные имена переменных и функций:

Имена должны быть описательными, чтобы другие программисты могли быстро понять, что делает ваш код.

🌸 Разделяйте большие функции:

Если функция становится слишком большой, попробуйте разбить ее на несколько меньших, каждая из которых выполняет одну конкретную задачу.

🌸 Убирайте "магические числа":

Заменяйте числа, которые используются в коде, на константы с понятными именами. Это делает код более читабельным.

🌸 Используйте библиотеки стандартной библиотеки:

Python имеет мощную стандартную библиотеку, которая может упростить ваш код. Старайтесь использовать уже готовые решения вместо написания собственного кода.

🌸 Применяйте тестирование:

Реализуйте модульные тесты, чтобы убедиться, что при рефакторинге функциональность не была нарушена. Это позволит вам безопаснее вносить изменения.

🌸 Следите за стилем кода:

Соблюдайте PEP 8 — стиль кодирования для Python, чтобы ваш код был более согласованным и структурированным.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🔥 Полезные шпаргалки по Python

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🍺 Кайфуем сегодня

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

👩‍💻 Горячие клавиши для VS Code

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

Парсим фиды (RSS-ленты)

Feedparser - это удобная библиотека Python, которая предоставляет простой и эффективный способ для чтения данных из различных RSS/Atom-лент.

Она обеспечивает легкий доступ к информации, содержащейся в различных форматах фидов, включая заголовки, описания, ссылки и другие данные.

Этот код загружает данные из RSS-ленты с веб-сайта и выводит заголовки и описания новостей

Установка библиотеки:

pip install feedparser

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

😘 Именно то самое чувство ©

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🟨 Инструмент для анализа кода Python

Vulture — это инструмент для статического анализа кода на Python, который помогает находить "мертвый" код, то есть код, который никогда не используется в проекте.

🟡 Это могут быть неиспользуемые переменные, функции, классы или импорты. Удаление такого кода делает проект чище, уменьшает его размер и улучшает читаемость.

Установка библиотеки:

pip install vulture

➡️ Запуск Vulture (в терминале запустить Vulture, указав путь к проекту):

vulture my_project/

Vulture анализирует код и выводит список неиспользуемых элементов.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

💊 Использование case(), or_() и and_() в SQLAlchemy

SQLAlchemy предоставляет мощные инструменты для создания гибких SQL-запросов.

😫Функция case() используется для создания условных выражений, аналогично оператору CASE в SQL.

Пример:

from sqlalchemy import case

query = session.query(
    User.name,
    case(
        (User.age >= 18, "Adult"),
        (User.age < 18, "Child")
    ).label("age_group")
)

😫Функция or_() позволяет комбинировать условия с помощью логического оператора OR.

Пример:

from sqlalchemy import or_

query = session.query(User).filter(or_(User.name == "John", User.age == 25))

😫Функция and_() используется для комбинирования условий с помощью логического оператора AND.

Пример:

from sqlalchemy import and_

query = session.query(User).filter(and_(User.name == "John", User.age == 25))

🧪Использование данных функций значительно повышают гибкость и читаемость SQL-запросов.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code