📷 Искусство сочетания нарративов

Видео является оригинальной и веселой интерпретацией двух культурных феноменов, заставляющей задуматься о сочетании различных нарративов и стилей.

Это можно сопоставить с Python: язык позволяет комбинировать библиотеки и подходы для создания уникальных и креативных решений, как и в этом видео.

😀Не бойтесь придумывать новое — эксперименты и оригинальность могут привести к удивительным результатам!

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🔵 Конвертация данных из CSV в Parquet

Одним из самых простых способов конвертировать CSV файл в Parquet формат является использование библиотеки pandas.

Однако, если файл слишком большой, это может привести к ошибкам из-за нехватки памяти.

❕В таких случаях библиотека polars представляет собой отличную альтернативу, позволяя обрабатывать CSV файлы без загрузки всего файла в оперативную память.

import polars as pl

# Загрузка и сохранение CSV файла в формате Parquet
csv_file_path = 'data.csv'
parquet_file_path = 'data.parquet'

pl.scan_csv(csv_file_path).sink_parquet(parquet_file_path, compression="zstd", row_group_size=100_000)

print("Файл успешно переведен из CSV в Parquet!")

Установка библиотеки:

pip install polars

🟡 Конвертация данных из CSV в Parquet может значительно улучшить производительность ваших приложений, особенно при работе с большими объемами информации.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🔥 Самые важные команды в SQL

Эти команды являются основными строительными блоками для работы с данными в SQL.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

👛 Преобразование математических формул в код

Библиотека Pix2TeX, предназначенная для преобразования математических формул из изображений в код LaTeX.

➡️ Данный инструмент позволяет сделать скриншот математической формулы и получить эквивалентный код LaTeX.

Установка библиотеки:

pip install "pix2tex[gui]"

💻 GitHub

⏩ Основная цель проекта — разработка системы, которая использует обучение на изображениях для распознавания математических формул и возврата их представления в формате LaTeX.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

💫 Когда всю неделю вы ждете развязки, а в выходные наконец-то попадаете в эпизод с интригующим поворотом сюжета

С началом новой недели, программисты!

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

💻 Обработка "кривых" CSV-файлов

CSV Trimming — это Python-пакет, который позволяет легко и быстро очищать CSV-файлы, превращая их в аккуратно отформатированные документы.

Он может справиться с различными проблемами:

🔵Дублированные заголовки схемы: Когда в файле повторяются заголовки столбцов.
🔵Повреждённые данные: Например, записи типа #RIF, которые часто встречаются в некорректных файлах.
🔵Паддинг и частичные строки: Когда строки имеют лишние пробелы или частично заполнены.

Установка библиотеки:

pip install csv_trimming

💻 GitHub

ℹ️ CSV Trimming дополняет библиотеку Pandas, поскольку она работает с файлами, которые уже можно прочитать с помощью Pandas. Если файл слишком некорректный и не может быть прочитан Pandas, утилита не сможет его обработать.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

✈️ Простенькая и стильная шпаргалка, объясняющая, как работает GIT

Git — это система контроля версий, которая позволяет разработчикам отслеживать изменения в коде, сотрудничать в реальном времени и управлять проектами более эффективно.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

👩‍💻 Список технологий и инструментов для дата-инженеров

Эти инструменты и технологии помогают данным инженерам эффективно работать с данными, от извлечения и загрузки до анализа и визуализации.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

💥 Кухня дата-сайентиста

Работа дата-сайентиста (data scientist) заключается в анализе и интерпретации сложных данных для извлечения полезной информации и разработки моделей, которые помогают принимать обоснованные решения.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

👻 Оптимизация выбора признаков в машинном обучении

Алгоритм mRMR (minimum Redundancy Maximum Relevance) предлагает инновационный подход к автоматическому выбору признаков, позволяя быстро выявить наиболее информативные и минимально избыточные функции для ваших моделей.

🟡Этот алгоритм масштабируемый и предназначен для оптимизации выбора признаков в вашем наборе данных.

Он помогает упростить модель, исключая менее значительные признаки и сосредотачиваясь только на тех, которые действительно влияют на производительность.

Установка библиотеки:

pip install mrmr-selection

💻 GitHub

⤵️ mRMR отлично интегрируется с наиболее востребованными библиотеками анализа данных, такими как Pandas, Polars и Spark.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

✅ ООП (суть)

Пример реализации класса на Python.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

📊 Анализа данных с использованием ИИ

PandasAI представляет собой инструмент, который обогащает возможности библиотеки Pandas, интегрируя генеративный искусственный интеллект в процесс анализа данных.

Основные возможности PandasAI:

🔘Очистка данных:

Один из наиболее трудоемких процессов в анализе данных — это очистка данных. PandasAI позволяет легко обрабатывать и очищать данные, избавляясь от шума и недостоверной информации.

🔘Замещение недостающих значений:

В данных зачастую могут быть пропущенные значения. PandasAI предлагает автоматическое заполнение недостающих данных, что значительно ускоряет процесс подготовки к анализу.

🔘Генерация новых функций:

Создание новых функций на основе существующих данных может быть сложной задачей. С PandasAI пользователи могут легко генерировать новые переменные, основанные на правилах и логике, которые они задают на естественном языке.

🔘Анализ и манипуляции с данными:

PandasAI упрощает манипуляцию с данными, позволяя выполнять сложные анализы всего лишь с помощью текстовых команд.

🔘Создание визуализаций:

Библиотека также поддерживает возможность создания различных графиков и визуализаций, что позволяет более наглядно представлять результаты анализа.

Установка библиотеки:

pip install pandasai

💻 GitHub

➡️ С его помощью становится возможным выполнять сложные задачи, используя только простые команды на естественном языке.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🖥 Визуализация данных с Pandas

Библиотеки Pandas и Matplotlib делают процесс визуализации простым и доступным.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

♋️ Ошибка 404: мотивация не найдена

Утро программиста: когда даже лучший алгоритм не помогает встать с кровати.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🔈 Получаем аудиодорожку из видео

MoviePy — это библиотека для редактирования видео и работы с мультимедийными файлами на Python.

➡️Она позволяет выполнять множество операций, включая обрезку, изменение формата и извлечение аудио.

Установка библиотеки:

pip install moviepy

⏩ Вы можете изменить расширение в зависимости от ваших потребностей (например, на WAV).

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

⬆️ Генерация данных и их визуализация

Библиотека drawdata позволяет генерировать данные с заданными распределениями, что очень удобно для экспериментов и тестирования различных алгоритмов кластеризации.

✨ Основной фишкой этой библиотеки является интерактивность, которая дает возможность непосредственно рисовать данные в Jupyter Notebook.

import pandas as pd
import seaborn as sns
from drawdata import draw_scatter
draw_scatter()


df = pd.read_clipboard(sep=',')
sns.scatterplot(data=df, x='x', y='y', hue='z')

🟡При вызове draw_scatter() откроется пользовательский интерфейс, где вы сможете настроить распределение данных по своему усмотрению.

Установка библиотеки:

pip install drawdata

🗂 Документация

➡️Сгенерированные данные можно легко сохранить в формате CSV или JSON для дальнейшего использования.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🐍 Основные изменения в Python 3.13

Python 3.13, опубликованный 7 октября 2024 года, предлагает множество новых функций, улучшающих эффективность, безопасность и удобство работы:

🔢Новый интерпретатор

Интерактивная оболочка по умолчанию с поддержкой многострочного редактирования, истории команд и цветных промптов.

🔢Улучшения читаемости ошибок

Трейсбэки теперь отображаются с цветами по умолчанию. Сообщения об ошибках стали более информативными, включая предложения по исправлению.

🔢Экспериментальный Free-Threaded CPython

Экспериментальная поддержка работы без Global Interpreter Lock (GIL), что позволяет использовать возможности многопроцессорных систем.

🔢Just-In-Time (JIT) компилятор

Экспериментальный JIT-компилятор, который может значительно ускорить выполнение некоторых Python-программ.

🔢Улучшения стандартной библиотеки

Удалены устаревшие модули и функции. Добавлены новые функции в модули argparse, array, ast и asyncio.

🔢Поддержка мобильных платформ

Обеспечена поддержка мобильных платформ iOS и Android, которая отнесена к третьему уровню (возможность создавать и тестировать Python-приложения напрямую на мобильных устройствах).

🔢Безопасность

Улучшения в безопасности, включая новые флаги по умолчанию для сетевых соединений.

🔢Типизация

Типовые параметры теперь поддерживают значения по умолчанию, добавлена возможность маркировки устаревших типов.

🔢Другие изменения

Улучшения в компиляторе, новые атрибуты для классов и изменения в поведении некоторых встроенных функций.

🗂 Документация

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code