✈️ Простенькая и стильная шпаргалка, объясняющая, как работает GIT

Git — это система контроля версий, которая позволяет разработчикам отслеживать изменения в коде, сотрудничать в реальном времени и управлять проектами более эффективно.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

👩‍💻 Список технологий и инструментов для дата-инженеров

Эти инструменты и технологии помогают данным инженерам эффективно работать с данными, от извлечения и загрузки до анализа и визуализации.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

💥 Кухня дата-сайентиста

Работа дата-сайентиста (data scientist) заключается в анализе и интерпретации сложных данных для извлечения полезной информации и разработки моделей, которые помогают принимать обоснованные решения.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

👻 Оптимизация выбора признаков в машинном обучении

Алгоритм mRMR (minimum Redundancy Maximum Relevance) предлагает инновационный подход к автоматическому выбору признаков, позволяя быстро выявить наиболее информативные и минимально избыточные функции для ваших моделей.

🟡Этот алгоритм масштабируемый и предназначен для оптимизации выбора признаков в вашем наборе данных.

Он помогает упростить модель, исключая менее значительные признаки и сосредотачиваясь только на тех, которые действительно влияют на производительность.

Установка библиотеки:

pip install mrmr-selection

💻 GitHub

⤵️ mRMR отлично интегрируется с наиболее востребованными библиотеками анализа данных, такими как Pandas, Polars и Spark.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

✅ ООП (суть)

Пример реализации класса на Python.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

📊 Анализа данных с использованием ИИ

PandasAI представляет собой инструмент, который обогащает возможности библиотеки Pandas, интегрируя генеративный искусственный интеллект в процесс анализа данных.

Основные возможности PandasAI:

🔘Очистка данных:

Один из наиболее трудоемких процессов в анализе данных — это очистка данных. PandasAI позволяет легко обрабатывать и очищать данные, избавляясь от шума и недостоверной информации.

🔘Замещение недостающих значений:

В данных зачастую могут быть пропущенные значения. PandasAI предлагает автоматическое заполнение недостающих данных, что значительно ускоряет процесс подготовки к анализу.

🔘Генерация новых функций:

Создание новых функций на основе существующих данных может быть сложной задачей. С PandasAI пользователи могут легко генерировать новые переменные, основанные на правилах и логике, которые они задают на естественном языке.

🔘Анализ и манипуляции с данными:

PandasAI упрощает манипуляцию с данными, позволяя выполнять сложные анализы всего лишь с помощью текстовых команд.

🔘Создание визуализаций:

Библиотека также поддерживает возможность создания различных графиков и визуализаций, что позволяет более наглядно представлять результаты анализа.

Установка библиотеки:

pip install pandasai

💻 GitHub

➡️ С его помощью становится возможным выполнять сложные задачи, используя только простые команды на естественном языке.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🖥 Визуализация данных с Pandas

Библиотеки Pandas и Matplotlib делают процесс визуализации простым и доступным.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

♋️ Ошибка 404: мотивация не найдена

Утро программиста: когда даже лучший алгоритм не помогает встать с кровати.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🔈 Получаем аудиодорожку из видео

MoviePy — это библиотека для редактирования видео и работы с мультимедийными файлами на Python.

➡️Она позволяет выполнять множество операций, включая обрезку, изменение формата и извлечение аудио.

Установка библиотеки:

pip install moviepy

⏩ Вы можете изменить расширение в зависимости от ваших потребностей (например, на WAV).

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

⬆️ Генерация данных и их визуализация

Библиотека drawdata позволяет генерировать данные с заданными распределениями, что очень удобно для экспериментов и тестирования различных алгоритмов кластеризации.

✨ Основной фишкой этой библиотеки является интерактивность, которая дает возможность непосредственно рисовать данные в Jupyter Notebook.

import pandas as pd
import seaborn as sns
from drawdata import draw_scatter
draw_scatter()


df = pd.read_clipboard(sep=',')
sns.scatterplot(data=df, x='x', y='y', hue='z')

🟡При вызове draw_scatter() откроется пользовательский интерфейс, где вы сможете настроить распределение данных по своему усмотрению.

Установка библиотеки:

pip install drawdata

🗂 Документация

➡️Сгенерированные данные можно легко сохранить в формате CSV или JSON для дальнейшего использования.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🐍 Основные изменения в Python 3.13

Python 3.13, опубликованный 7 октября 2024 года, предлагает множество новых функций, улучшающих эффективность, безопасность и удобство работы:

🔢Новый интерпретатор

Интерактивная оболочка по умолчанию с поддержкой многострочного редактирования, истории команд и цветных промптов.

🔢Улучшения читаемости ошибок

Трейсбэки теперь отображаются с цветами по умолчанию. Сообщения об ошибках стали более информативными, включая предложения по исправлению.

🔢Экспериментальный Free-Threaded CPython

Экспериментальная поддержка работы без Global Interpreter Lock (GIL), что позволяет использовать возможности многопроцессорных систем.

🔢Just-In-Time (JIT) компилятор

Экспериментальный JIT-компилятор, который может значительно ускорить выполнение некоторых Python-программ.

🔢Улучшения стандартной библиотеки

Удалены устаревшие модули и функции. Добавлены новые функции в модули argparse, array, ast и asyncio.

🔢Поддержка мобильных платформ

Обеспечена поддержка мобильных платформ iOS и Android, которая отнесена к третьему уровню (возможность создавать и тестировать Python-приложения напрямую на мобильных устройствах).

🔢Безопасность

Улучшения в безопасности, включая новые флаги по умолчанию для сетевых соединений.

🔢Типизация

Типовые параметры теперь поддерживают значения по умолчанию, добавлена возможность маркировки устаревших типов.

🔢Другие изменения

Улучшения в компиляторе, новые атрибуты для классов и изменения в поведении некоторых встроенных функций.

🗂 Документация

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🎚 "Идиот восхищается сложностью, гений восхищается простотой." — Терри Дэвис

Эта замечательная цитата подчеркивает важность умения находить простоту в сложных концепциях.

🔴 В Python простота действительно является ключевым принципом! PEP (Python Enhancement Proposals) отражает это стремление через различные предложения, направленные на улучшение языка.

🤔 Одним из ярких примеров является PEP 20 — "The Zen of Python".

Этот документ сводит главные философские принципы Python к кратким и лаконичным утверждениям, которые служат руководством для разработчиков.

✅ Нахождение простоты в сложности — важный навык, который делает код более понятным и поддерживаемым.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🤔 Какой из них вы написали первым?

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🕸 Создание изображений с помощью Imagen 3 теперь доступно бесплатно всем пользователям Gemini по всему миру

Gemini умеет отвечать на вопросы, генерировать идеи, пересказывать тексты, писать код и переводить.

Кроме того, она мультимодальная, то есть распознает информацию не только в виде текста, но и в картинках, аудио и видео.

✅️ AI-модели Google могут быть полезны разработчикам приложений, так как Gemini интегрируется через API.

➡️ Необходимая документация для этого опубликована на официальном сайте, и её также можно использовать в браузере.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

💾 Игра «Камень, ножницы, бумага» на Python

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code