😡 Дополнительные полезные команды SQL для аналитиков данных (ч.2)

🔹 GROUP BY — группировка и агрегация

SELECT department, AVG(salary) FROM employees GROUP BY department;  -- Средняя зарплата по отделам  

🔹 JOIN — объединение таблиц

SELECT e.name, d.department_name  
FROM employees e  
JOIN departments d ON e.department_id = d.id;  

🔹 LIKE — поиск по шаблону

SELECT * FROM employees WHERE name LIKE 'Иван%';  -- Имена, начинающиеся на "Иван"  

🤨Этих базовых команд SQL достаточно для 80% задач аналитики данных.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

⚙️ Автоматизация управления кластерами PostgreSQL с Patroni

Patroni — это мощное и гибкое решение для управления высокодоступными кластерами PostgreSQL.

Он выполняет роль внешнего сервиса по отношению к PostgreSQL, действуя как менеджер кластера.

➡️ Основной задачей Patroni является обеспечение надежного переключения роли ведущего узла на резервный узел, что критически важно для высокодоступных систем.

Установка библиотеки:

pip install patroni

💻 GitHub

➡️ Этот инструмент существенно упрощает администрирование баз данных, обеспечивая автоматическое переключение ролей узлов, поддержку различных типов репликации и интеграцию с распределёнными системами хранения конфигурации.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

😵‍💫 Сравнение операций в Pandas и SQL

Эта таблица наглядно демонстрирует, как похожие операции выглядят по-разному в Pandas и SQL.

У каждого инструмента есть свои сильные стороны, в зависимости от контекста и требований задачи анализа данных.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🤔 Вот так поворот

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🚀 Почему стоит перейти с Pandas на FireDucks

FireDucks — это мощная альтернатива Pandas, которая предлагает высокую производительность, простоту использования и оптимизацию работы с данными.

⚡️Чтобы начать использовать FireDucks, нужно изменить всего одну строку кода:

import pandas as pd   # Заменить на
import fireducks.pandas as pd

Все остальное в вашем коде останется без изменений!

⚡️Pandas работает на одном ядре вашего процессора, тогда как FireDucks использует все ядра.

⚡️Pandas выполняет операции сразу (жадное выполнение), в то время как FireDucks использует ленивое выполнение.
Это значит, что FireDucks может оптимизировать выполнение и улучшить производительность.

⚡️FireDucks — в среднем в 50 раз быстрее, чем Pandas.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🕺 QuickRef.ME — ваш гид по миру IT-шпаргалок

Быстрые справочники по программированию, ИИ и дизайну в одном месте.

🖱️ Ускорение работы (все шпаргалки под рукой)
🖱️ Экономия времени на поиск информации
🖱️ Удобное обучение новым технологиям

🗣️ Must-have ресурс для каждого разработчика — знания без лишней воды!

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🙂 Методы списков Python

Комбинация этих методов позволяет эффективно работать со списками и упрощает решение задач, связанных с обработкой данных в Python.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Codeв

🌳Удобное управление древовидными структурами с anytree

anytree — это легковесная Python-библиотека для работы с деревьями (иерархическими структурами данных).

Идеально подходит для задач, где нужно строить, анализировать и визуализировать древовидные зависимости.

⚙️ Ключевая функция:
Создание, модификация и обход деревьев с поддержкой рекурсивных алгоритмов и экспорта в графический формат (например, через Graphviz).

Установка библиотеки:

pip install anytree

💻 GitHub

🙋 Преимущества:

#️⃣

Простота API

— интуитивные методы для добавления узлов, поиска родителей/потомков.

#️⃣

Визуализация

— встроенная поддержка экспорта в DOT-формат для отрисовки деревьев.

#️⃣

Гибкость

— совместимость с любыми Python-объектами (узлы могут содержать пользовательские данные).

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

👩‍💻 Как анализировать зашифрованный трафик

mitmproxy — это инструмент для перехвата и анализа HTTP/HTTPS-трафика.

🟡Он позволяет разработчикам и тестировщикам видеть, что происходит в сетевых запросах и ответах, а также изменять их в реальном времени. Пользователь настраивает свой браузер или устройство так, чтобы они отправляли запросы через mitmproxy. Это позволяет видеть все детали запроса и ответа, включая заголовки, куки и содержимое.

Установка библиотеки:

pip install mitmproxy

🗂 Документация

➡️ mitmproxy может расшифровывать SSL/TLS-соединения, что позволяет анализировать зашифрованный трафик.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🙂 В коде есть много ошибок, а в понедельнике — всего одна: необходимость работать

have a nice day!

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

⚡Работа с архивами 7z в Python через py7zr

py7zr — это библиотека для работы с архивами формата 7z прямо из Python.

Она позволяет создавать, распаковывать и управлять сжатыми файлами с поддержкой шифрования.

💳 Ключевая функция:
Чтение и запись архивов 7z с высокой степенью сжатия, включая AES-256 шифрование.

Установка библиотеки:

pip install py7zr

💻 GitHub

✈️ Преимущества:

#️⃣

Поддержка многопоточного сжатия для ускорения обработки

#️⃣

Совместимость с форматом 7z (LZMA, LZMA2, BZip2)

#️⃣

Интеграция с Python-экосистемой (контекстные менеджеры, потоковая обработка)

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

👍 От прогресса не уйти

ИИ уже меняет нашу жизнь: от голосовых помощников и рекомендательных систем до сложных медицинских и научных исследований.

✏️Но важно понимать, что ИИ — это инструмент.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code