🔥Что скрывается в ваших данных

Если в вашем датасете десятки или сотни признаков, разобраться в нем “на глаз” практически невозможно. Именно для таких задач существует UMAP.

Он берет сложные многомерные данные и отображает их на плоскости (2D) или в пространстве (3D), стараясь сохранить взаимосвязи между объектами.

Благодаря этому становится проще заметить кластеры, похожие объекты и скрытые закономерности.

Установка:

pip install umap-learn

UMAP часто используют для визуализации данных перед обучением моделей, анализа эмбеддингов и поиска аномалий. Алгоритм легко интегрируется в проекты на Python и поддерживает разные метрики расстояния, поэтому подходит для самых разных типов данных.

⚙ Документация

✅ Мы в Max – подписывайся

👁️‍🗨️ Мониторинг системных ресурсов

psutil — библиотека, которая помогает узнать, что происходит с компьютером прямо из Python.

С её помощью можно проверить загрузку процессора, использование памяти, свободное место на диске, сетевую активность и список запущенных процессов.

Полезные функции:

➖Загрузка процессора — psutil.cpu_percent()

➖ Свободное место на диске — psutil.disk_usage('/')

➖ Использование оперативной памяти — psutil.virtual_memory()

➖ Сетевая активность — psutil.net_io_counters()

➖ Список запущенных процессов — psutil.process_iter()

Установка библиотеки:

pip install psutil

✅ Мы в Max – подписывайся

🔥 Собираем данные с веб-сайтов

Scrapy — это библиотека на Python, которая автоматически собирает информацию с веб-сайтов. Например, с ее помощью можно получить список товаров, цены, новости или любые другие данные со страниц.

Быстрый старт

1️⃣Установка библиотеки:

pip install Scrapy

2️⃣Создание проекта:

scrapy startproject myproject
cd myproject

3️⃣Создание паука:

scrapy genspider myspider example.com

4️⃣Запуск паука:

scrapy crawl myspider -o output.json

Scrapy отлично подходит, когда нужно быстро собрать данные с большого количества страниц и сохранить их в JSON, CSV или другом удобном формате.

💻 GitHub

✅ Мы в Max – подписывайся

💎 Рефакторинг в Python

Рефакторинг — это улучшение кода без изменения его работы. Его цель — сделать программу понятнее, удобнее в поддержке и проще для дальнейшей разработки.

✔️ Не дублируйте код.

Если один и тот же фрагмент повторяется, вынесите его в отдельную функцию или класс.

✔️ Давайте понятные имена.

По названию переменной или функции должно быть сразу ясно, для чего она нужна.

✔️ Разделяйте большие функции.

Одна функция — одна задача. Так код легче читать и изменять.

✔️ Не используйте «магические числа».

Вместо чисел вроде 100 или 3.14 создавайте константы с понятными именами.

✔️ Используйте стандартную библиотеку.

Во многих случаях нужное решение уже есть в Python — не стоит писать его заново.

✔️ Проверяйте код тестами.

Они помогут убедиться, что после рефакторинга программа работает так же, как и раньше.

✔️ Соблюдайте PEP 8.

Единый стиль оформления делает код аккуратным и понятным для всех разработчиков.

✅ Мы в Max – подписывайся

🟨 Инструмент для поиска неиспользуемого кода в Python

Vulture — это утилита, которая помогает найти в проекте код, который нигде не используется.

🟡 Она обнаруживает неиспользуемые функции, классы, переменные, импорты и другие элементы. Это позволяет убрать лишний код, сделать проект чище и упростить его поддержку. Поскольку Python — динамический язык, некоторые результаты стоит проверять вручную.

Установка:

pip install vulture

Проверка проекта:

vulture my_project/

После запуска Vulture покажет список неиспользуемых элементов.

✅ Мы в Max – подписывайся

🦌 Уже дома, но в голове крутится мысль: "Сделал коммит, но есть один нюанс: в прод или в тест?"

✅ Мы в Max – подписывайся

🔥 Нашёл репозиторий, который заменит десятки книг по алгоритмам

TheAlgorithms/Python — один из крупнейших open-source проектов с реализациями алгоритмов и структур данных на Python.

Внутри собрано всё, что должен знать разработчик:
⚫️ Сортировки и алгоритмы поиска;
⚫️ Структуры данных;
⚫️ Динамическое программирование;
⚫️ Графовые алгоритмы;
⚫️ Криптография;
⚫️ Машинное обучение;
⚫️ Компьютерное зрение;
⚫️ Математические алгоритмы;
⚫️ Backtracking и десятки других тем.

🔗 GitHub

💡Это не просто набор кода, а полноценная образовательная база, где каждый алгоритм показывает, как он работает и почему именно так.

✅ Мы в Max – подписывайся

🔸 Создание словаря из двух списков с помощью dict() и zip()

zip() берет по одному элементу из каждого списка и объединяет их в пары.

Затем dict() превращает эти пары в словарь, где первый элемент пары становится ключом, а второй — значением.

x = ['name', 'age', 'country']
y = ['Yoko', 60, 'Angola']

dict1 = dict(zip(x, y))
print(dict1)

Вывод:

{'name': 'Yoko', 'age': 60, 'country': 'Angola'}

Важно: если один список длиннее другого, zip() обработает только те элементы, для которых нашлась пара. Остальные будут проигнорированы.

✅ Мы в Max – подписывайся

🔔 Python Roadmap: структурированный план изучения Python (на основе официальной документации)

Если вы хотите изучить Python последовательно, лучше двигаться от базовых концепций к специализированным библиотекам.

✅ Мы в Max – подписывайся

🖥 Визуальное представление ключевых концепций, команд и структуры языка SQL

✅ Мы в Max – подписывайся

🔥 Запускаем команды терминала прямо из Python с помощью subprocess

Иногда в скрипте нужно выполнить команду так же, как если бы вы ввели её в терминале. Для этого в стандартной библиотеке Python есть модуль subprocess.

С его помощью можно запускать внешние программы, получать их вывод и использовать его дальше в коде.

Это особенно полезно для автоматизации, работы с системными утилитами и написания DevOps-скриптов.

💡Если нужно проверить, что команда выполнилась успешно, добавьте check=True. В этом случае Python вызовет исключение, если процесс завершится с ошибкой.

✅ Мы в Max – подписывайся

Первый день:
— О, отступы — это удобно!
Третий год:
— Кто смешал табы и пробелы, признавайтесь.

✅ Мы в Max – подписывайся