❗️Чтение и запись переменных окружения в Python

Переменные окружения используются для изменения конфигурации системы.

Результат работы многих приложений на Python зависит от значений определённых переменных окружения.

— Способы установки и получения таких переменных средствами языка Python.

🗣 Ссылка на статью

Просто Python

🔈 Моем датасет: руководство по очистке данных в Python

Очистка данных – это процесс обнаружения и исправления (или удаления) поврежденных или неточных записей из набора записей, таблицы или базы данных.

❓ Мы разберем методы поиска и исправления:

⏺отсутствующих данных;
⏺нетипичных данных – выбросов;
⏺неинформативных данных – дубликатов;
⏺несогласованных данных – одних и тех же данных, представленных в разных регистрах или форматах.

🗣 Ссылка на статью

Просто Python

🌐 Ядро планеты Python. Интерактивный учебник.

Учебник написан на Jupiter Notebook, а это значит, что вы можете интерактивно редактировать код, мгновенно добавляя новые сущности или проясняя непонятные моменты.

Четыре главы мини-учебника «Ядро планеты Python», где коротко, но достаточно ёмко раскрыта специфика, удобство, красота и сила этого прекрасного языка.

🗣 Ссылка на статью

🔖 Оригинал учебника - GitHub

Просто Python

🔍 Как создать виртуальное окружение в Python и перестать думать о зависимостях

Два варианта создания виртуального окружения:

⏺при помощи Anaconda - дистрибутива c предустановленными популярными библиотеками, которым часто пользуются специалисты по работе с Big Data;

⏺компактной библиотеки pipenv.

Pipenv – это инструмент, предоставляющий все необходимые средства для создания виртуального окружения.

У Anaconda свой менеджер разрешения зависимостей – conda, заменяющий стандартный менеджер пакетов pip.

🗣 Ссылка на статью

Просто Python

🔈 5 полезных библиотек Python

Популярность языка и его большое сообщество привело к тому, что сейчас для Python существует огромное число библиотек.

К сожалению, большая часть этих библиотек была создана энтузиастами и больше не поддерживается.

Давайте посмотрим на 5 хороших развивающихся библиотек, которые могут помочь при решении практических задач.

🗣 Ссылка на статью

Просто Python

🖥 Как подружить Python и базы данных SQL. Подробное руководство.

Как связать Python и реляционные базы данных трёх типов: SQLite, MySQL и PostgreSQ

✒️ Из этого пособия вы узнаете:

⏺как подключиться к различным СУБД с помощью библиотек Python для работы с SQL базами данных;
⏺как управлять базами данных SQLite, MySQL и PostgreSQL;
⏺как выполнять запросы к базе данных внутри приложения Python;
⏺как разрабатывать приложения для разных баз данных.

🗣 Ссылка на статью

Просто Python

📰 Руководство по веб-скрейпингу на Python

В туториале создание надёжной веб-краулеры с использованием таких библиотек, как BeautifulSoup, изучим техники, позволяющие преодолевать реальные трудности при скрейпинге.

А также представим рекомендации по крупномасштабному скрейпингу.

📖 Вы получите навыки для скрейпинга сложных сайтов и решения проблем, которые касаются ограничений частоты запросов, блокировок и генерируемых при помощи JavaScript страниц.

🗣 Ссылка на статью

Просто Python

⚙️ Визуализация 5 алгоритмов сортировки на Python

Сортировка массивов часто используется в программировании, чтобы помочь понять данные и выполнить поиск.

5 алгоритмов включают:

⏺Сортировка выбором
⏺Сортировка пузырьком
⏺Сортировка вставками
⏺Сортировка слиянием
⏺Быстрая сортировка quicksort

Скорость сортировки больших объемов информации крайне важна для функциональных проектов и оптимизации времени работы. Есть много алгоритмов для упорядочения объектов.

🗣 Ссылка на статью

Просто Python

🌳 Разбираемся в АА-деревьях (Python)

АА-дерево - это модификация красно-черного дерева с целью упрощения реализации

Правила АА-дерева:

⏺Цвет вершины может быть черным или красным
⏺Корень всегда черный
⏺Листья всегда черные
⏺Каждая красная вершина должна иметь двух черных сыновей
⏺Пути от вершины к ее листьям должны содержать одинаковое количество черных вершин (черная высота)
⏺В дереве не может быть левого красного сына

Высота здесь - это не количество нод от корня до узла, а отдельная величина для узла и увеличивается посредством операций при перебалансировке

🗣 Ссылка на статью

Просто Python

👩‍💻 Веб-скрапинг по расписанию с Django и Heroku

Django-приложение, ежедневно проверяющее доску объявлений о работе. Парсим в BeautifulSoup, сохраняем в PostgreSQL, развёртываем на сервере Heroku.

Веб-скрейпинг — это технология получения веб-данных путём извлечения их со страниц веб-ресурсов.

✒️ Из статьи изложено:

⏺Создаём Django приложение
⏺Создаём и настраиваем модель вакансии
⏺Настраиваем базу данных
⏺Тестируем приложение
⏺Настраиваем команды django-admin
⏺Разёрываем приложение на Heroku
⏺Планируем расписание скрапинг

🗣 Ссылка на статью

Просто Python

📲 Ограничения в телеграм-бот (Bot API), о которых никто не расскажет

Лимиты запросов в телеграм-ботах или почему бот может падать на четырех пользователях.

✒️ Задачи бота:

⏺Собирать данные о состоянии участника марафона по четырем характеристикам и сохранять их в БД ежедневно в 6.00.
⏺Высылать задание в 08.00. 
⏺Присылать «сказку на ночь» — видео- или аудиосообщение с тематическим напутствием в 21.00. 
⏺Все задания должны приходить согласно часовому поясу пользователя. 

Творческая задача разработать телеграм-бот для проведения новогоднего марафона-тренинга по личностному росту.

🗣 Ссылка на статью

Просто Python

❓ Упрощаем разработку: асинхронные функции Python

При синхронном подходе выполнение происходит поэтапно.

Несмотря на ветвления и вызовы, за раз совершается одно действие. Следующий шаг запускается при завершении предыдущего.

✒️ Асинхронная программа не дожидается завершения предыдущего шага для перехода к следующему. Значит, текущие и будущие действия происходят одновременно.

🗣 Ссылка на статью

Просто Python

🤖 Стекинг и блендинг в ML. Ключевые особенности и реализация с нуля на Python

Стекинг и блендинг очень схожи между собой, однако между ними есть существенные различия, заключающиеся в разделении и использовании тренировочных данных.

🤖 Преимущества и недостатки стекинга и блендинга

Преимущества:

⏺значительное улучшение точности прогнозов при правильном использовании.

Недостатки:

⏺высокие вычислительные затраты;
⏺возможность переобучения из-за трудностей в правильном подборе и настройке базовых моделей, а также сложность в интерпретации.

🗣 Ссылка на статью

Просто Python

✋ Пишем простой граббер для Telegram чатов на Python

Собираем данные и сообщения участников чатов и каналов Telegram, а также сохранять эту информацию в виде JSON-файлов, которые далее легко анализировать или экспортировать в базы данных.

Используем Python не ниже версии 3.5, а также высокоуровневая библиотека для работы с Telegram API – Telethon.

Установить библиотеку можно с помощью менеджера пакетов pip:

🗣 Ссылка на статью

Просто Python

ℹ️ Замыкания и декораторы в Python

Замыкание (closure) или фабричная функция - это функция определяемая и возвращаемая другой функцией.

Важной особенностью замыканий является тот факт, что они имеют доступ к самим объектам из области видимости родительской функции, а не к их копиям или состояниям существующим на момент определения замыкания.

В своей книге Марк Лутц пишет:

«Разумеется, наилучшая рекомендация для большей части кода заключается в том, чтобы избегать вложения операторов def внутрь def, т.к. тогда программа станет гораздо проще — согласно духу Python плоский код, как правило, лучше вложенного»

🗣 Ссылка на статью

Просто Python

👩‍💻 Как быстро написать API на FastAPI с валидацией и базой данных

Простой API с помощью самого популярного стека и FastAPI.

Рассмотрим важные концепции в работе с этим фреймворком, набросаем базовую структуру проекта и развернем приложение на облачном сервере.

📖 В данной статье:

⏺Подготовка окружения
⏺Первые наброски
⏺Валидация данных с Pydantic
⏺Работа с базой данных
⏺Паттерн «Репозиторий»
⏺Роутер
⏺Деплой проекта на облачный сервер

🗄 Ссылка на статью

Просто Python

🖥 10 простых хаков, которые ускорят анализ данных Python

— Лучшие советы и приёмы. Некоторые из них распространённые, а некоторые новые, но обязательно пригодятся в будущем.

Профилирование – процесс, который помогает понять наши данные, а Pandas Profiling – Python библиотека, которая делает это.

Простой и быстрый способ выполнить предварительный анализ данных Python Pandas DataFrame.

🗄 Ссылка на статью

Просто Python

🤖 Кластеризация в ML: от теоретических основ популярных алгоритмов к их реализации с нуля на Python

Кластеризация — это набор методов без учителя для группировки данных по определённым критериям в кластеры, что позволяет выявлять сходства и различия между объектами, а также упрощать их анализ и визуализацию.

🔎 Кластеризация широко применяется в машинном обучении для решения различного спектра задач:

⏺классификация
⏺сегментация рынка
⏺сегментация изображений
⏺кластеризация геоданных
⏺понижение размерности

🗄 Ссылка на статью

Просто Python

⌨️ Интерактивный курс Python для новичков в программировании

Онлайн-сервис для новичков в Python, обучение в котором построено через написание программ – letpy.

🎓Letpy - это русскоязычный онлайн-курс по языку Python для новичков в программировании. Короткие уроки чередуются с заданиями, для прохождения которых нужно писать программы.

— В курс встроена браузерная среда разработки, так что уроки и программы можно проходить на любом устройстве.

Курс имеет 225 уроков по различным темам.

🗄 Ссылка на статью

Просто Python

🌳 Дерево решений (CART). От теоретических основ до продвинутых техник и реализации с нуля на Python

Дерево решений CART (Classification and Regressoin Tree) — алгоритм классификации и регрессии, основанный на бинарном дереве и являющийся фундаментальным компонентом случайного леса и бустингов, которые входят в число самых мощных алгоритмов 🤖 машинного обучения на сегодняшний день.

Деревья также могут быть не бинарными в зависимости от реализации. К другим популярным реализациям решающего дерева относятся следующие: ID3, C4.5, C5.0.

🗄 Ссылка на статью

Просто Python

🖥 Осваиваем парсинг сайта: короткий туториал на Python

Парсинг сайта
Это метод извлечения информации с веб-сайтов.

Эта методика преимущественно фокусируется на преобразовании неструктурированных данных – в формате HTML – в Интернете в структурированные данные: базы данных или электронные таблицы.

Парсинг сайта включает в себя доступ к Интернету напрямую через HTTP или через веб-браузер.

🗄 Ссылка на статью

Просто Python