Анализ данных на Python и Pandas

В этом видео автор представляет полноценный курс по Python и Pandas в объеме необходимом для анализа данных и Data Science.

0:05:12 Python
0:07:23 Переменные, числа и строки
0:20:12 Списки и циклы
0:51:23 Функции
0:58:26 Словарь
1:07:27 Сет
1:16:14 Цикл while
1:20:13 Классы
1:34:40 Наследование классов
1:45:27 Заключение про Python
1:45:49 Pandas
1:46:20 Загрузка данных
1:59:44 Чтение данных
2:26:40 Фильтрация и ворнинги
2:52:44 Сводные таблицы
3:27:06 Pivot table
3:40:28 Корреляция
3:52:11 Проверка связей
4:11:14 Визуализация данных
4:36:54 Numpy
4:45:45 Заключение

Смотреть это видео на youtube: youtu.be/dd3RcafdOQk

Форматируем строку для URL-адреса

Для начала стоит вспомнить, что слаг (slug) — это уникальная строка-идентификатор, понятная человеку и содержащая только "безопасные" символы: латинские символы в нижнем регистре, цифры и дефис.

Чаще всего такое понятие можно встретить в контексте URL-адресов. Например, можно формировать слаг из названия какой-нибудь статьи и вставлять его в ссылку, чтобы людям было понятно, куда они переходят.

Выше в коде мы написали простую функцию, где использовали методы lower() для приведения в нижний регистр и strip() для удаления пробелов слева и справа.

Также для удаления некоторых символов и замены на знак дефиса были использованы регулярные выражения и встроенный пакет re для работы с ними.

Проверка на дубликаты

Этот простой скрипт проверяет, содержатся ли в списке повторяющиеся значения (дубликаты). Используется свойство множеств set, которые могут содержать только уникальные элементы.

Вместо списков могут быть и кортежи, и словари. В последнем случае проверка будет выполняться только среди ключей словаря.

Python для начинающих: линейные алгоритмы, переменные, типы данных, операторы

В этом видеоуроке автор подробно и наглядно разбирает работу с линейными алгоритмами, операциями, вводом-выводом данных и понятием переменной на примере компьютерной игры.

00:00 Вступление
01:26 Что такое программа
02:25 Линейный алгоритм
03:33 Переменная
05:40 Переменные в играх
10:02 Типы данных
15:50 Переменные разных типов в играх
21:50 Операции
32:07 Ввод и вывод данных
38:08 IDLE и PyCharm
41:13 Задача 1
42:51 Задача 2
45:00 Задача 3
52:10 Задача 4
56:30 Задача 5
58:55 Итоги

Смотреть это видео на youtube: youtu.be/OusvDiqASko

Завершение программы

Функция exit создана для удобства работы в интерактивном режиме, но не рекомендуется использовать её внутри скриптов.

По факту функция просто поднимает исключение SystemExit, а при попытке вызова без скобок напишет подсказку о правильном способе выхода из интерпретатора.

Использовать sys.exit() стоит, так как этот метод есть в стандартном модуле и всегда там доступен. А ещё это довольно явный и понятный способ завершения программы.

Скачивание файлов при парсинге сайтов на Python

В этом видеоуроке автор подробно и наглядно разбирает, как парсить каталоги и страницы всего сайта,
после чего скачивать все найденные картинки на компьютер.

Вы научитесь находить необходимые элементы
на странице, рассмотрите модули requests, bs4 (BeautifulSoup), fake-useragent, multiprocessing, структуру requests запросов и процесс передачи заголовков и данных на сайт.

Смотреть это видео на youtube: youtu.be/r61fuLk3LNM

Узнаем информацию о стране

countryinfo — модуль Python для возврата данных о странах, информации ISO и штатах/провинциях внутри них. Установка пакета — pip install countryinfo.

В нашем примере мы узнаем население, официальный язык и столицу Испании.

Документацию пакета можно найти здесь.

🐍🧩 Словари в Python: 12 задач для начинающих с решениями

Решаем задачи и прокачиваем навык работы со словарями, используя методы get(), setdefault(), генераторы словарей и сортировку с помощью лямбда-функций.

https://proglib.io/p/slovari-v-python-12-zadach-dlya-nachinayushchih-s-resheniyami-2022-01-28

Узнаем курс биткоина

forex-python позволяет получать данные о курсе валют в определённое время и конвертировать одну валюту в другую. Установка пакета - pip install forex-python.

Данная программа позволяет узнать нынешний курс самой известной и дорогой криптовалюты мира — биткоина.

Cтроки и операции над ними в Python

В этом видеоуроке автор подробно разбирает процесс работы со строками в Python. Вы рассмотрите следующие вопросы:
• Как найти длину строки
• Как продублировать строку
• Как умножить строку на число
• Конкатенация строк
• Сцепление строк

Смотреть это видео на youtube: youtu.be/YUMJxjsfNt4

newspaper3k

Если вы никогда не видели этого ранее, то готовьтесь к тотальному выносу мозга с модулем newspaper в Python.

Он может доставать новостные статьи и связанные с ними мета-данные из ряда ведущих международных изданий. Извлекать можно картинки, текст и имена авторов.

В модуле присутствует даже встроенный функционал обработки естественного языка (NLP).

🐍 Как сделать сайт на Python за 5 минут с помощью SSG-генератора Pelican

Нужно срочно сoздать сайт-визитку, резюме или портфолио, но не хочется использовать Wordpress и Tilda? Расскажем, как сделать сайт или блог за 5 минут с помощью SSG-генератора на Python.

https://proglib.io/p/kak-sdelat-sayt-na-python-za-5-minut-s-pomoshchyu-ssg-generatora-pelican-2022-04-18

Дизассемблирование

Встроенный модуль dis позволяет декомпилировать написанную вами программу в байт-код Python.

На картинке показана работа этого модуля на примере функции, но такое можно повторить и с классами – в таком случае все его функции будут дизассемблированы.

Оператор "is" в Python сложнее, чем вы думаете

Многие используют оператор "is" для сравнения значений, но не все знают, что это может вызвать огромное количество багов, если не знать о его особенностях, которые и разбираются автором в этом видеоуроке.

Вы рассмотрите примеры, когда точно не следует применять этот оператор, и узнаете о том, почему именно он вызывает подобные баги, и как это все работает на более низком уровне.

Смотреть это видео на youtube: youtu.be/mQk1NIV3HXM