Руководство по веб-скрейпингу на Python

В этом туториале мы создадим надёжные веб-краулеры с использованием таких библиотек, как BeautifulSoup, изучим техники, позволяющие преодолевать реальные трудности при скрейпинге, а также представим рекомендации по крупномасштабному скрейпингу.

Вы получите навыки для скрейпинга сложных сайтов и решения проблем, которые касаются ограничений частоты запросов, блокировок и генерируемых при помощи JavaScript страниц.

https://habr.com/ru/companies/ruvds/articles/796885/

original https://proxiesapi.com/articles/web-scraping-in-python-the-complete-guide

👉@BookPython

Подборка Telegram каналов для программистов

Системное администрирование 📌
https://t.me/tipsysdmin Типичный Сисадмин (фото железа, было/стало)
https://t.me/sysadminof Книги для админов, полезные материалы
https://t.me/i_odmin Все для системного администратора
https://t.me/i_odmin_book Библиотека Системного Администратора
https://t.me/i_odmin_chat Чат системных администраторов
https://t.me/i_DevOps DevOps: Пишем о Docker, Kubernetes и др.
https://t.me/sysadminoff Новости Линукс Linux


https://t.me/tikon_1 Новости высоких технологий, науки и техники💡
https://t.me/mir_teh Мир технологий (Technology World)

https://t.me/rust_lib Полезный контент по программированию на Rust
https://t.me/golang_lib Библиотека Go (Golang) разработчика

https://t.me/itmozg Программисты, дизайнеры, новости из мира IT.
https://t.me/phis_mat Обучающие видео, книги по Физике и Математике

https://t.me/php_lib Библиотека PHP программиста 👨🏼‍💻👩‍💻
https://t.me/nodejs_lib Подборки по Node js и все что с ним связано
https://t.me/ruby_lib Библиотека Ruby программиста

1C разработка 📌
https://t.me/odin1C_rus Cтатьи, курсы, советы, шаблоны кода 1С

Программирование C++📌
https://t.me/cpp_lib Библиотека C/C++ разработчика
https://t.me/cpp_knigi Книги для программистов C/C++
https://t.me/cpp_geek Учим C/C++ на примерах

Программирование Python 📌
https://t.me/pythonofff Python академия. Учи Python быстро и легко🐍
https://t.me/BookPython Библиотека Python разработчика
https://t.me/python_real Python подборки на русском и английском
https://t.me/python_360 Книги по Python Rus

Java разработка 📌
https://t.me/BookJava Библиотека Java разработчика
https://t.me/java_360 Книги по Java Rus
https://t.me/java_geek Учим Java на примерах

GitHub Сообщество 📌
https://t.me/Githublib Интересное из GitHub

Базы данных (Data Base) 📌
https://t.me/database_info Все про базы данных

Мобильная разработка: iOS, Android 📌
https://t.me/developer_mobila Мобильная разработка
https://t.me/kotlin_lib Подборки полезного материала по Kotlin

Фронтенд разработка 📌
https://t.me/frontend_1 Подборки для frontend разработчиков
https://t.me/frontend_sovet Frontend советы, примеры и практика!
https://t.me/React_lib Подборки по React js и все что с ним связано

Разработка игр 📌
https://t.me/game_devv Все о разработке игр

Вакансии 📌
https://t.me/sysadmin_rabota Системный Администратор
https://t.me/progjob Вакансии в IT

Чат программистов📌
https://t.me/developers_ru

Библиотеки 📌
https://t.me/book_for_dev Книги для программистов Rus
https://t.me/programmist_of Книги по программированию
https://t.me/proglb Библиотека программиста
https://t.me/bfbook Книги для программистов
https://t.me/books_reserv Книги для программистов

БигДата, машинное обучение 📌
https://t.me/bigdata_1 Data Science, Big Data, Machine Learning, Deep Learning

Программирование 📌
https://t.me/bookflow Лекции, видеоуроки, доклады с IT конференций
https://t.me/coddy_academy Полезные советы по программированию

QA, тестирование 📌
https://t.me/testlab_qa Библиотека тестировщика

Шутки программистов 📌
https://t.me/itumor Шутки программистов

Защита, взлом, безопасность 📌
https://t.me/thehaking Канал о кибербезопасности
https://t.me/xakep_1 Статьи из "Хакера"

Книги, статьи для дизайнеров 📌
https://t.me/ux_web Статьи, книги для дизайнеров

Английский 📌
https://t.me/UchuEnglish Английский с нуля

Математика 📌
https://t.me/Pomatematike Канал по математике

Excel лайфхак📌
https://t.me/Excel_lifehack

Как быстро написать API на FastAPI с валидацией и базой данных

Все веб-запросы обрабатываются на сервере — это хорошо всем известно. Но бывает, когда нужно написать специальный программный интерфейс, так называемый API, через который пользователи смогут централизованно получать данные и вносить изменения, например, в свой профиль.

В этой статье мы разработаем простой API с помощью самого популярного стека и FastAPI. Рассмотрим важные концепции в работе с этим фреймворком, набросаем базовую структуру проекта и развернем приложение на облачном сервере.

https://habr.com/ru/companies/selectel/articles/796669/

👉@BookPython

Debugging Machine Learning Models with Python: Develop high-performance, low-bias, and explainable machine learning and deep learning models
Автор: Ali Madani (2023)

Преодолевая разрыв между теорией и практикой, вы узнаете, как оценивать производительность моделей, выявлять и решать проблемы, а также использовать последние достижения в области глубокого обучения и генеративного моделирования с помощью PyTorch и scikit-learn. На пути к созданию высококачественных моделей на практике вы также узнаете о причинно-следственном моделировании и моделировании "человек в контуре", а также об объясняемости машинного обучения. Благодаря практическим примерам и понятным объяснениям вы приобретете навыки создания эффективных решений.

Скачать

👉@BookPython

Useful Python
Автор: Stuart Langridge (2023)

В этой книге мы рассмотрим, как можно использовать Python для решения различных задач, которые облегчат вам жизнь:

- Python "клейкий" язык: он помогает нам объединить навыки и программы, которые мы уже умеем использовать, позволяя легко преобразовывать данные из одного формата в другой.

- Python для сшивания других вещей. Иногда нам требуется не просто обработать данные в присланном нам файле. Мы можем захотеть получить некоторые страницы из Интернета, или работать с онлайновым API, или управлять самим компьютером.

- Python - это мощный инструмент, который можно использовать для решения самых разных задач.

- В отличие от многих других языков, Python поставляется с модулями для различных функций. Но для тех случаев, когда нам нужно сделать то, что не входит в стандартную библиотеку, можно воспользоваться PyPI.

Скачать

👉@BookPython

Представляем Flask-Muck: как создать полноценный REST API на Flask за 5 минут

В экосистеме Flask нет недостатка в отличных библиотеках для создания REST API с нуля. Не хватало только инструмента для генерации общих эндпоинтов CRUD (create, read, update, delete), которые часто составляют большую часть REST API.

Flask-Muck решает эту проблему, одновременно сосуществуя с нестандартными endpoints, которые неизбежны в любой кодовой базе продакшена. Flask-Muck располагается поверх технологического стека Flask/SQLAlchemy и использует декларативный и модульный подход для замены огромного количества шаблонного кода, генерируя полнофункциональный набор стандартных эндпоинтов CRUD для ресурса всего за 9 строк кода.

https://dev.to/dtiesling/introducing-flask-muck-how-to-build-a-comprehensive-flask-rest-api-in-5-minutes-4fgh

👉@BookPython

Шпаргалка для алгособеса — алгоритмическая сложность, структуры данных, методы сортировки и Дейкстра

Так уж повелось, что любой уважающий себя работодатель перенимает передовые^✻ методики FAANG — по этой причине практически во всех IT-собесах есть она: секция алгоритмов. Кто-то ей рад, кто-то не очень, но секция есть и уходить пока не планирует. Поэтому нужно закатать рукава и достойно встретить суровую реальность.

При изучении алгоритмов расслабьтесь и получайте удовольствие, ведь есть ненулевая вероятность, что вам понадобятся полученные знания вне собеса. Кто знает, может однажды умение быстро обходить двоичное дерево поможет спасти вам мир (как и знание регулярок):

https://habr.com/ru/articles/794556/

👉@BookPython

Скачиваем видео с Youtube с помощью Python

Для скачивания ролика вам потребуется указать ссылку на видео с Youtube.

pytube — это легкая, свободная от зависимостей библиотека Python (и утилита командной строки) для загрузки видео с YouTube.

import pytube
link = "ссылка на видео c Youtube"
yt = pytube.YouTube(link)
stream = yt.streams.first()
stream.download()

👉@BookPython

Автоматизация сообщений WhatsApp с помощью Python с использованием модуля Pywhatkit

Мы можем автоматизировать отправку сообщений WhatsApp с помощью скрипта Python. В этой статье мы узнаем о самых простых способах использования модуля pywhatkit, который используется на сайте web.whatsapp.com для автоматизации отправки сообщений на любой номер WhatsApp.

https://www.geeksforgeeks.org/automate-whatsapp-messages-with-python-using-pywhatkit-module/

👉@BookPython

Можно ли осуществить динамическую загрузку модуля в Python?

Чтобы загружать модули динамически, т.е. во время выполнения программы, используется функция importlib.import_module()

В этом примере мы импортируем модуль importlib и используем его функцию import_module() для динамической загрузки модуля math. Затем мы используем функцию sqrt() из загруженного модуля.

Динамическая загрузка модуля может быть полезна, например, если вы хотите загрузить модуль в зависимости от каких-то условий, которые определяются во время выполнения программы. Такой подход — медленный, но он помогает эффективнее использовать память.

import importlib

# Загрузка модуля 'math' динамически
math_module = importlib.import_module('math')

# Использование функции 'sqrt' из модуля 'math'
print(math_module.sqrt(16))

👉@BookPython

Запустится ли этот код на Python 3? Если да, то что он выведет?

sys.allow_boolean_assignment разрешает создавать переменные с именами, зарезервированными под идентификаторы типа bool. Поэтому этот код запустится и выведет "True is False".

Эта настройка введена в известном первоапрельском коммите, который до сих пор остался в коде интерпретатора. Если кандидат об этом знает, можно с уверенностью сказать, что он общается в профессиональных кругах и любят углубляться в детали.

👉@BookPython