Одновременный веб-скраппинг с помощью Selenium Grid и Docker Swarm

В этом руководстве мы рассмотрим, как запустить веб-скрепер на основе Python и Selenium параллельно с Selenium Grid и Docker. Мы также рассмотрим, как быстро масштабировать Selenium Grid на DigitalOcean с помощью Docker Swarm для повышения эффективности работы скрепера. Наконец, мы создадим bash-скрипт, который автоматизирует загрузку и выгрузку ресурсов на DigitalOcean.

Зависимости:
Docker v20.10.13
Python v3.10.4
Selenium v4.1.3

https://testdriven.io/blog/concurrent-web-scraping-with-selenium-grid-and-docker-swarm/

@BookPython

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.

Теперь дни быстрого найма будут проходить регулярно. Чтобы вам было удобно следить за расписанием, собрали его на отдельной странице.

Ближайшие мероприятия:
• 4–5 февраля — Fast Track для разработчиков С++ или Python в команды Еды, Лавки и Едадила
• 18–19 февраля — Fast Track для разработчиков Python или Go, или других объектно-ориентированных языков в команду FinOps

Зарегистрироваться

Анализ данных на Python от Тимофея Хирьянова

SOLID-принципы. Введение в ООП на Python.
Функциональное программирование на Python
Параллельное программирование на Python
Скорость вычислений на Python (урок №4)

https://www.youtube.com/playlist?list=PLRDzFCPr95fIgPrFFW-0nXT5YH6ZnjRM6

@BookPython

Подборка Telegram каналов для программистов

https://t.me/itmozg Программисты, дизайнеры, новости из мира IT.
https://t.me/phis_mat Обучающие видео, книги по Физике и Математике
https://t.me/xakep_1 Статьи из "Хакера"

https://t.me/php_lib Библиотека PHP программиста 👨🏼‍💻👩‍💻
https://t.me/nodejs_lib Подборки по Node js и все что с ним связано
https://t.me/ruby_lib Библиотека Ruby программиста

1C разработка 📌
https://t.me/odin1C_rus Cтатьи, курсы, советы, шаблоны кода 1С

Программирование C++📌
https://t.me/cpp_lib Библиотека C/C++ разработчика
https://t.me/cpp_knigi Книги для программистов C/C++
https://t.me/cpp_geek Учим C/C++ на примерах

Программирование Python 📌
https://t.me/pythonofff Python академия. Учи Python быстро и легко🐍
https://t.me/BookPython Библиотека Python разработчика
https://t.me/python_real Python подборки на русском и английском
https://t.me/python_360 Книги по Python Rus

Java разработка 📌
https://t.me/BookJava Библиотека Java разработчика
https://t.me/java_360 Книги по Java Rus
https://t.me/java_geek Учим Java на примерах

GitHub Сообщество 📌
https://t.me/Githublib Интересное из GitHub

CodePen 📌
https://t.me/codepen_1 Сообщество пользователей CodePen

Базы данных (Data Base) 📌
https://t.me/database_info Все про базы данных

Мобильная разработка: iOS, Android 📌
https://t.me/developer_mobila Мобильная разработка
https://t.me/kotlin_lib Подборки полезного материала по Kotlin

Фронтенд разработка 📌
https://t.me/frontend_1 Подборки для frontend разработчиков
https://t.me/frontend_sovet Frontend советы, примеры и практика!
https://t.me/React_lib Подборки по React js и все что с ним связано

Разработка игр 📌
https://t.me/game_devv Все о разработке игр

Вакансии 📌
https://t.me/sysadmin_rabota Системный Администратор
https://t.me/progjob Вакансии в IT

Чат программистов📌
https://t.me/developers_ru

Библиотеки 📌
https://t.me/book_for_dev Книги для программистов Rus
https://t.me/programmist_of Книги по программированию
https://t.me/proglb Библиотека программиста
https://t.me/bfbook Книги для программистов

БигДата, машинное обучение 📌
https://t.me/bigdata_1 Data Science, Big Data, Machine Learning, Deep Learning

Программирование 📌
https://t.me/bookflow Лекции, видеоуроки, доклады с IT конференций
https://t.me/coddy_academy Полезные советы по программированию

QA, тестирование 📌
https://t.me/testlab_qa Библиотека тестировщика

Шутки программистов 📌
https://t.me/itumor Шутки программистов

Защита, взлом, безопасность 📌
https://t.me/thehaking Канал о кибербезопасности

Книги, статьи для дизайнеров 📌
https://t.me/ux_web Статьи, книги для дизайнеров
https://t.me/arhitekturamira World Architecture

Системное администрирование 📌
https://t.me/tipsysdmin Типичный Сисадмин (фото железа, было/стало)
https://t.me/sysadminof Книги для админов, полезные материалы
https://t.me/i_odmin Все для системного администратора
https://t.me/i_odmin_book Библиотека Системного Администратора
https://t.me/i_odmin_chat Чат системных администраторов
https://t.me/i_DevOps DevOps: Пишем о Docker, Kubernetes и др.
https://t.me/sysadminoff Новости Линукс Linux

Английский 📌
https://t.me/UchuEnglish Английский с нуля

Математика 📌
https://t.me/Pomatematike Канал по математике

Мир технологий 📌
https://t.me/mir_teh Видео из мира технологий

Excel лайфхак📌
https://t.me/Excel_lifehack

Profiling Django App

Pyinstrument is a call stack sampling profiler with low overhead to find out time spent in your Django application.
QueryCount is a simplistic ORM query count middleware that counts the number of ORM queries, finds duplicate queries, and prints them in the terminal.
Django Silk is an extensive Django profiler that records the entire execution, SQL queries, source of origin, and persists the recordings. The complete Django profiler.

https://kracekumar.com/post/profiling_django/

@BookPython

Прошли курс до уровня джуна и не можете устроиться на желаемую позицию?

Команда python-программистов из Devman:
- проанализировали недостатки современного образования;
- создали новые технологии;
- переняли опыт IT компаний.
Так появилась авторская методика обучения программированию с качественным треком от новичка до мидла.

В учебном процессе Devman нет «теории» и нет «практики». Каждый урок — это «заказ» от «клиента» с его требованиями к продукту. Вы учитесь ровно так же, как программист решает свои задачи на работе: поиск и чтение → эксперимент → повторять до просветления.

Оценить свои силы в профессии вы можете уже 6 февраля на пробной неделе, где вы:

✔️Напишите до 2-х небольших проектов.
✔️Составите индивидуальный план развития вместе с ментором.
✔️Получите фидбек и узнаете, какие навыки вам необходимо подтянуть.

За подробностями переходите в бота — bit.ly/3DsLs5B

Реклама. ООО Девман 2VtzqupjyMV

Извлечение аудио из видеофайлов

Бывает так, что у нас есть mp4-файл, но нам нужна только звуковая дорожка из него. Скажем, чтобы сделать другое видео с таким же звуковым сопровождением. Эта проблема решается установкой библиотеки moviepy.

Подписывайтесь на канал 👉@pythonofff

Моделирование трехмерной Солнечной системы в Python с помощью Matplotlib (Серия #2 "Орбитальные планеты")

Одно из применений программирования - помочь нам понять реальный мир с помощью моделирования. Эта техника используется в науке, финансах и многих других количественных областях. Если известны "правила", которые управляют свойствами реального мира, можно написать компьютерную программу, которая исследует результаты, получаемые при следовании этим правилам. В этой статье вы смоделируете трехмерную солнечную систему в Python с помощью популярной библиотеки визуализации Matplotlib.

https://thepythoncodingbook.com/2021/12/11/simulating-3d-solar-system-python-matplotlib/

Code https://github.com/codetoday-london/simulation-3d-solar-system-in-python-using-matplotlib

@BookPython

PyScript - раскройте возможности Python в вашем браузере

Во время ключевого доклада на PyCon US 2022 генеральный директор Anaconda Питер Ванг представил довольно неожиданный проект - PyScript. Это JavaScript-фреймворк, который позволяет пользователям создавать Python-приложения в браузере, используя смесь Python и стандартного HTML. Конечная цель проекта - позволить гораздо более широкой аудитории (например, front-end разработчикам) воспользоваться возможностями Python и его различных библиотек (статистических, ML/DL и т.д.).

https://towardsdatascience.com/pyscript-unleash-the-power-of-python-in-your-browser-6e0123c6dc3f

@BookPython