🖥 SeleniumBase для парсинга: мощнее и удобнее обычного Selenium

Парсить сайты на Selenium уже не считается практичным. Он медленней конкурентов. Единственное преимущество - это большое сообщество, которое делится опытом и поможет найти решение любой проблемы, практически. Но мой опыт показывает, что условный Playwright или DrissionPage быстрее, лучше справляются с задачами, где нужно "маскировать" автоматизацию.

👨‍💻 Но вот, доделывая один из "долгов", на той неделе познакомился с SeleniumBase. Если коротко, это надстройка над обычным Selenium, которая решает кучу проблем.

Чем SeleniumBase лучше?

- простой синтаксис;
- встроенная защита от бот-детекторов;
- автоматическое управление драйверами - не нужно вручную скачивать и прописывать пути к chromedriver;
- "умные" ожидания: Скрипт не упадет, если элемент не успел прогрузиться. SeleniumBase автоматически дождется его появления перед тем, как выполнить действие. Это делает парсеры намного стабильнее.

По сути, он упрощает код и помогает обходить защиту там, где обычный Selenium уже не справляется. Вот такой вот опыт.

P.S. жду стул и микрофон, не могу пока ТТ вести, скоро фулл-комбек. Прямо сегодня утром закрыл 3-х заказчиков, сегодня отпишу еще троим. Жизнь продолжается, по чуть продолжаем работу.

👨‍💻 Когда вы/мы/я только открываем IDE и печатаем первые строки кода, ошибки неизбежны — и это нормально. Опасность начинается, когда ошибки перерастают в привычки и закрепляются.

🧠Хочу поделиться с Вами семеркой своих/чужих промахов, которые вынес для себя и не советую Вам их повторять. Получается, далее самые опасные ошибки начинающих программистов (ИМХО):

1️⃣ Код без версий. Файлы «main_final_final_really.py» выглядят забавно, пока не надо откатиться на рабочий вариант. Git спасает нервы и проекты.
2️⃣ «Запустилось - значит работает». Отсутствие юнит-тестов делает рефакторинг лотереей, а баги - постоянными спутниками.
3️⃣ Копипаст без понимания. Стек-Оверфлоу (а сейчас - нейросети) решает задачу моментально, но чужой фрагмент приносит чужие же баги и дыры в безопасности.
4️⃣ Преждевременная оптимизация. Тратить часы на микро-ускорение цикла, не измерив, где реально узкое место, - самый быстрый способ потерять мотивацию.
5️⃣ Игнор читаемости. Завтра «temp2» и «x1» забудете даже вы сами. Говорящие имена и чистые функции - не украшение, а страховка.
6️⃣ Страх вопросов. Сеньоры помнят свои первые commit-ы. Чем раньше спросите, тем меньше технического долга наживёте.
7️⃣ Отсутствие системного обучения. Туториалы вдохновляют, но только книги (частный случай) и доки (всегда!) формируют фундамент и учат думать шире конкретного фреймворка.

🤷‍♂️ Если узнаёте себя - класс. Значит, есть точка роста. 🚀

🖥 Оказывается, в РФ еще не все шарят, как обойти блокировку YouTube/Discord. Уже больше 10 раз через бота спрашивали, отвечу.

Этот проект предлагает готовое ("Plug & Play") решение для пользователей Windows, столкнувшихся с проблемами доступа к Discord и YouTube. Мои знакомые рекомендовали как лучший обход из имеющихся (и это не реклама, челы)

Что умеет? 🛠

- восстановление доступа к Discord и YouTube;
- не замедляет другие сервисы;
- использование WinDivert для перехвата и фильтрации сетевого трафика, что и позволяет обходить ограничения;
- в комплекте идут .bat файлы для запуска с разными настройками, управления обходом Cloudflare и службами;
- пользователи могут сами расширять списки адресов для обхода, добавляя их в специальные файлы (list-general.txt, list-discord.txt);

На страничке репозитория есть информация по решению частых проблем. Естественно - фулл бесплатно. Автор старается поддерживать актуальность инструмента.

🚀 Ссылка на репозиторий.

P.S. не знаю, насколько актуально. Вероятно, все кто хотел обойти - уже обошли. Но на всякий.

🐳 Я иногда даю тут проекты, которые Docker-ready. Вы спрашиваете, как запустить... И клиенты тоже иногда интересуются, как это запустить на своем сервере...

Так вот, полный список команд с объяснениями (Linux!!!):

1) Установка и проверка:

# Обновляем список пакетов
sudo apt update

# Устанавливаем Docker
sudo apt install -y docker.io

# Запускаем и добавляем Docker в автозагрузку
sudo systemctl start docker
sudo systemctl enable docker

# Устанавливаем Docker Compose
sudo apt install -y docker-compose

Чтобы проверить, что все сделали четко:

docker --version
docker-compose --version

Должно показать версии Docker и Docker-compose.

2) Разворачивание, запуск контейнера.

После того, как вы установили это все (делать нужно 1 раз(!!!)), нужно перейти в директорию с файлами проекта (где лежат Dockerfile, docker-compose.yml).

Пример:

cd /root/dialog_bot/

После этого, пишите команду:

sudo docker-compose up --build -d

Если сделали все четко, контейнер соберется и сразу же будет в работе.

Вот что делают "флажки":

- up: Создает и запускает контейнеры.
- --build: Принудительно пересобирает образ перед запуском. Это полезно, если ты внес изменения в Dockerfile или файлы проекта.
- -d: Запускает контейнеры в фоновом (detached) режиме.

Просмотреть логи с контейнера после можно по команде:

sudo docker-compose logs -f

3) А что на Windows?

Чтобы запустить на Win 10, 11, нужно:

1. Перейдите на официальный сайт Docker и скачай установщик для Windows.
2. Установите Docker Desktop:
- Запустите скачанный установщик.
- Следуйте инструкциям на экране. Очень важно: убедитесь, что выбрана опция "Use WSL 2 instead of Hyper-V" (Использовать WSL 2 вместо Hyper-V), если она доступна и твой Windows 10 это поддерживает (версия 2004 и выше, сборка 19041 и - выше). WSL 2 обеспечивает лучшую производительность. Если опции нет или твоя система старее, Docker Desktop может использовать Hyper-V.
- Установка может потребовать включения функций "Контейнеры" и "Подсистема Windows для Linux" (WSL). Установщик обычно предлагает сделать это автоматически или дает инструкции.
3. Запусти Docker Desktop после установки. Иконка кита появится в системном трее. При первом запуске может потребоваться некоторое время на инициализацию. Убедись, что Docker Desktop показывает, что он запущен (иконка кита в трее статична и не анимирована).

Важно: каждый раз, когда захотите собрать контейнер на Win 10, 11, нужно запускать Docker Desktop!

Дальше можете прямо в IDE, в папке с проектом в консоли писать:

docker-compose up --build -d

И все. Команды тут те же, что и на Linux.

Полезно?

📱 А это, к слову, еще одно YouTube-ориентированное решение:

- авто-комент новых видео на указанных каналах;
- учитывается контекст видео, т.к. производится его загрузка и транскрибация;
- учитывается пользовательский промпт - можно рекламировать что угодно;
- мульти-аккаунт;
- поддержка прокси.

🚀 Вот, еще одно решение для счастливого заказчика ❤️

P.S. сегодня делаем стрим с отбором заявок, чи шо?

🚀 Устали от онлайн-конвертеров? Я - да.

Поэтому потратил вечер и написал свой собственный десктопный конвертер медиафайлов. Полностью на Python + PyQt6, в качестве ядра - FFMPEG.

Главная цель была — сделать быстро, удобно и без рекламы. Никаких подписок (только на мой канал ❤️), рекламы и отправки ваших данных в облако. Всё происходит локально на вашем компьютере. Написано на Python, работает на любой ОС.

👀 Ключевые фишки:

- кидаешь файлы пачкой (batch processing);
- удобный Drag & Drop;
- фото к фото, видео к видео — без путаницы;
- работает офлайн, никакой интернет не нужен.

Как и сказал, под капотом трудится всеядный FFmpeg, так что на входе можно "скармливать" ему почти всё что угодно, от старых .flv до профессиональных .mov.

😜 Скачать код тут. Много реакций и соберу в .exe с FFMPEG внутри для обычных, не шарящих работяг.