Memescraper – приложение для скрейпинга мемов с Reddit
Каждый день мы представляем вам два проекта из списка участников нашего конкурса. Сегодня это приложение от Андрея Романюка.
Целью приложения была «возможность бесконечного скроллинга свежих мемов» так, чтобы не надо было отвлекаться на рекламу на сайте и другие посты.
Процесс создания приложения, по словам разработчика, был довольно простым. Бэкенд реализован на Django, так как это многофункциональный фреймворк. Selenium Web Driver использовался, так как это универсальный инструмент для web-scraping на Python. Advanced Python Scheduler применялся для задавания задачи по скрейпингу.
Развертывание проекта проходило на Heroku. Фронтенд – базовый UI на Bootstrap с выполнением JavaScript для некоторых функций (например, endless scroll).
Имеется один известный баг – если мем был удален из источника, то вместо него виден черный квадрат с соответствующей надписью. Планируется добавить еще один таск, где с помощью Google OCR будут удаляться «мертвые» картинки. А также в планах деплой на AWS.
https://memescraper.herokuapp.com/
Проголосовать за этот проект можно на странице https://highload.today/top-30-pet-proektov-igry-memy-boty-baraholki-svetofor-i-alkotester/
#Django #Python #SeleniumWebDriver #Heroku #bootstrap
Каждый день мы представляем вам два проекта из списка участников нашего конкурса. Сегодня это приложение от Андрея Романюка.
Целью приложения была «возможность бесконечного скроллинга свежих мемов» так, чтобы не надо было отвлекаться на рекламу на сайте и другие посты.
Процесс создания приложения, по словам разработчика, был довольно простым. Бэкенд реализован на Django, так как это многофункциональный фреймворк. Selenium Web Driver использовался, так как это универсальный инструмент для web-scraping на Python. Advanced Python Scheduler применялся для задавания задачи по скрейпингу.
Развертывание проекта проходило на Heroku. Фронтенд – базовый UI на Bootstrap с выполнением JavaScript для некоторых функций (например, endless scroll).
Имеется один известный баг – если мем был удален из источника, то вместо него виден черный квадрат с соответствующей надписью. Планируется добавить еще один таск, где с помощью Google OCR будут удаляться «мертвые» картинки. А также в планах деплой на AWS.
https://memescraper.herokuapp.com/
Проголосовать за этот проект можно на странице https://highload.today/top-30-pet-proektov-igry-memy-boty-baraholki-svetofor-i-alkotester/
#Django #Python #SeleniumWebDriver #Heroku #bootstrap
