Скачиваем видео с Rutube с помощью Python
Рассматривая текущие реалии можно предположить, что вполне возможно, в довольно скором времени начнется миграция видеоблогеров на другие платформы для размещения своего видеоконтента. И вполне возможно, что одной из таких платформ станет Rutube.
📌 Читать статью: https://codeby.net/threads/skachivaem-video-s-rutube-s-pomoschju-python.79703/
📝 Школа Кодебай |🍿 YouTube |🌀 ВКонтакте
#python #parsing #video
Рассматривая текущие реалии можно предположить, что вполне возможно, в довольно скором времени начнется миграция видеоблогеров на другие платформы для размещения своего видеоконтента. И вполне возможно, что одной из таких платформ станет Rutube.
📌 Читать статью: https://codeby.net/threads/skachivaem-video-s-rutube-s-pomoschju-python.79703/
📝 Школа Кодебай |🍿 YouTube |🌀 ВКонтакте
#python #parsing #video
Скачивание журналов с сайта для чтения онлайн в виде картинок и сборка их в PDF
Иногда я люблю почитать журналы. Но я уже давно их не покупал. Наверное последний купленный мой журнал был «Хакер» 2009 года. В этом плане особо ничего не изменилось. И если раньше было очень много сайтов и групп в том же ВК, где можно было скачать любой журнал почти за любой год, то с приходом авторского права все резко изменилось. Стало труднее найти свежие журналы, сайты если и находились, то впоследствии и вовсе стали блокироваться. И я стал предпочитать скачивать журналы себе на жесткий диск. Тем более, что после прочтения его можно было сжать в архив и отправить в облако на долгосрочное хранение. Но, это, так сказать, преамбула.
📌 Читать статью: https://codeby.net/threads/skachivanie-zhurnalov-s-sajta-dlja-chtenija-onlajn-v-vide-kartinok-i-sborka-ix-v-pdf.79730/
📝 Школа Кодебай |🍿 YouTube |🌀 ВКонтакте
#python #parsing #pdf
Иногда я люблю почитать журналы. Но я уже давно их не покупал. Наверное последний купленный мой журнал был «Хакер» 2009 года. В этом плане особо ничего не изменилось. И если раньше было очень много сайтов и групп в том же ВК, где можно было скачать любой журнал почти за любой год, то с приходом авторского права все резко изменилось. Стало труднее найти свежие журналы, сайты если и находились, то впоследствии и вовсе стали блокироваться. И я стал предпочитать скачивать журналы себе на жесткий диск. Тем более, что после прочтения его можно было сжать в архив и отправить в облако на долгосрочное хранение. Но, это, так сказать, преамбула.
📌 Читать статью: https://codeby.net/threads/skachivanie-zhurnalov-s-sajta-dlja-chtenija-onlajn-v-vide-kartinok-i-sborka-ix-v-pdf.79730/
📝 Школа Кодебай |🍿 YouTube |🌀 ВКонтакте
#python #parsing #pdf
Парсим и скачиваем «нескучные обои» с использованием потоков в Python
Давайте сегодня подумаем о красоте. А именно, о красоте рабочего стола. А украсить его могут только «нескучные обои». Привет, Денис Попов). Ну, а если более серьезно, то скачаем картинки с обоями с сайта, на котором их очень и очень много. Конечно же, для того, чтобы скачать картинки мы будем использовать Python, а загрузка картинок будет происходить в многопоточном режиме. Ну и наиболее полезная часть данной статьи состоит в том, что мы немного попрактикуемся в парсинге. Для отправки запросов и скачивание картинок будем использовать библиотеку requests. Для того, чтобы распарсить полученные результаты и получить из них ссылки на картинки BeautifulSoup и lxml.
📌 Читать статью: https://codeby.net/threads/parsim-i-skachivaem-neskuchnye-oboi-s-ispolzovaniem-potokov-v-python.79770/
📝 Школа Кодебай |🍿 YouTube |🌀 ВКонтакте
#python #parsing
Давайте сегодня подумаем о красоте. А именно, о красоте рабочего стола. А украсить его могут только «нескучные обои». Привет, Денис Попов). Ну, а если более серьезно, то скачаем картинки с обоями с сайта, на котором их очень и очень много. Конечно же, для того, чтобы скачать картинки мы будем использовать Python, а загрузка картинок будет происходить в многопоточном режиме. Ну и наиболее полезная часть данной статьи состоит в том, что мы немного попрактикуемся в парсинге. Для отправки запросов и скачивание картинок будем использовать библиотеку requests. Для того, чтобы распарсить полученные результаты и получить из них ссылки на картинки BeautifulSoup и lxml.
📌 Читать статью: https://codeby.net/threads/parsim-i-skachivaem-neskuchnye-oboi-s-ispolzovaniem-potokov-v-python.79770/
📝 Школа Кодебай |🍿 YouTube |🌀 ВКонтакте
#python #parsing
Автоматизированный сбор данных в чатах и рассылка для Telegram на Python
Привет всем! Это моя первая статья, буду рад за конструктивную критику. В приниципе, любая критика приветствуется). Обычно в этом месте все пишут предысторию, но у меня она достаточно заурядная: недавно возникла необходимость сделать рассылку по телеграм(никакой чёрнухи :Р). Сначала посмотрел готовые решения. Их действительно очень много, но либо не нравилось, либо не подходило по нуждам, либо я совсем терялся в коде. Вот решил, наконец, проверить свои навыки после курса «Python для Пентестера» и написать все сам.
📌 Читать статью: https://codeby.net/threads/avtomatizirovannyj-sbor-dannyx-v-chatax-i-rassylka-dlja-telegram-na-python.79802/
#python #telegram #parsing
Привет всем! Это моя первая статья, буду рад за конструктивную критику. В приниципе, любая критика приветствуется). Обычно в этом месте все пишут предысторию, но у меня она достаточно заурядная: недавно возникла необходимость сделать рассылку по телеграм(никакой чёрнухи :Р). Сначала посмотрел готовые решения. Их действительно очень много, но либо не нравилось, либо не подходило по нуждам, либо я совсем терялся в коде. Вот решил, наконец, проверить свои навыки после курса «Python для Пентестера» и написать все сам.
📌 Читать статью: https://codeby.net/threads/avtomatizirovannyj-sbor-dannyx-v-chatax-i-rassylka-dlja-telegram-na-python.79802/
#python #telegram #parsing
Перевод текста в переводчике DeepL с использованием Selenium в Python
Когда вы собираетесь читать книгу на иностранном языке, вы либо учите этот язык, для того, чтобы можно было читать тексты в оригинале, либо пользуетесь услугами машинного перевода. Если, конечно, книга уже не переведена на ваш язык опытным переводчиком. И, несомненно, лидерами в области машинного перевода долгое время были программы, которые устанавливались на компьютер, имели собственную базу в соответствии, с которой и переводили с одного языка на другой. Но, появился интернет и все большую популярность стали набирать онлайн переводчики, такие как Google Translate или Яндекс Переводчик. Но, речь сейчас не о них, а об онлайн переводчике, который в области машинного перевода гораздо лучше, чем упомянутые выше гиганты. Речь о DeepL Translate. И все бы хорошо, если бы не одно «но». И вот об этом «но» я и расскажу, как я автоматизировал его с помощью Python.
📌 Читать далее
#python #parsing
Когда вы собираетесь читать книгу на иностранном языке, вы либо учите этот язык, для того, чтобы можно было читать тексты в оригинале, либо пользуетесь услугами машинного перевода. Если, конечно, книга уже не переведена на ваш язык опытным переводчиком. И, несомненно, лидерами в области машинного перевода долгое время были программы, которые устанавливались на компьютер, имели собственную базу в соответствии, с которой и переводили с одного языка на другой. Но, появился интернет и все большую популярность стали набирать онлайн переводчики, такие как Google Translate или Яндекс Переводчик. Но, речь сейчас не о них, а об онлайн переводчике, который в области машинного перевода гораздо лучше, чем упомянутые выше гиганты. Речь о DeepL Translate. И все бы хорошо, если бы не одно «но». И вот об этом «но» я и расскажу, как я автоматизировал его с помощью Python.
📌 Читать далее
#python #parsing
Получение данных из таблицы с динамическим содержимым с помощью Python
Парсинг данных, это всегда увлекательная и полезная штука, ведь получив данные мы можем выполнить различные виды анализа или использовать полученные данные в нужных приложениях, будь то телеграмм-бот или иное приложение. В марте этого года на фриланс-сайте мне попалось задание, которое показалось интересным и я решил попробовать выполнить это задание для себя, просто, чтобы попрактиковаться. Конечно же, для сбора необходимых данных я решил использовать Python.
📌 Читать далее
#programming #python #parsing
Парсинг данных, это всегда увлекательная и полезная штука, ведь получив данные мы можем выполнить различные виды анализа или использовать полученные данные в нужных приложениях, будь то телеграмм-бот или иное приложение. В марте этого года на фриланс-сайте мне попалось задание, которое показалось интересным и я решил попробовать выполнить это задание для себя, просто, чтобы попрактиковаться. Конечно же, для сбора необходимых данных я решил использовать Python.
📌 Читать далее
#programming #python #parsing
Парсим ресурсы Codeby на языке Python
Сегодня я вам расскажу, как правильно парсить данные с помощью языка Python. Мы будем парсить именно страницу ресурсов на Codeby. Ну и конечно же результат экспортируем в CSV-файл.
📌 Читать далее
#programming #python #parsing
Сегодня я вам расскажу, как правильно парсить данные с помощью языка Python. Мы будем парсить именно страницу ресурсов на Codeby. Ну и конечно же результат экспортируем в CSV-файл.
📌 Читать далее
#programming #python #parsing
[Selenium] Установка, запуск и реальное применение. Part Ⅰ
Привет, Codeby! В статье я расскажу, как можно управлять браузером, используя фреймворк Selenium. Этот фреймворк позволяет имитировать реальный браузер, управление которым будет происходить с помощью кода.
📌 Читать далее
#programming #python #parsing
Привет, Codeby! В статье я расскажу, как можно управлять браузером, используя фреймворк Selenium. Этот фреймворк позволяет имитировать реальный браузер, управление которым будет происходить с помощью кода.
📌 Читать далее
#programming #python #parsing
[Selenium] Взаимодействие и регистрации аккаунта. Part ⅠⅠ
Приветствую, дамы и господа. В прошлой части я показал, как устанавливать веб-драйвера и использовать веб-локаторы. Вторая часть будет намного интереснее. Присаживайтесь поудобнее, начинаем кодить!
📌 Читать далее
#programming #python #parsing
Приветствую, дамы и господа. В прошлой части я показал, как устанавливать веб-драйвера и использовать веб-локаторы. Вторая часть будет намного интереснее. Присаживайтесь поудобнее, начинаем кодить!
📌 Читать далее
#programming #python #parsing
Методы обхода защиты от автоматизированного ПО в браузере Chrome под управлением Selenium в Python
При парсинге данных возникают ситуации, когда нужно получить доступ к сайту с помощью драйвера selenium. Так как на странице сайта в коде выполняются скрипты, которые добавляют в код данные, доступ к которым с помощью обычных запросов получить просто не получиться. Но, все может быть немного печальнее. К примеру, страница может находиться за CDN, такой как Cloudflare, с включенной проверкой браузера. В этом случае обычный драйвер selenium доступ к странице не получит, так как будет определено, что используется автоматизированное тестовое ПО. Но, даже в этих случаях выход есть. Давайте посмотрим, как можно обойти данную проверку с помощью отключения определенных опций в браузере, а также рассмотрим уже модифицированную версию драйвера для Chrome, в которой уже из коробки отключены данные опции. Но, обо всем по порядку.
📌 Читать далее
#programming #python #parsing
При парсинге данных возникают ситуации, когда нужно получить доступ к сайту с помощью драйвера selenium. Так как на странице сайта в коде выполняются скрипты, которые добавляют в код данные, доступ к которым с помощью обычных запросов получить просто не получиться. Но, все может быть немного печальнее. К примеру, страница может находиться за CDN, такой как Cloudflare, с включенной проверкой браузера. В этом случае обычный драйвер selenium доступ к странице не получит, так как будет определено, что используется автоматизированное тестовое ПО. Но, даже в этих случаях выход есть. Давайте посмотрим, как можно обойти данную проверку с помощью отключения определенных опций в браузере, а также рассмотрим уже модифицированную версию драйвера для Chrome, в которой уже из коробки отключены данные опции. Но, обо всем по порядку.
📌 Читать далее
#programming #python #parsing
Автоматизированный сбор данных с сайта бесплатных объявлений с помощью Python
Решил я тут на днях попробовать парсить Авито. Наверное, раньше это была одна из излюбленных площадок для обучения парсингу. И, действительно, ещё примерно год назад можно было собирать данные с этой площадки особо не напрягаясь. Но, возможно, в связи с громкими утечками данных защита от парсинга значительно усилилась. Сначала появились временные телефоны, которые, насколько я понимаю, выделяются на виртуальной АТС. И если ещё какое-то время назад их можно было посмотреть без авторизации, то теперь это обязательное условие. Единственные, чьи телефоны остались доступны для просмотра, это телефоны организаций. Но, сами по себе они ценности не имеют, так как, по сути, доступны в любом онлайн справочнике.
📌 Читать далее
#programming #python #parsing
Решил я тут на днях попробовать парсить Авито. Наверное, раньше это была одна из излюбленных площадок для обучения парсингу. И, действительно, ещё примерно год назад можно было собирать данные с этой площадки особо не напрягаясь. Но, возможно, в связи с громкими утечками данных защита от парсинга значительно усилилась. Сначала появились временные телефоны, которые, насколько я понимаю, выделяются на виртуальной АТС. И если ещё какое-то время назад их можно было посмотреть без авторизации, то теперь это обязательное условие. Единственные, чьи телефоны остались доступны для просмотра, это телефоны организаций. Но, сами по себе они ценности не имеют, так как, по сути, доступны в любом онлайн справочнике.
📌 Читать далее
#programming #python #parsing
Сбор данных с сайта знакомств с помощью Selenium, BeautifulSoup и requests используя скрипт на Python
В данной статье я предлагаю вам немного отвлечься от слишком серьезных задач и попрактиковаться в парсинге. А, чтобы не было скучно, будем мы парсить достаточно известный сайт знакомств. А именно, забирать оттуда фото пользователей. Для наших целей мы будем использовать Selenium, BeautifulSoup, requests. А работать это будет в скрипте Python.
📌 Читать статью
#programming #python #parsing
В данной статье я предлагаю вам немного отвлечься от слишком серьезных задач и попрактиковаться в парсинге. А, чтобы не было скучно, будем мы парсить достаточно известный сайт знакомств. А именно, забирать оттуда фото пользователей. Для наших целей мы будем использовать Selenium, BeautifulSoup, requests. А работать это будет в скрипте Python.
📌 Читать статью
#programming #python #parsing
Методы обхода защиты от автоматизированного ПО в браузере Chrome под управлением Selenium в Python
При парсинге данных возникают ситуации, когда нужно получить доступ к сайту с помощью драйвера selenium. Так как на странице сайта в коде выполняются скрипты, которые добавляют в код данные, доступ к которым с помощью обычных запросов получить просто не получиться. Но, все может быть немного печальнее. К примеру, страница может находиться за CDN, такой как Cloudflare, с включенной проверкой браузера. В этом случае обычный драйвер selenium доступ к странице не получит, так как будет определено, что используется автоматизированное тестовое ПО. Но, даже в этих случаях выход есть. Давайте посмотрим, как можно обойти данную проверку с помощью отключения определенных опций в браузере, а также рассмотрим уже модифицированную версию драйвера для Chrome, в которой уже из коробки отключены данные опции. Но, обо всем по порядку.
📌 Читать далее
#programming #python #parsing
При парсинге данных возникают ситуации, когда нужно получить доступ к сайту с помощью драйвера selenium. Так как на странице сайта в коде выполняются скрипты, которые добавляют в код данные, доступ к которым с помощью обычных запросов получить просто не получиться. Но, все может быть немного печальнее. К примеру, страница может находиться за CDN, такой как Cloudflare, с включенной проверкой браузера. В этом случае обычный драйвер selenium доступ к странице не получит, так как будет определено, что используется автоматизированное тестовое ПО. Но, даже в этих случаях выход есть. Давайте посмотрим, как можно обойти данную проверку с помощью отключения определенных опций в браузере, а также рассмотрим уже модифицированную версию драйвера для Chrome, в которой уже из коробки отключены данные опции. Но, обо всем по порядку.
📌 Читать далее
#programming #python #parsing
Получение данных из таблицы с динамическим содержимым с помощью Python
Парсинг данных, это всегда увлекательная и полезная штука, ведь получив данные мы можем выполнить различные виды анализа или использовать полученные данные в нужных приложениях, будь то телеграмм-бот или иное приложение. В марте этого года на фриланс-сайте мне попалось задание, которое показалось интересным и я решил попробовать выполнить это задание для себя, просто, чтобы попрактиковаться. Конечно же, для сбора необходимых данных я решил использовать Python.
📌 Читать далее
#programming #python #parsing
Парсинг данных, это всегда увлекательная и полезная штука, ведь получив данные мы можем выполнить различные виды анализа или использовать полученные данные в нужных приложениях, будь то телеграмм-бот или иное приложение. В марте этого года на фриланс-сайте мне попалось задание, которое показалось интересным и я решил попробовать выполнить это задание для себя, просто, чтобы попрактиковаться. Конечно же, для сбора необходимых данных я решил использовать Python.
📌 Читать далее
#programming #python #parsing