скрипт на Python

работает через прокси с этого сайта с с этого

Создайте свой собственный сайт с нуля НА github

✅Готовы приступить к работе? Создайте свой собственный сайт с нуля или создайте его для своего проекта.
Вы получаете один сайт для каждой учетной записи GitHub и организации,
и неограниченное количество сайтов проекта. Давайте начнем.

ПОДРОБНЕЕ ЧИТАЕМ ТУТ

✳️Парсер контактов из выдачи Яндекса по запросам✳️

Часто возникает необходимость собрать контакты по ключевым словам. Для этой цели сделан наш парсер выдачи Яндекса по ключевым словам. Он собирает контакты, которые выдает Яндекс прямо в сниппетах результатов поиска. Кроме того, парсер может заходить на сайты, и искать там электронную почту (email), телефоны, номера с WhatsApp и контакты в Telegram! Ключевые слова можно задавать списком, и парсер будет последовательно обходить все заданные ключевые слова по заданным регионам. Парсер собирает данные только по органической выдаче, рекламные объявления пропускает. Для сбора контактов рекламодателей мы сделали другой парсер — парсер Директа.

Результат работы программы: база email, телефонов, whatsapp и telegram, сегментированная по запросам и регионам.

Предлагаемая нами программа-парсер базы емейл и телефонов из Яндекса, позволяет собирать следующую информацию:

✳️Запрос (ключевое слово)
✳️Регион
✳️Ссылка на страницу в выдаче
✳️Домен из ссылки
✳️Адрес электронной почты (email) с сайта
✳️Телефоны с сайта
✳️Номера whatsapp с сайта
✳️Telegram с сайта
✳️Телефон из серпа (сниппета)
✳️Заголовок ссылки
✳️Текст сниппета
✳️Номер позиции на странице
✳️Номер страницы
🟢Программа работает через прокси для обхода капчи🟢 Яндекса. Рекомендуемые прокси — в футере сайта. Подробные иллюстрированные инструкции по настройке прокси находятся в файле Прокси.docx внутри архива с программой. Программа использует сжатие передаваемого через прокси трафика для снижения расходов на прокси. Прокси записывается в файл 🔅proxy.txt🔅 в папке программы в формате 🔅login:password@ip:port.🔅 Запустите выгрузку, и программа напишет в окне логов, что начала использовать прокси.

Программа умеет заходить на сайты, и искать там адреса электронной почты и телефоны, номера с WhatsApp и контакты в Telegram. Вы можете задать лимит страниц, которые будут загружаться на каждом сайте (по умолчанию программа просмотрит 10 страниц). Для того, чтобы страницы контактов с большей вероятностью попали в заданный лимит, и были просканированы, сделан список приоритетных маркеров, которые программа ищет в ссылках.

Например, если программа найдет слово «контакты» в ссылке, она передвинет ссылку в начало списка найденных ссылок (без этого — ссылка может оказаться на 11м месте, и при лимите в 10 ссылок она не будет просмотрена). Посмотреть и изменить список приоритетных маркеров можно в файле prioritymarkers в папке программы. Для того, чтобы сэкономить время на сканировании бесполезных с точки зрения поиска ящиков сайтов (например VK.com), есть список блокируемых доменов, на которых сканирование почты не производится. Посмотреть и изменить список таких доменов можно в файле stopdomains в папке программы.

Функция поиска электронной почты на сайтах является подключаемой — установите галочку сканирования, чтобы программа заходила на сайты.
В результате, при выгрузке данных в режиме сканирования почты на сайтах, Вы получаете список ящиков Email по нужным Вам запросам.

Вы можете управлять тем, как программа ищет на сайтах почты и телефоны. Для поиска используются регулярные выражения из файлов PhonesPattern.txt и EmailsPattern.txt в папке программы. Вы можете внести свои правила поиска в эти файлы!

После завершения работы программы файл с результатами автоматически открывается в Excel (если установлен MS Office) или Calc (если установлен OpenOffice). Файл имеет имя вида results-***.csv. Результатом сбора являются такие файлы