Программа умеет заходить на сайты, и искать там адреса электронной почты и телефоны, номера с WhatsApp и контакты в Telegram. Вы можете задать лимит страниц, которые будут загружаться на каждом сайте (по умолчанию программа просмотрит 10 страниц). Для того, чтобы страницы контактов с большей вероятностью попали в заданный лимит, и были просканированы, сделан список приоритетных маркеров, которые программа ищет в ссылках.

Например, если программа найдет слово «контакты» в ссылке, она передвинет ссылку в начало списка найденных ссылок (без этого — ссылка может оказаться на 11м месте, и при лимите в 10 ссылок она не будет просмотрена). Посмотреть и изменить список приоритетных маркеров можно в файле prioritymarkers в папке программы. Для того, чтобы сэкономить время на сканировании бесполезных с точки зрения поиска ящиков сайтов (например VK.com), есть список блокируемых доменов, на которых сканирование почты не производится. Посмотреть и изменить список таких доменов можно в файле stopdomains в папке программы.

Функция поиска электронной почты на сайтах является подключаемой — установите галочку сканирования, чтобы программа заходила на сайты.
В результате, при выгрузке данных в режиме сканирования почты на сайтах, Вы получаете список ящиков Email по нужным Вам запросам.

Вы можете управлять тем, как программа ищет на сайтах почты и телефоны. Для поиска используются регулярные выражения из файлов PhonesPattern.txt и EmailsPattern.txt в папке программы. Вы можете внести свои правила поиска в эти файлы!

После завершения работы программы файл с результатами автоматически открывается в Excel (если установлен MS Office) или Calc (если установлен OpenOffice). Файл имеет имя вида results-***.csv. Результатом сбора являются такие файлы

🔅пример базы🔅

🔅Программа умеет приостанавливать свою работу, и продолжать её🔅. Паузу можно включать вручную, а если отключится интернет — программа поставит себя на паузу автоматически. Если во время сбора на сайте возникнет ошибка, и программа не сможет получить данные — она поставит себя на паузу на некоторое время, затем автоматически проснется и сделает еще несколько попыток получить те же данные.

🔅Два индикатора показывают ход выполнения работы.🔅 Синий показывает прогресс по списку заданных регионов, зеленый индикатор показывает прогресс по списку заданных ключевых слов.

🔅Парсер контактов из объявлений Яндекс-Директа🔅

Яндекс-Директ является самой большой рекламной сетью. Поэтому для тех, кто ищет контакты платежеспособных рекламодателей, Яндекс-Директ является самым лучшим источником данных. Часть объявлений в Директе содержат контакты рекламодателя (сайт, адрес, телефон, электронная почта). Наша программа — парсер объявлений Директа, позволяет получать выгрузки из объявлений по заданному списку ключевых слов, и заданному списку регионов.

Предлагаемая нами программа-парсер контактов Яндекс.Директа, позволяет собирать следующую информацию:

🔅Регион
🔅Запрос (ключевое слово)
🔅Позиция объявления
🔅Заголовок объявления
🔅Сайт компании
🔅Название компании
🔅Страна
🔅Город
🔅Адрес
🔅Код телефона
🔅Номер телефона
🔅Адрес электронной почты (email)
Программа позволяет задать интервал между запросами к сервису, для предотвращения блокировки. Кроме того, имеется возможность выгружать не все объявления, а только первые 10 по каждому ключевому слову. Для включения такого режима установите галочку «Снимать не более 10 объявлений с ключа».

После завершения работы программы файл с результатами автоматически открывается в Excel (если установлен MS Office) или Calc (если установлен OpenOffice). Файл имеет имя вида results-***.csv. Результатом сбора являются такие файлы: пример файла с выгрузкой объявлений Директа.

🔅Программа умеет приостанавливать свою работу, и продолжать её🔅. Паузу можно включать вручную, а если отключится интернет — программа поставит себя на паузу автоматически. Если во время сбора на сайте возникнет ошибка, и программа не сможет получить данные — она поставит себя на паузу на некоторое время, затем автоматически проснется и сделает еще несколько попыток получить те же данные.

Два индикатора показывают ход выполнения работы. Синий показывает прогресс по списку заданных регионов, зеленый индикатор показывает прогресс по списку заданных ключевых слов.

✳️Парсер Яндекс-Директа✳️ умеет работать через прокси! Если в вашей корпоративной сети в настройках браузера нужно указывать какой-то прокси (нет прямого выхода в интернет) — программа сможет работать и у вас. Если ваш IP-адрес заблокирован на Яндексе, вы сможете с помощью прокси обойти блокировку. Для включения работы через прокси запишите параметры прокси в формате 🔅login:password@ip:port 🔅в файл proxy.txt в папке программы. Запустите выгрузку, программа напишет в окне логов, что начала использовать прокси

Парсер Google Map v.1.19.0

Профессиональный скребок данных для Google Maps. Приложение извлекает максимум полезной информации из самих карт и с веб-сайтов организаций. Очистка выполняется непосредственно с сайта Google Maps. Вам не нужно подключаться к Google API. Наш скребок также имеет неограниченное количество данных для извлечения. Просто скачайте программу, введите геолокацию и ключевое слово для поиска. Затем нажмите “Пуск”. Остальное приложение сделает само.

Приложение извлекает телефон, адрес, часы работы, описание организации, адрес веб-сайта и другую информацию. С веб-сайта каждой организации (если он указан) наш скребок получает адреса электронной почты, facebook, Twitter, YouTube, yelp, tripadvisor и других социальных сетей. Приложение также удаляет тексты обзоров и фотографии организации. Все фотографии сохраняются в формате .jpg на вашем жестком диске.

Приложение основано на Google Chrome – оно встроено в приложение. В одном окне прокручивается список организаций вниз. Другие окна извлекают информацию об организациях в параллельном режиме. Вы можете указать город, регион или целую страну в качестве своего географического местоположения. В целом приложение имитирует поведение пользователя и работает так, как если бы человек искал какую-то информацию на картах. Таким образом, наш скребок данных для Google Maps представляет собой довольно простое и гибкое решение, которое позволяет извлекать данные организаций в несколько кликов.

Вы можете использовать наше приложение для генерации лидов и аналогичных задач. У нас есть возможность фильтровать организации по рейтингу (например, удалять с карт только те организации, рейтинг которых больше 3 и меньше 4,5). Вы также можете выполнять фильтрацию по наличию или отсутствию отзывов. Если мы говорим о самих отзывах, их также можно отфильтровать по длине. Вообще говоря, у вас будет ряд настроек, которые вы сможете использовать для эффективного извлечения данных об организациях из Google Maps.

Data Excavator Универсальный Парсер контента

Data Scraper for Web
Профессиональный Data scraper с отличной поддержкой.

Извлекайте любые данные с любого веб-сайта за считанные секунды.

Попробуйте наше основное приложение – Data Excavator

Просто нажмите на элементы, которые вы хотите извлечь.
Наше приложение сделает все остальное.

какие сайты можно папрсить??

🔅Reverse Engineering - получаем код питона🔅 ✳️статья✳️