Основные изменения:
Переход на Puppeteer (pyppeteer): Заменили Playwright для более эффективного обхода защиты Avito, включая JavaScript-рендеринг и эмуляцию браузера.
Улучшение парсинга: интегрирован Puppeteer для загрузки страниц, сохранены все поля (Название объявления, Город, etc.), фильтры и пагинация.
Исправили остановку парсинга после первого объявления. Теперь парсер собирает все объявления на странице и переходит к следующей.
Автоматизация: парсер теперь работает до конца всех страниц без ручного вмешательства.
Заменили signal.SIGALRM на кроссплатформенный threading.Timer для таймаутов
Улучшили обработку для избегания JSON-ошибок.
Трудности:
Устаревшие селекторы на Avito вызывали пропуск данных (например, пустое «Описание»).
JSON-ошибки при парсинге из-за нестандартной кодировки.
CAPTCHA и fingerprinting: Avito активно блокирует запросы без авторизации, даже с ротацией IP и User-Agent, Puppeteer немного улучшил ситуацию.
Переход на Puppeteer (pyppeteer): Заменили Playwright для более эффективного обхода защиты Avito, включая JavaScript-рендеринг и эмуляцию браузера.
Улучшение парсинга: интегрирован Puppeteer для загрузки страниц, сохранены все поля (Название объявления, Город, etc.), фильтры и пагинация.
Исправили остановку парсинга после первого объявления. Теперь парсер собирает все объявления на странице и переходит к следующей.
Автоматизация: парсер теперь работает до конца всех страниц без ручного вмешательства.
Заменили signal.SIGALRM на кроссплатформенный threading.Timer для таймаутов
Улучшили обработку для избегания JSON-ошибок.
Трудности:
Устаревшие селекторы на Avito вызывали пропуск данных (например, пустое «Описание»).
JSON-ошибки при парсинге из-за нестандартной кодировки.
CAPTCHA и fingerprinting: Avito активно блокирует запросы без авторизации, даже с ротацией IP и User-Agent, Puppeteer немного улучшил ситуацию.
На данный момент тестируется и проверяется весь функционал, на корректный сбор и устранение мелких ошибок.
Сбор данных с 2GIS
Извлечение информации об организациях, включая:
-Название и юридическое название.
-Адрес (включая почтовый индекс, название здания, координаты).
-Контактные данные (телефоны, email, сайты, социальные сети).
-График работы с комментариями.
-Рубрики и категории.
-Отзывы (рейтинг и количество).
-Дополнительные данные, такие как филиалы и административные деления.
Поддержка множества URL для парсинга с возможностью редактирования через встроенный редактор.
Генерация URL на основе запросов, городов и рубрик
Использование Chrome через ChromeDriver для рендеринга страниц и взаимодействия с динамическим контентом.
Сохранение результатов в форматах CSV, XLSX или JSON.
Удаление пустых столбцов и дубликатов.
Интуитивно понятный интерфейс на основе PyQt6 с поддержкой нескольких тем оформления
#WS_2GIS
Извлечение информации об организациях, включая:
-Название и юридическое название.
-Адрес (включая почтовый индекс, название здания, координаты).
-Контактные данные (телефоны, email, сайты, социальные сети).
-График работы с комментариями.
-Рубрики и категории.
-Отзывы (рейтинг и количество).
-Дополнительные данные, такие как филиалы и административные деления.
Поддержка множества URL для парсинга с возможностью редактирования через встроенный редактор.
Генерация URL на основе запросов, городов и рубрик
Использование Chrome через ChromeDriver для рендеринга страниц и взаимодействия с динамическим контентом.
Сохранение результатов в форматах CSV, XLSX или JSON.
Удаление пустых столбцов и дубликатов.
Интуитивно понятный интерфейс на основе PyQt6 с поддержкой нескольких тем оформления
#WS_2GIS
❤1
Хорошая скорость сбора.
Решена проблема при сборе N Города захватывал соседние города и области, сбор идет только по выбранным.
#WS_2GIS
Решена проблема при сборе N Города захватывал соседние города и области, сбор идет только по выбранным.
#WS_2GIS
Парсер Яндекс Карт предназначен для извлечения информации об организациях и её сохранения в удобном формате.
Собирает название, адрес, телефон, email, рейтинг, количество оценок, сайт, ссылки на соцсети (VK, WhatsApp, Telegram), категории и часы работы.
Настройки:
-Количество прокруток страницы
-Шаг прокрутки (по умолчанию 5000 пикселей)
-Выполнен выбор задержки: загрузка страницы, прокрутка , клик по телефону.
-Количество попыток извлечения телефона
-Лимит записей (0 для всех организаций)
-Сохранение: Данные записываются в файл (JSON, CSV, XLSX) после каждой организации
-Корректно извлекаются ссылки на VK, WhatsApp, Telegram, а так же номера телефон
-Данные сохраняются в выбранный формат после каждой организации
-Использует Selenium для работы с динамическим контентом
-Поддерживает альтернативные селекторы для надёжного извлечения данных.
#WS_YandexMap
Собирает название, адрес, телефон, email, рейтинг, количество оценок, сайт, ссылки на соцсети (VK, WhatsApp, Telegram), категории и часы работы.
Настройки:
-Количество прокруток страницы
-Шаг прокрутки (по умолчанию 5000 пикселей)
-Выполнен выбор задержки: загрузка страницы, прокрутка , клик по телефону.
-Количество попыток извлечения телефона
-Лимит записей (0 для всех организаций)
-Сохранение: Данные записываются в файл (JSON, CSV, XLSX) после каждой организации
-Корректно извлекаются ссылки на VK, WhatsApp, Telegram, а так же номера телефон
-Данные сохраняются в выбранный формат после каждой организации
-Использует Selenium для работы с динамическим контентом
-Поддерживает альтернативные селекторы для надёжного извлечения данных.
#WS_YandexMap
WS | Python
Сбор данных с 2GIS Извлечение информации об организациях, включая: -Название и юридическое название. -Адрес (включая почтовый индекс, название здания, координаты). -Контактные данные (телефоны, email, сайты, социальные сети). -График работы с комментариями.…
Так же парсер под 2GIS обновлен, внесены мелки правки для корректной работы
✨ Новые функции: #WS_YandexMap v0.2.1
Фильтрация приоритетных объявлений
- Включите опцию "Собирать только приоритетные объявления" в настройках, чтобы парсер собирал только организации с зеленым или синим продвижением.
- Тип продвижения новое поле promotion_type (green, blue или none), чтобы вы могли анализировать, какие организации используют продвижение.
- Новый чекбокс в настройках позволяет легко включать или выключать фильтрацию приоритетных объявлений.
#WS_YandexMap
Фильтрация приоритетных объявлений
- Включите опцию "Собирать только приоритетные объявления" в настройках, чтобы парсер собирал только организации с зеленым или синим продвижением.
- Тип продвижения новое поле promotion_type (green, blue или none), чтобы вы могли анализировать, какие организации используют продвижение.
- Новый чекбокс в настройках позволяет легко включать или выключать фильтрацию приоритетных объявлений.
#WS_YandexMap
❤1
🔧 Улучшения:
Оптимизирован сбор данных
-Исправлен сбор количества отзывов, теперь собирает у всех компаний количество отзывов
-Фильтрация сокращает объем ненужной информации.
-Добавлено логирование для отслеживания приоритетных объявлений и пропущенных ссылок.
Параллельная обработка ссылок
- Добавлена возможность парсить несколько URL одновременно с использованием пула потоков
-Прописаны строгие ограничение на выбранное количество собираемых компаний
Улучшение работы Chrome
- Добавлена настройка для отключения ненужных ресурсов (шрифты, изображения, стили) и улучшена работа с DevTools для быстрого получения ответов
-Оптимизирована очистка памяти через вызов сборщика мусора.
#WS_YandexMap
Оптимизирован сбор данных
-Исправлен сбор количества отзывов, теперь собирает у всех компаний количество отзывов
-Фильтрация сокращает объем ненужной информации.
-Добавлено логирование для отслеживания приоритетных объявлений и пропущенных ссылок.
Параллельная обработка ссылок
- Добавлена возможность парсить несколько URL одновременно с использованием пула потоков
-Прописаны строгие ограничение на выбранное количество собираемых компаний
Улучшение работы Chrome
- Добавлена настройка для отключения ненужных ресурсов (шрифты, изображения, стили) и улучшена работа с DevTools для быстрого получения ответов
-Оптимизирована очистка памяти через вызов сборщика мусора.
#WS_YandexMap
🔥2👍1
🚀 Парсеры WS_YandexMap и WS_2GIS: Эффективный сбор данных для вашего бизнеса
Хотите автоматизировать сбор данных с Яндекс.Карт и 2GIS? Наши парсеры WS_YandexMap и WS_2GIS помогут вам быстро и удобно извлекать актуальную информацию об организациях в нужном формате :D
Что могут наши парсеры?
✅ WS_YandexMap
Собирает всё нужное: Название, адрес, телефон, email, рейтинг, отзывы, сайт, соцсети (VK, WhatsApp, Telegram), категории и часы работы.
Гибкость в настройках:
Регулируйте количество прокруток и шаг (по умолчанию 5000 пикселей).
Настройка задержек для загрузки, прокрутки и клика по телефону.
Лимит записей (0 — для всех организаций).
Многократные попытки извлечения телефона.
Форматы на выбор: JSON, CSV, XLSX — данные сохраняются после каждой организации.
Технологии: Selenium для динамического контента и альтернативные селекторы для надежности.
Новинки версии 0.2.1:
Фильтрация приоритетных объявлений (зеленое/синее продвижение, поле promotion_type).
Параллельный парсинг нескольких URL с пулом потоков.
Улучшенный сбор отзывов, оптимизация работы Chrome (отключение лишних ресурсов, очистка памяти).
Логирование и фильтрация для минимизации лишних данных.
Точный сбор по выбранному городу без лишних регионов.
✅ WS_2GIS
Полный набор данных: Название (включая юридическое), адрес (с индексом, зданием, координатами), контакты (телефоны, email, сайты, соцсети), график работы, рубрики, отзывы и даже филиалы.
Удобные функции:
Поддержка множества URL с редактором.
Генерация URL по городам, запросам и рубрикам.
Форматы сохранения: CSV, XLSX, JSON.
Технологии: Chrome через ChromeDriver для работы с динамическими страницами.
Интерфейс: Стильный и понятный на PyQt6 с разными темами оформления.
Удаление дубликатов и пустых столбцов.
💎Цена за одну копию любого продукта:
2 000 ₽/неделя — для тех, кто хочет попробовать.
5 000 ₽ за 3 месяца — отличный выбор для долгосрочных задач.
10 000 ₽ навсегда — плати раз и получай бесплатные обновления!
Бесплатные обновления для всех лицензий.
Идеально для SEO, маркетинга и аналитики.
📩 Готовы автоматизировать сбор данных?
Напишите нам в личные сообщения, чтобы приобрести парсер и начать работу уже сегодня! 🚀 @WStudio_fun
#WS_YandexMap #WS_2GIS
Хотите автоматизировать сбор данных с Яндекс.Карт и 2GIS? Наши парсеры WS_YandexMap и WS_2GIS помогут вам быстро и удобно извлекать актуальную информацию об организациях в нужном формате :D
Что могут наши парсеры?
✅ WS_YandexMap
Собирает всё нужное: Название, адрес, телефон, email, рейтинг, отзывы, сайт, соцсети (VK, WhatsApp, Telegram), категории и часы работы.
Гибкость в настройках:
Регулируйте количество прокруток и шаг (по умолчанию 5000 пикселей).
Настройка задержек для загрузки, прокрутки и клика по телефону.
Лимит записей (0 — для всех организаций).
Многократные попытки извлечения телефона.
Форматы на выбор: JSON, CSV, XLSX — данные сохраняются после каждой организации.
Технологии: Selenium для динамического контента и альтернативные селекторы для надежности.
Новинки версии 0.2.1:
Фильтрация приоритетных объявлений (зеленое/синее продвижение, поле promotion_type).
Параллельный парсинг нескольких URL с пулом потоков.
Улучшенный сбор отзывов, оптимизация работы Chrome (отключение лишних ресурсов, очистка памяти).
Логирование и фильтрация для минимизации лишних данных.
Точный сбор по выбранному городу без лишних регионов.
✅ WS_2GIS
Полный набор данных: Название (включая юридическое), адрес (с индексом, зданием, координатами), контакты (телефоны, email, сайты, соцсети), график работы, рубрики, отзывы и даже филиалы.
Удобные функции:
Поддержка множества URL с редактором.
Генерация URL по городам, запросам и рубрикам.
Форматы сохранения: CSV, XLSX, JSON.
Технологии: Chrome через ChromeDriver для работы с динамическими страницами.
Интерфейс: Стильный и понятный на PyQt6 с разными темами оформления.
Удаление дубликатов и пустых столбцов.
💎Цена за одну копию любого продукта:
2 000 ₽/неделя — для тех, кто хочет попробовать.
5 000 ₽ за 3 месяца — отличный выбор для долгосрочных задач.
10 000 ₽ навсегда — плати раз и получай бесплатные обновления!
Бесплатные обновления для всех лицензий.
Идеально для SEO, маркетинга и аналитики.
📩 Готовы автоматизировать сбор данных?
Напишите нам в личные сообщения, чтобы приобрести парсер и начать работу уже сегодня! 🚀 @WStudio_fun
#WS_YandexMap #WS_2GIS
👍1