XMLstock
225 subscribers
11 photos
46 links
Инструменты для парсинга поисковой выдачи Яндекс и Google в реальном времени. Новости сервиса и обновления.

Сайт: https://xmlstock.com
Поддержка: @hh_developer
Download Telegram
⚡️ 01.11.2023 Снижаем цену на Яндекс XmlProxy

Сегодня, как и обещали специалисты Яндекса, старейший и условно бесплатный сервис Яндекс.XML окончательно закрылся. Теперь для получения результатов поиска в формате XML можно использовать только платный Яндекс Search Api. Ушла эпоха... 😢

Но у нас есть и хорошие новости! Наш инструмент XMLProxy продолжает работу с новым Яндекс Search Api, а с сегодняшнего дня мы объявляем бессрочную акцию и снижаем на него цену до 18 рублей за 1000 запросов для всех наших пользователей без каких либо дополнительных условий! Также мы сохранили партнерскую программу в которой платим 5% от всех трат привлеченных пользователей.

❗️Улучшили скорость и стабильность работы

В последнее время из-за высоких нагрузок в часы пик, стали поступать жалобы на медленную работу нашего сервиса. За последний месяц мы проделали огромную работу по оптимизации cервиса, тем самым в разы увеличили пропускную способность и скорость получения результатов на всех инструментах. Проблемы с долгим временем получения результатов в часы высокой нагрузки теперь практически исключены.

❗️Единые тарифы на Google XML и Яндекс Live

Мы также пересмотрели ценообразование на живую выдачу Яндекс и инструмент парсинга живой выдачи Яндекс Live. С сегодняшнего дня мы ввели уже ранее анонсированные общие тарифные планы с GoogleXML Search. По умолчанию всем пользователям подключен тариф "Базовый" с оплатой за каждый запрос. Вы можете подключить месячные тарифы в личном кабинете. Тем, у кого уже был подключен любой из платных тарифов для Google XML и уже использует Яндекс Live ничего делать не надо.
👍4
⚡️ 05.12.2023 Пополнение баланса через СБП

Добавили пополнение баланса через Систему Быстрых Платежей по QR коду без комиссии! 💸

Для пополнения баланса этим способом выберите СБП и укажите сумму пополнения. Далее вы будете автоматически перенаправлены на страницу оплаты, отсканируйте QR код в мобильном приложении вашего банка или платежной системы ЮMoney, Qiwi. Через несколько секунд после успешной оплаты в приложении, вы будете автоматически перенаправлены на наш сайт.

Рекомендуем использовать этот способ как наиболее выгодный и стабильный. Максимальная сумма одного платежа 50 000 рублей.
Please open Telegram to view this post
VIEW IN TELEGRAM
😱3👍2
❗️30.01.2023 Проблемы с резолвом доменных имен

Наблюдаются глобальные проблемы с резолвом доменных имен. Часть сервисов может не работать или работать не стабильно.

Причиной проблемы являются глобальные неполадки в ru-зоне доменных имен, что может затрагивать работу всех сервисов, обращение к которым осуществляется с помощью доменов в зоне .RU

UPD 21.20 Похоже на данный момент времени аварию устранили. Сейчас наши сервисы должны работать в штатном режиме. Мы продолжаем следить за ситуацией.
👍1🤔1😱1
⚡️ 04.03.2024 Прокачали тарифные планы!

Наши тарифные планы стали более универсальными! Мы включили во все тарифные планы траты по Яндекс XML Proxy, а это значит, что теперь можно подключить выгодный тариф и пользоваться всеми инструментами с общего баланса. Условия тарифных планов при этом не изменились!

При активации выбранного тарифного плана, с вашего баланса будет списана его стоимость и заморожена на 30 календарных дней. Зарезервированная сумма отобразится в соответствующей строке и будет расходоваться в первую очередь при совершении запросов на любом из наших инструментов. При использовании всех замороженных средств, дальнейшее списание за запросы будет происходить с основного баланса аккаунта по цене активного тарифного плана.

По окончании срока действия тарифа неиспользованные зарезервированные средства на новый период не переносятся.
👍1🎉1
Сегодня обнаружили что программа KeyCollector не совсем корректно отправляет данные в ЯндексXML.
KeyCollector в своих запросах отправляет параметр фильтрации результатов filter=none, тогда как в Яндекс XML значение по умолчанию идет filter=moderate

https://cloud.yandex.ru/ru/docs/search-api/concepts/get-request

none
— фильтрация отключена. В выдачу включаются любые документы вне зависимости от содержимого.
moderate — умеренный фильтр (значение по умолчанию). Из выдачи исключаются документы, относящиеся к категории "для взрослых", если запрос явно не направлен на поиск подобных ресурсов.
strict — семейный фильтр. Вне зависимости от поискового запроса из выдачи исключаются документы, относящиеся к категории "для взрослых", а также содержащие ненормативную лексику.

Пользователи могут получать некорректные данные в связи с этим.

Eсли необходимо, чтобы выдача точно соответствовала стандартной, в настройках региональности в KeyCollector в поле GET-параметры также надо прописать filter=moderate.

Подробнее тут https://xmlstock.com/?do=help-yaxml-settings
👍7
⚡️ 22.03.2024 Вывод результатов из блоков "Запросы по теме" и "Люди Ищут"

Добавили в XML и JSON выдачу дополнительные результаты поиска из блоков "Люди Ищут" для Яндекс Live и "Запросы по теме" для Google XML Search.

Активируется в обоих инструментах с помощью добавления параметра &related=1 или через настройки по умолчанию. В ПС Google также дополнительно показывается блок "Похожие Вопросы".
👍3
⚡️ 05.04 Парсинг дополнительной информации из Яндекс Директ

Улучшили парсинг Яндекс Директ из живой выдачи.

Теперь в инструменте Яндекс Live дополнительно выводятся следующие данные из рекламных объявлений : номера телефонов, ссылка на профиль компании в Яндекс, город и станция метро; название и ИНН организации, разместившей данное объявление (рекламные агентства). Если какая-то информация отсутствует, то она не выводится.

Также номера телефонов выводятся из основной выдачи (при наличии)

Эти данные пока доступны только в десктоп выдаче.
👍1🔥1
⚡️ 02.05 Парсинг Видео из поиска Google

Добавили парсинг результатов выдачи из вкладки Видео в поисковой системе Google.

Для этого в нашем инструменте Google Xml Search необходимо использовать параметр &tbm=video или указать Результаты поиска - Видео в настройках по умолчанию. Для указания страны поиска необходимо задать параметры &gl=, &hl=

Обратите внимание, что для Google XML Search теперь доступен парсинг сразу 4-х видов поиска: Поисковая Выдача, Картинки, Новости и Видео.
👍2
⚡️31.05 Новые параметры для поиска Google

Добавили поддержку новых параметров для поиска Google:

&nfpr - Исправление опечаток
&safe - Безопасный поиск

Подробное описание всех доступных параметров:
https://xmlstock.com/?do=help-googlexml-params
👍1
⚡️ 06.07 Парсинг живой выдачи Яндекс на Turbo скорости без ошибок

Пользователи, которые собирают выдачу с помощью инструмента ЯндексLive наверняка заметили медленную скорость сбора и нестабильность работы данного инструмента. Сегодня мы хотим анонсировать обновление системы ЯндексLive, а именно добавление режима "Turbo скорость".

С помощью этого режима можно парсить поисковую выдачу Яндекса в формате xml, json, html на огромной скорости без каптчи и ошибок. Переключение режима сбора осуществляется в настройках личного кабинета (выбор Типа поиска). Также можно выбирать режим, отправляя параметр &tbm=turbo в GET-параметрах запросов. Турбо режим доступен только для поисковой выдачи и недоступен для сбора картинок и видео.

Turbo скорость обладает рядом существенных преимуществ:

👉 Моментальная скорость получения результатов
👉 Неограниченное количество потоков
👉 Никаких ошибок из-за высокой загрузки инструмента
👉 Десктоп и мобильная версия поиска
👉 Результаты поиска также доступны в HTML формате
👉 Возможность получения рекламных блоков TopAds и BottomAds

Стоимость режима Turbo: +10 руб за 1000 запросов к вашему тарифному плану.
🔥2👍1
⚡️ 11.07 Парсинг карусели с товарами в Яндекс Live

В инструмент Яндекс Live добавили возможность собирать данные в XML и JSON формате из карусели с товарами, расположенной вверху страницы с результатами поиска. Карусель встречается не на всех запросах, наличие сильно зависит от региона поиска.

Позволяет собрать следующие данные: адрес сайта (магазина), ссылка на товар в зашифрованном виде, название товара, его изображение и цена; название и ИНН организации, разместившей данное объявление.

Чтобы включить вывод данных из карусели, необходимо в настройках по умолчанию поставить соответствующую галку, либо использовать параметр &scroller=1. Одним запросом можно парсить и карусель, и рекламные объявления, используя сочетание параметров &ads=1&scroller=1.
👍2
⚡️ 15.07 Проблемы на стороне Яндекса


Сегодня с 15:40 до 16:00 наблюдались технические проблемы на стороне Яндекса, в связи с этим инструменты ЯндексXML и ЯндексLive могли работать с ошибками.

Также некорректно работала сама выдача Яндекса, на ya.ru показывалась только первая страница выдачи и не верно определялся регион поиска. В связи с этим, по запросам, проведенным в это время с помощью инструмента ЯндексLive, отдавались результаты с кодом 15 (результатов не найдено).

На данный момент работа сервисов восстановлена.
👍3
⚡️ 03.09 Проблемы с открытием сайтов

Со вчерашнего дня наблюдаются проблемы с открытием многих сайтов в интернете, в том числе и xmlstock.com.

Это глобальные проблемы на уровне DNS-сервисов интернет-провайдеров. Также могут быть проблемы при пополнении баланса.

По всем вопросам пишите в поддержку.
👍2
⚡️ 08.11 Яндекс ухудшит условия по Search Api. Синхронный и асинхронный режим.

❗️В Яндекс Cloud долго думали, как испортить то, что хорошо работает и придумали асинхронную, то есть отложенную выдачу. Выдача в реальном времени, как сейчас, теперь будет называться синхронной.

Принцип работы нового метода следующий:
1. Вы отправляете запрос;
2. Получаете в ответ ID операции, запоминаете его;
3. Через 5 минут делаете повторный запрос с использованием полученного ранее ID-запроса и только тогда появится результат поиска, а может и не появится. Зависит от настроения Яндекса 😊

🕓 Каждая операция будет обрабатываться минимум 5 минут, однако возможны дополнительные задержки, так как точное время формирования ответа на стороне Яндекса предсказать невозможно.

💸 Новые цены на асинхронную и синхронную выдачу пока неизвестны, но точно известно что синхронная выдача будет значительно дороже и станет фактически заградительной для обычных пользователей. Все изменения планируют окончательно ввести с начала следующего года. Пока работаем по-старому и есть время подготовиться.

Что мы можем спрогнозировать уже сейчас:
👉 Ваши скрипты и программы продолжат работать с синхронной выдачей, но стоить будет дорого.
👉 Для работы с асинхронным режимом необходимо будет переписать свой софт в соответствии с новым алгоритмом работы.
👉 KeyCollector для съема позиций в Яндексе в асинхронном режиме станет непригодным, т.к. программа больше не обновляется.
👉 Возможна нестабильная работа или длительное ожидание ответа асинхронной системы запросов при высоких нагрузках.
👉 Парсинг живой выдачи станет актуален как никогда.

В ближайшее время мы запустим тестовый функционал для асинхронных запросов с подробными инструкциями. Ожидайте анонсов и следите за обновлениями!
Please open Telegram to view this post
VIEW IN TELEGRAM
😱7😁1
⚡️ 14.01 Пользователи массово жалуются на сбои в работе операторов связи и сети интернет

В данный момент наблюдаются массовые сбои в сети Интернет, в связи с этим некоторые сайты и сервисы могут быть недоступны, в том числе и наш сайт. В случае возникновения неполадок - ожидайте восстановления работоспособности.
😱1
⚡️16.01 Проблемы с GoogleXML

Наблюдаются проблемы с парсингом Google. Срабатывает новая защита от поисковой системы на наличие включенного javascript, вследствие чего обычный парсинг теперь невозможен. Инструмент Google XML временно остановлен. Приносим извинения за доставленные неудобства.
😱1
⚡️16.01 Частичное восстановление GoogleXML

Частично восстановили работу сервиса для некоторых пользователей с ограничением на количество запросов в секунду. Новых пользователей будем подключать по мере возможностей. Проблема в том, что новый метод потребляет значительные ресурсы сервера (В десятки раз больше), поэтому нам не хватает мощностей обслужить все запросы. Для стабильной работы, при превышении определенных порогов нагрузки, сбор может отключаться на короткий промежуток времени и выдавать ошибку 101. В ближайшие дни будем работать над оптимизацией алгоритмов и увеличением количества серверов.

Внимание! Если у вас есть соображения, как обойти новую блокировку Google без использования Javascript, пишите нам в чат поддержки или на почту. Вознаграждение гарантируем!
👍2👏1
⚡️ 19.01 Последние новости по GoogleXML

Компания Google заявила, что начала требовать от пользователей включения JavaScript для использования поиска Google.

"В электронном письме TechCrunch представитель компании заявил, что изменение призвано «лучше защитить» Google Search от вредоносной активности, такой как боты и спам, и улучшить общий опыт Google Search для пользователей."


С нашей стороны работы по прежнему продолжаются, вся команда работает в усиленном режиме и пытается как можно скорее привести сервис GoogleXML в полную работоспособность. На данный момент Desktop работает в формате XML и JSON, Mobile - временно отключен.
😱1
⚡️ 21.01 Восстановили парсинг Google: обходим JavaScript защиту

Уважаемые пользователи! Рады сообщить, что на данный момент мы практически полностью восстановили работу наших инструментов для парсинга ПС Google, несмотря на серьезные изменения, внедренные Google 15 января, приведшие к временным перебоям в работе сервиса.

Что сейчас работает:
Парсинг Google поиска (десктоп): доступен XML и JSON. Формат HTML временно недоступен. Обратите внимание: в теге found priority="all" отображается количество документов на текущей странице, а блоки «Вопросы по теме», «Запросы по теме» и «Другие также ищут» временно не выводятся.

Парсинг мобильной выдачи Google: функционирует полностью, поддерживаются форматы XML, JSON и HTML.
Парсинг Google Картинок: полностью восстановлен, доступны XML, JSON и HTML.
Парсинг Google Новостей: полностью восстановлен, доступны XML, JSON и HTML.
Парсинг Google Видео: полностью восстановлен, доступны XML, JSON и HTML.

Важное замечание
Из-за новых требований Google к протоколам взаимодействия скорость парсинга временно ограничена 15 потоками, этого вполне достаточно для большинства сценариев использования. Мы активно работаем над оптимизацией системы и устранением оставшихся ограничений.

Изменения Google включают новые меры защиты, использование JavaScript и пересмотренные требования к обработке сессий, что усложняет обработку данных, но мы готовы адаптироваться и развивать наши инструменты для предоставления надежных решений.

Если вы нашли какие то ошибки в работе инструмента пишите в поддержку чтобы мы могли оперативно их исправить!
👍31
❗️ 30.01 Технические работы по GoogleXML

Внимание! Сервис GoogleXML работает в ограниченном режиме. Ведутся технические работы. Приносим извинения за неудобства. Постараемся восстановить полную работоспособность в кратчайшие сроки.
👍4