XMLstock
225 subscribers
11 photos
46 links
Инструменты для парсинга поисковой выдачи Яндекс и Google в реальном времени. Новости сервиса и обновления.

Сайт: https://xmlstock.com
Поддержка: @hh_developer
Download Telegram
⚡️ 28.09 Исправили парсинг картинок в GoogleXML

Последнее время у нас не работал сбор картинок в GoogleXML. Сегодня внесли обновления, теперь все работает в штатном режиме. Приносим извинения за неудобства.
👍2
⚡️ 01.10 Доработали парсинг мобильной выдачи ЯндексLive

Последнее время были проблемы со сбором мобильной выдачи ЯндексLive. На данный момент этот инструмент работает в полном объеме.

Мы провели большое обновление в алгоритмах, а теперь работаем над увеличением скорости парсинга данных из-за возросшего спроса на него в связи с последними обстоятельствами.

Обо всех встречающихся проблемах просьба сообщать в обратную связь.
👍1
⚡️ 03.10 Снижение минимальной суммы на вывод

В связи с закрытием выкупа XML-лимитов с сегодняшнего дня мы понижаем минимальный порог до 1 руб. на вывод средств на платежные системы Webmoney и Qiwi, чтобы продавцы XML-лимитов могли вывести заработанные деньги.

Доступные способы вывода, комиссии и минималка:

✔️ Webmoney WMZ (Комиссия 0.8%. Минимум на вывод 1 руб.)
✔️ Qiwi (Комиссия 2%. Минимум на вывод 1 руб.)
✔️ Карты России Visa, Mastercard, Мир (Комиссия 3% + 50 руб. Минимум на вывод 600 руб)
✔️ Юmoney (Комиссия 0.5%. Минимум на вывод 1100 руб.)
😭2👍1
⚡️ 11.10 Мобильная выдача ЯндексXML

Появилась возможность снимать мобильную выдачу через инструмент ЯндексXMLproxy. Для этого в Настройках необходимо выбрать Устройство: ПК или Мобильный. Также можно передавать эту настройку через GET-параметры в URL во время запроса: &device=mobile

👉 Поддержка мобильной выдачи через наш инструмент Яндекс XMLproxy реализована в программе TopSite начиная с версии 4.0.9
👍1
⚡️ 16.10.2023 Новые изменения в сервисе

👉 Новый функционал Яндекс Live - Обратный поиск по картинкам
Добавили новую функцию - Обратный поиск по картинкам в инструменте ЯндексLive. Поиск осуществляется непосредственно по самому изображению, задаваемому в виде URL.

Для отправки запроса необходимо передать следующие параметры: &tbm=images&query=image:https://domain.com/image.jpg, где после image: необходимо указывать точный адрес картинки с сайта.

В результате вы получите список похожих изображений из поисковой системы Яндекс и ссылки на сайты где они располагаются.

👉 Новый функционал Google Xml Search - Поиск по новостям
Добавили в GoogleXML сбор данных из раздела Новости. Для переключения в этот режим необходимо изменить настройки Результатов поиска в личном кабинете или в запросе передать get-параметр &tbm=news

👉 Новые графики совершения запросов
Обновили графики совершения запросов во всех инструментах. Теперь доступно три графика статистики: Часовые запросы за сегодняшний день, Суточные запросы за текущий месяц, Ежемесячное количество запросов за последние 2 года.

👉 Суточное ограничение на количество запросов
В настройки всех инструментов добавили суточный ограничитель по количеству запросов. Можно указать любое количество запросов в сутки, запросы свыше выставленного лимита не будут проходить и будут возвращать ошибку о достижении значения ограничителя. Функция полезна в том случае, если необходимо не допустить перерасхода средств на балансе.

Также напоминаем о том, что вы можете настроить Контроль расходов в личном кабинете и получать заранее уведомления о том, когда средства на балансе заканчиваются и автоматически получать уведомления о совершенных запросах: раз в день, раз в неделю или раз в месяц.

👉 Новые условия по партнерской программе
С сегодняшнего дня мы меняем отчисления по партнерской программе как для пользователей, так и для разработчиков софта.

Новые тарифы:
Яндекс XMLProxy - 5% со всех запросов привлеченного пользователя
Яндекс Live - 10% со всех запросов привлеченного пользователя
Google XML Search - 10% со всех запросов привлеченного пользователя

👉 Единый тариф для Google XML и Яндекс Live
С 1 ноября 2023 года будут введены изменения в стоимости запросов по инструменту Яндекс Live. А именно - будут введены тарифные планы. Ранее тарифные планы существовали только для инструмента GoogleXML Search: Базовый (20 руб за 1000 запросов), Оптимальный (15 руб за 1000 запросов), Максимум (10 руб за 1000 запросов).

Теперь будет общий тарифный план для GoogleXML Search и Яндекс Live. Сумма покупки тарифного плана останется без изменений: 3 000 руб для тарифа "Оптимальный" и 10 000 руб для тарифа "Максимум". Оплаченный лимит запросов будет общим и его можно будет тратить одновременно как в Google XML, так и Яндекс Live.

Таким образом с 1 ноября стоимость ЯндексLive без использования тарифных планов составит 20 руб за 1000 запросов. С тарифными планами - 15 руб и 10 рублей соответственно.
👍2
⚡️ 01.11.2023 Снижаем цену на Яндекс XmlProxy

Сегодня, как и обещали специалисты Яндекса, старейший и условно бесплатный сервис Яндекс.XML окончательно закрылся. Теперь для получения результатов поиска в формате XML можно использовать только платный Яндекс Search Api. Ушла эпоха... 😢

Но у нас есть и хорошие новости! Наш инструмент XMLProxy продолжает работу с новым Яндекс Search Api, а с сегодняшнего дня мы объявляем бессрочную акцию и снижаем на него цену до 18 рублей за 1000 запросов для всех наших пользователей без каких либо дополнительных условий! Также мы сохранили партнерскую программу в которой платим 5% от всех трат привлеченных пользователей.

❗️Улучшили скорость и стабильность работы

В последнее время из-за высоких нагрузок в часы пик, стали поступать жалобы на медленную работу нашего сервиса. За последний месяц мы проделали огромную работу по оптимизации cервиса, тем самым в разы увеличили пропускную способность и скорость получения результатов на всех инструментах. Проблемы с долгим временем получения результатов в часы высокой нагрузки теперь практически исключены.

❗️Единые тарифы на Google XML и Яндекс Live

Мы также пересмотрели ценообразование на живую выдачу Яндекс и инструмент парсинга живой выдачи Яндекс Live. С сегодняшнего дня мы ввели уже ранее анонсированные общие тарифные планы с GoogleXML Search. По умолчанию всем пользователям подключен тариф "Базовый" с оплатой за каждый запрос. Вы можете подключить месячные тарифы в личном кабинете. Тем, у кого уже был подключен любой из платных тарифов для Google XML и уже использует Яндекс Live ничего делать не надо.
👍4
⚡️ 05.12.2023 Пополнение баланса через СБП

Добавили пополнение баланса через Систему Быстрых Платежей по QR коду без комиссии! 💸

Для пополнения баланса этим способом выберите СБП и укажите сумму пополнения. Далее вы будете автоматически перенаправлены на страницу оплаты, отсканируйте QR код в мобильном приложении вашего банка или платежной системы ЮMoney, Qiwi. Через несколько секунд после успешной оплаты в приложении, вы будете автоматически перенаправлены на наш сайт.

Рекомендуем использовать этот способ как наиболее выгодный и стабильный. Максимальная сумма одного платежа 50 000 рублей.
Please open Telegram to view this post
VIEW IN TELEGRAM
😱3👍2
❗️30.01.2023 Проблемы с резолвом доменных имен

Наблюдаются глобальные проблемы с резолвом доменных имен. Часть сервисов может не работать или работать не стабильно.

Причиной проблемы являются глобальные неполадки в ru-зоне доменных имен, что может затрагивать работу всех сервисов, обращение к которым осуществляется с помощью доменов в зоне .RU

UPD 21.20 Похоже на данный момент времени аварию устранили. Сейчас наши сервисы должны работать в штатном режиме. Мы продолжаем следить за ситуацией.
👍1🤔1😱1
⚡️ 04.03.2024 Прокачали тарифные планы!

Наши тарифные планы стали более универсальными! Мы включили во все тарифные планы траты по Яндекс XML Proxy, а это значит, что теперь можно подключить выгодный тариф и пользоваться всеми инструментами с общего баланса. Условия тарифных планов при этом не изменились!

При активации выбранного тарифного плана, с вашего баланса будет списана его стоимость и заморожена на 30 календарных дней. Зарезервированная сумма отобразится в соответствующей строке и будет расходоваться в первую очередь при совершении запросов на любом из наших инструментов. При использовании всех замороженных средств, дальнейшее списание за запросы будет происходить с основного баланса аккаунта по цене активного тарифного плана.

По окончании срока действия тарифа неиспользованные зарезервированные средства на новый период не переносятся.
👍1🎉1
Сегодня обнаружили что программа KeyCollector не совсем корректно отправляет данные в ЯндексXML.
KeyCollector в своих запросах отправляет параметр фильтрации результатов filter=none, тогда как в Яндекс XML значение по умолчанию идет filter=moderate

https://cloud.yandex.ru/ru/docs/search-api/concepts/get-request

none
— фильтрация отключена. В выдачу включаются любые документы вне зависимости от содержимого.
moderate — умеренный фильтр (значение по умолчанию). Из выдачи исключаются документы, относящиеся к категории "для взрослых", если запрос явно не направлен на поиск подобных ресурсов.
strict — семейный фильтр. Вне зависимости от поискового запроса из выдачи исключаются документы, относящиеся к категории "для взрослых", а также содержащие ненормативную лексику.

Пользователи могут получать некорректные данные в связи с этим.

Eсли необходимо, чтобы выдача точно соответствовала стандартной, в настройках региональности в KeyCollector в поле GET-параметры также надо прописать filter=moderate.

Подробнее тут https://xmlstock.com/?do=help-yaxml-settings
👍7
⚡️ 22.03.2024 Вывод результатов из блоков "Запросы по теме" и "Люди Ищут"

Добавили в XML и JSON выдачу дополнительные результаты поиска из блоков "Люди Ищут" для Яндекс Live и "Запросы по теме" для Google XML Search.

Активируется в обоих инструментах с помощью добавления параметра &related=1 или через настройки по умолчанию. В ПС Google также дополнительно показывается блок "Похожие Вопросы".
👍3
⚡️ 05.04 Парсинг дополнительной информации из Яндекс Директ

Улучшили парсинг Яндекс Директ из живой выдачи.

Теперь в инструменте Яндекс Live дополнительно выводятся следующие данные из рекламных объявлений : номера телефонов, ссылка на профиль компании в Яндекс, город и станция метро; название и ИНН организации, разместившей данное объявление (рекламные агентства). Если какая-то информация отсутствует, то она не выводится.

Также номера телефонов выводятся из основной выдачи (при наличии)

Эти данные пока доступны только в десктоп выдаче.
👍1🔥1
⚡️ 02.05 Парсинг Видео из поиска Google

Добавили парсинг результатов выдачи из вкладки Видео в поисковой системе Google.

Для этого в нашем инструменте Google Xml Search необходимо использовать параметр &tbm=video или указать Результаты поиска - Видео в настройках по умолчанию. Для указания страны поиска необходимо задать параметры &gl=, &hl=

Обратите внимание, что для Google XML Search теперь доступен парсинг сразу 4-х видов поиска: Поисковая Выдача, Картинки, Новости и Видео.
👍2
⚡️31.05 Новые параметры для поиска Google

Добавили поддержку новых параметров для поиска Google:

&nfpr - Исправление опечаток
&safe - Безопасный поиск

Подробное описание всех доступных параметров:
https://xmlstock.com/?do=help-googlexml-params
👍1
⚡️ 06.07 Парсинг живой выдачи Яндекс на Turbo скорости без ошибок

Пользователи, которые собирают выдачу с помощью инструмента ЯндексLive наверняка заметили медленную скорость сбора и нестабильность работы данного инструмента. Сегодня мы хотим анонсировать обновление системы ЯндексLive, а именно добавление режима "Turbo скорость".

С помощью этого режима можно парсить поисковую выдачу Яндекса в формате xml, json, html на огромной скорости без каптчи и ошибок. Переключение режима сбора осуществляется в настройках личного кабинета (выбор Типа поиска). Также можно выбирать режим, отправляя параметр &tbm=turbo в GET-параметрах запросов. Турбо режим доступен только для поисковой выдачи и недоступен для сбора картинок и видео.

Turbo скорость обладает рядом существенных преимуществ:

👉 Моментальная скорость получения результатов
👉 Неограниченное количество потоков
👉 Никаких ошибок из-за высокой загрузки инструмента
👉 Десктоп и мобильная версия поиска
👉 Результаты поиска также доступны в HTML формате
👉 Возможность получения рекламных блоков TopAds и BottomAds

Стоимость режима Turbo: +10 руб за 1000 запросов к вашему тарифному плану.
🔥2👍1
⚡️ 11.07 Парсинг карусели с товарами в Яндекс Live

В инструмент Яндекс Live добавили возможность собирать данные в XML и JSON формате из карусели с товарами, расположенной вверху страницы с результатами поиска. Карусель встречается не на всех запросах, наличие сильно зависит от региона поиска.

Позволяет собрать следующие данные: адрес сайта (магазина), ссылка на товар в зашифрованном виде, название товара, его изображение и цена; название и ИНН организации, разместившей данное объявление.

Чтобы включить вывод данных из карусели, необходимо в настройках по умолчанию поставить соответствующую галку, либо использовать параметр &scroller=1. Одним запросом можно парсить и карусель, и рекламные объявления, используя сочетание параметров &ads=1&scroller=1.
👍2
⚡️ 15.07 Проблемы на стороне Яндекса


Сегодня с 15:40 до 16:00 наблюдались технические проблемы на стороне Яндекса, в связи с этим инструменты ЯндексXML и ЯндексLive могли работать с ошибками.

Также некорректно работала сама выдача Яндекса, на ya.ru показывалась только первая страница выдачи и не верно определялся регион поиска. В связи с этим, по запросам, проведенным в это время с помощью инструмента ЯндексLive, отдавались результаты с кодом 15 (результатов не найдено).

На данный момент работа сервисов восстановлена.
👍3
⚡️ 03.09 Проблемы с открытием сайтов

Со вчерашнего дня наблюдаются проблемы с открытием многих сайтов в интернете, в том числе и xmlstock.com.

Это глобальные проблемы на уровне DNS-сервисов интернет-провайдеров. Также могут быть проблемы при пополнении баланса.

По всем вопросам пишите в поддержку.
👍2
⚡️ 08.11 Яндекс ухудшит условия по Search Api. Синхронный и асинхронный режим.

❗️В Яндекс Cloud долго думали, как испортить то, что хорошо работает и придумали асинхронную, то есть отложенную выдачу. Выдача в реальном времени, как сейчас, теперь будет называться синхронной.

Принцип работы нового метода следующий:
1. Вы отправляете запрос;
2. Получаете в ответ ID операции, запоминаете его;
3. Через 5 минут делаете повторный запрос с использованием полученного ранее ID-запроса и только тогда появится результат поиска, а может и не появится. Зависит от настроения Яндекса 😊

🕓 Каждая операция будет обрабатываться минимум 5 минут, однако возможны дополнительные задержки, так как точное время формирования ответа на стороне Яндекса предсказать невозможно.

💸 Новые цены на асинхронную и синхронную выдачу пока неизвестны, но точно известно что синхронная выдача будет значительно дороже и станет фактически заградительной для обычных пользователей. Все изменения планируют окончательно ввести с начала следующего года. Пока работаем по-старому и есть время подготовиться.

Что мы можем спрогнозировать уже сейчас:
👉 Ваши скрипты и программы продолжат работать с синхронной выдачей, но стоить будет дорого.
👉 Для работы с асинхронным режимом необходимо будет переписать свой софт в соответствии с новым алгоритмом работы.
👉 KeyCollector для съема позиций в Яндексе в асинхронном режиме станет непригодным, т.к. программа больше не обновляется.
👉 Возможна нестабильная работа или длительное ожидание ответа асинхронной системы запросов при высоких нагрузках.
👉 Парсинг живой выдачи станет актуален как никогда.

В ближайшее время мы запустим тестовый функционал для асинхронных запросов с подробными инструкциями. Ожидайте анонсов и следите за обновлениями!
Please open Telegram to view this post
VIEW IN TELEGRAM
😱7😁1
⚡️ 14.01 Пользователи массово жалуются на сбои в работе операторов связи и сети интернет

В данный момент наблюдаются массовые сбои в сети Интернет, в связи с этим некоторые сайты и сервисы могут быть недоступны, в том числе и наш сайт. В случае возникновения неполадок - ожидайте восстановления работоспособности.
😱1