LD_ANARCHY

Была ситуация, почти #поИБ #memo и связанная со скрапингом данных :) Все как мы любим "надо вчера" и надо было вытащить из amocrm всех лидов.

Тут как вы понимаете есть несколько стульев, а именно
- взять и работать по API (не вариант потому то у этого аккаунта нет доступа к API)
- поднимать всякие headless решения и скрапить (не мне не нравится ибо времени не хватает)
- вспомнить времена Ingress и заюзать Tampermonkey

Ну вот и выбрал я Tampermonkey, а значит начнем говнокодить на JS :)
1. Смотрим какие данные и на какой странице есть, как их получает фронтенд. С этим нам поможет @match в заголовках скрипта, который позволяет с регулярками понять на какой странице(ах) отрабатывать скрипту
2. У Tampermonkey есть прикольная функциональность — отлавливать прямо в браузере то, что приходит от бэка и даже и вешает хук на это (да, да, прокся).
- Тут сначала нужно найти эндпоинт по которому гоняются данные и ловим этот запрос на странице this.responseURL.indexOf( в удобном JSON от бэка
- Забираем из этого запроса this.responseText
3. Отправляем забранное через GM.xmlHttpRequest, который как XMLHttpRequest, но только от Tampermonkey и игнорирует same origin policy
4. А onreadystatechange после отправки запроса нам кликаем по кнопке "Дальше"

Как результат -- мы красавчики и стащили данные из запроса, который пришел, потом его передали как есть на сторонний сервак и все :)

// ==UserScript==
// @name         AmoCRM - lead downloader
// @namespace    http://tampermonkey.net/
// @version      0.1
// @description  blah blah blah
// @author       deadroot
// @match        https://REDACTED.amocrm.ru/leads/*
// @icon         https://www.google.com/s2/favicons?sz=64&domain=amocrm.ru
// @grant        GM.xmlHttpRequest
// ==/UserScript==

(function(open) {
    XMLHttpRequest.prototype.open = function() {
        this.addEventListener("readystatechange", function() {
            if (this.readyState === this.DONE) {
                if (this.status === 200) {
                    if (this.responseURL.indexOf("ajax/leads/list/?json=1") > -1) {
                        console.log(this.responseURL);
                        GM.xmlHttpRequest({
                            method: "POST",
                            url: "https://REDACTED/data-logger",
                            headers: { "Content-type" : "application/json;charset=UTF-8" },
                            data: this.responseText,
                            onload: function(response) { console.log('loaded xD') },
                            onreadystatechange: function(response) {
                                if (this.readyState == 4 && this.status == 200) {
                                    document.querySelector('#list_pagination > div.pagination-buttons > div.list-top-nav__icon-button.js-pagination-next.list-top-nav__icon-button_pagination').click();
                                }
                            },
                        });
                    }
                }
            }
        }, false);
        open.apply(this, arguments);
    };
})(XMLHttpRequest.prototype.open);

👍2

648 views22:09