JavaScript парсеры: расширенный функционал A-Parser

решил проблему, нектуально...

 

Очень хотелось бы увидеть полный аналог парсера Net::HTTP на JavaScript с поддержкой антигейта.

 

Если можно то на примере поисковика Rambler.

 

А можно оформить так же как парсер Mail.ru?

 

Добрый день. Можно ли 5 пример "Парсинг текстовки по ключу" HTML::TextExtractor заменить на NET::HTTP? Попытался по аналоги переписать, но не вышло:

Спойлер: SE-NET::HTTP

class Parser {
constructor() {
this.defaultConf = {
results: {
flat: [
['key', 'Keyword'],
['link', 'Link'],
['data', 'Data'],
]
},
results_format: "$key - $link\\n$data\\n\\n",
search_engine: 'SE::Google',
SE_Google_preset: 'default',
SE_Yandex_preset: 'default',
NET_HTTP_preset: 'default',
};
this.editableConf = [
['SE_Google_preset', ['combobox', 'SE::Google preset']],
['SE_Yandex_preset', ['combobox', 'SE::Yandex preset']],
['NET_HTTP_preset', ['combobox', 'NET::HTTP preset']],
['search_engine', ['combobox', 'Search engine', ['SE::Google', 'Google'], ['SE::Yandex', 'Yandex']]],
];
}

*parse(set, results) {
return yield* set.lvl == 0 ? this.parseSE(set, results) : this.parseText(set, results);
}

*parseSE(set, results) {
this.logger.put("Start scraping query: " + set.query);

this.logger.put(`Use ${this.conf.search_engine}`);
let SEresp = yield this.parser.request(
this.conf.search_engine,
this.conf[this.conf.search_engine.replace(/::/, '_') + '_preset'],
set.query
);

if(SEresp.info.success) {
let link_count = 0;
let step = this.conf.search_engine == 'SE::Google' ? 3 : 5;
for (let i = 0; i < SEresp.serp.length; i += step) {
const link = SEresp.serp;
this.query.add(link);
link_count += 1;
}
this.logger.put("Added " + link_count + " links");
results.success = 1;
results.SKIP = 1;
return results;
}
else {
this.logger.put(`Error scraping ${this.conf.search_engine}`);
results.success = 0;
return results;
}
}

*parseText(set, results) {
this.logger.put("Scraping text from " + set.query);
let response = yield this.parser.request('NET::HTTP', this.conf.NET_HTTP_preset, set.query);
results.key = set.first;
results.link = set.query;
if(response.info.success) {
results.data = response.data;//????????
this.logger.put(set.query + " - " + response.data.length + " blocks, " + results.data.length + " chars");
results.success = 1;
}
else {
this.logger.put(set.query + " - error scraping text");
results.success = 0;
}
return results;
}
}

 

ДД. Подскажите, где прочитать как работает встроенный обработчик попыток? Что такое успешная и не успешная попытка?

 

Приветствую
Если я правильно понимаю, то успешная попытка, это попытка когда все запросы вернули положительное значение. т.е. берем 10 листов гугла, если парсер проходит по ним всем и получает данные, то это считается положительной попыткой. Если же парсер прошел ни одной либо прошел < 10, в данном случае, то это неуспешная попытка, хотя результат выведется.
Хотя могу и ошибаться.

 

Немного уточню.
В настройках парсера стоит Кол-во попыток: 1000.

Вариант 1.
Если я выполняю этот запрос, то он будет выполняться пока не получу код ответа 200 и не пройдет валидация контента согласно регулярке в check_content и так до 1000 раз?
При не успешной попытке прокси-сервер меняется?

Код:

let response = yield this.request('GET', 'https://foobar/', {}, {
    check_content: ['<\/html>'],
    decode: 'auto-html',
    parsecodes: {200: 1},
    browser: 1,
});

Вариант 2.
Я вручную управляю счетчиком попыток скачки с помощью параметра attempt.
В этом случае успешность запроса определяется так же, как в 1-м варианте?
Прокси-сервер я здесь меняю сам.

Код:

for(attempt = 1; attempt <= this.conf.proxyretries; attempt++) {
    let response = yield this.request('GET', 'https://foobar/', {}, {
        check_content: ['<\/html>'],
        decode: 'auto-html',
        parsecodes: {200: 1},
        browser: 1,
        attempt: attempt,
    });
    if (response.success) {
        break;
    }
    this.proxy.next();
}

 

Здравствуйте.
1) В первом варианте будет перебирать прокси, пока код ответа не будет 200 и и код страницы не будет соответствовать регулярке в check_content ,либо пока не закончится число попыток. Прокси будут меняться при этоем, если конечно парсите с прокси.
2) В описанном вами 2 варианте успешность запроса определяется так же как и в 1-ом варианте.

 

Kreola, Support Денис, спасибо!

 

Скажите, javaScript парсер обрабатывает js скриаты на странице доноре?
У меня такая задача, весть контент на странице выводится через js скрипт, как спарсить с такой страницы?

 

Здравствуйте.
Если контент страницы собирается динамически js скриптом, то нужно использовать инструменты разработчика в браузере и смотреть какие запросы и с какими данными отправляются.
Например на сайте olx.ua чтобы увидеть телефон продавца надо нажать на кнопку и тогда открывается телефон. Открываем инструменты разработчика, смотрим какой запрос добавился при нажатии смотрим его ответ , и если это то что нужно, то отправляем запрос с такими заголовками и переменными.

 

Вся страница выводится неск скриптами
Если смотреть через браузер, то видна норм страница, если через гет пост, то видны только скрипты.