При попытке установить нужный прокси, парсер использует прокси по умолчанию
в логе задания видно что парсер использует совсем не тот прокси что устанавливается:
Ошибку удалось подтвердить на других проектах
Код:
*parseText(set, results) {
this.logger.put("Scraping text from " + set.query);
this.proxy.set('http://10.10.1.253:8080', true);
this.logger.put("Proxy: " + this.proxy.get());
let response = yield this.parser.request('HTML::TextExtractor', this.conf.HTML_TextExtractor_preset, set.query);
results.key = set.first;
results.link = set.query;
this.logger.put("Proxy result: " + this.proxy.get());
if(response.info.success) {
results.text = response.texts.join("\n");
results.title = response.data.match(/<title>\s*(.+?)\s*<\/title>/)[1];
this.logger.put(set.query + " - " + response.texts.length + " blocks, " + results.text.length + " chars filename:" + results.filename);
results.success = 1;
}
else {
this.logger.put(set.query + " - error scraping text");
results.success = 0;
}
return results;
}
Код:
08/12 13:37:37 Parser JS::TextFromSE::0 parse query https://myexternalip.com/
08/12 13:37:37 Use proxy socks://88.***.***.172:35010
08/12 13:37:37 Scraping text from https://myexternalip.com/
08/12 13:37:37 Use proxy http://10.10.1.253:8080
08/12 13:37:37 Proxy: http://10.10.1.253:8080
08/12 13:37:37 Use proxy socks://88.***.***.188:24740
08/12 13:37:44 GET(1): https://myexternalip.com/ - 200 OK (10.21 KB)
08/12 13:37:44 Decode from utf-8(meta charset)
08/12 13:37:44 Parse response: 1
08/12 13:37:44 Proxy result: socks://88.***.***.188:24740
08/12 13:37:44 https://myexternalip.com/ - 23 blocks, 8423 chars filename:undefined
08/12 13:37:44Thread complete work queries_from_text.txt/files/site_myexternalip.com.txt
Последнее редактирование: