1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Ошибка [1.2.136] Не работает метод this.proxy.set в парсерах созданных с помощью java script

Тема в разделе "1.2.138", создана пользователем Support Юра, 8 дек 2017.

  1. Support Юра

    Support Юра A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 июн 2017
    Сообщения:
    122
    Симпатии:
    71
    При попытке установить нужный прокси, парсер использует прокси по умолчанию
    Код:
        *parseText(set, results) {
            this.logger.put("Scraping text from " + set.query);
            this.proxy.set('http://10.10.1.253:8080', true);
            this.logger.put("Proxy: " + this.proxy.get());
            let response = yield this.parser.request('HTML::TextExtractor', this.conf.HTML_TextExtractor_preset, set.query);
            results.key = set.first;
            results.link = set.query;
            this.logger.put("Proxy result: " + this.proxy.get());
            if(response.info.success) {
                results.text =  response.texts.join("\n");
                results.title = response.data.match(/<title>\s*(.+?)\s*<\/title>/)[1];
                this.logger.put(set.query + " - " + response.texts.length + " blocks, " + results.text.length + " chars filename:" + results.filename);
                results.success = 1;
            }
            else {
                this.logger.put(set.query + " - error scraping text");
                results.success = 0;
            }
    
            return results;
        }
    в логе задания видно что парсер использует совсем не тот прокси что устанавливается:
    Код:
    08/12 13:37:37 Parser JS::TextFromSE::0 parse query https://myexternalip.com/
    08/12 13:37:37 Use proxy socks://88.***.***.172:35010
    08/12 13:37:37 Scraping text from https://myexternalip.com/
    08/12 13:37:37 Use proxy http://10.10.1.253:8080
    08/12 13:37:37 Proxy: http://10.10.1.253:8080
    08/12 13:37:37 Use proxy socks://88.***.***.188:24740
    08/12 13:37:44 GET(1): https://myexternalip.com/ - 200 OK (10.21 KB)
    08/12 13:37:44 Decode from utf-8(meta charset)
    08/12 13:37:44 Parse response: 1
    08/12 13:37:44 Proxy result: socks://88.***.***.188:24740
    08/12 13:37:44 https://myexternalip.com/ - 23 blocks, 8423 chars filename:undefined
    08/12 13:37:44Thread complete work queries_from_text.txt/files/site_myexternalip.com.txt
    
    Ошибку удалось подтвердить на других проектах
     
    #1 Support Юра, 8 дек 2017
    Последнее редактирование: 8 дек 2017

Поделиться этой страницей