Попробуйте флаг g добавить
Код:
this.conf[this.conf.search_engine.replace(/::/g, '_') + '_preset'],
Следуйте инструкциям в видео ниже, чтобы узнать, как установить наш сайт как веб-приложение на главный экран вашего устройства.
Примечание: Эта функция может быть недоступна в некоторых браузерах.
this.conf[this.conf.search_engine.replace(/::/g, '_') + '_preset'],
*parseText(set, results) {
this.logger.put("Scraping text from " + set.query);
this.proxy.set('http://10.10.1.253:8080', true);
this.logger.put("Proxy: " + this.proxy.get());
let response = yield this.parser.request('HTML::TextExtractor', this.conf.HTML_TextExtractor_preset, set.query);
results.key = set.first;
results.link = set.query;
this.logger.put("Proxy result: " + this.proxy.get());
if(response.info.success) {
results.text = response.texts.join("\n");
results.title = response.data.match(/<title>\s*(.+?)\s*<\/title>/)[1];
this.logger.put(set.query + " - " + response.texts.length + " blocks, " + results.text.length + " chars filename:" + results.filename);
results.success = 1;
}
else {
this.logger.put(set.query + " - error scraping text");
results.success = 0;
}
return results;
}
08/12 13:37:37 Parser JS::TextFromSE::0 parse query https://myexternalip.com/
08/12 13:37:37 Use proxy socks://88.***.***.172:35010
08/12 13:37:37 Scraping text from https://myexternalip.com/
08/12 13:37:37 Use proxy http://10.10.1.253:8080
08/12 13:37:37 Proxy: http://10.10.1.253:8080
08/12 13:37:37 Use proxy socks://88.***.***.188:24740
08/12 13:37:44 GET(1): https://myexternalip.com/ - 200 OK (10.21 KB)
08/12 13:37:44 Decode from utf-8(meta charset)
08/12 13:37:44 Parse response: 1
08/12 13:37:44 Proxy result: socks://88.***.***.188:24740
08/12 13:37:44 https://myexternalip.com/ - 23 blocks, 8423 chars filename:undefined
08/12 13:37:44Thread complete work queries_from_text.txt/files/site_myexternalip.com.txt
Еще есть вопрос или проблема которая возникла у меня после последних обновлений. Сменой установки прокси я пытался устранить зависающий парсер, я думал что из-за проксей второй парсер HTML::TextExtractor из-за сетевых потерь или неустойчивой работы прокси начинает подвисать.Здравствуйте!
Ошибку удалось подтвердить на своих проектах. Согласно этому, создана задача здесь. Когда ошибка будет исправлена или устранена других способом, в теме будет размещено сообщение.
Dec 10 23:53:28.02008 [master] starting task #753 threads: 100
Dec 10 23:53:37.19996 [master] GC takes 3.13826298713684
Dec 10 23:57:36.55417 [master] GC takes 2.49235200881958
Dec 10 23:51:28.82071 [master] long parsing(0.528845071792603): HTML::TextExtractor::0, query: https://sites.google.com
Dec 11 01:40:46.66869 [master] long parsing(0.120748996734619): HTML::TextExtractor::0, query: http://********.info/skin-care/**********.htm
Dec 11 01:41:02.06101 [master] GC takes 9.216637134552
Dec 11 01:45:58.61448 [master] GC takes 5.7700080871582
Здравствуйте. Если у вас установлен TeamViewer сбросьте в личку ID и пароль.
Skype: Denis A-Parser Support
Telegram: @aparser2
Парсер работает под управление Windows 10 64-битнаяУточните какая у вас ОС ?
А как это узнать, обновлял то прям из парсера, версия стоит на данный момент 1,2,37Версия парсера тоже 64 битная ?
Dec 18 18:38:52.64517 [master] A-Parser v1.2.38-windows-x64 started, tasks: 1 / 396, memory total: 14503 MB, available: 6078 MB
Dec 18 18:38:52.64908 [master] starting task #4157 threads: 3
Выходит значит так;В логе можно посмотреть.
x64 значит 64. x86 значит 32Код:Dec 18 18:38:52.64517 [master] A-Parser v1.2.38-windows-x64 started, tasks: 1 / 396, memory total: 14503 MB, available: 6078 MB Dec 18 18:38:52.64908 [master] starting task #4157 threads: 3
A-Parser - это профессиональная платформа для сбора данных промышленного масштаба: 10 000+ потоков, 110+ парсеров и гибкость Node.js. Автоматизируйте задачи в SEO, e-commerce и арбитраже трафика с непревзойденной скоростью и масштабируемостью
Нужна помощь с настройкой или работой парсера? Напишите в поддержку, поможем довести все до результата.
Написать в поддержку