Ошибка Net::HTTP: Упала скорость на версии 1.2.1021

[Gerero]

Запустил старый проверенный пресет (проверка ссылок) на последней версии апарсера, скорость парсинга значительно упала.

Спойлер: Лог

Oct 14 10:33:34.42273 [master] NodeJS console: [Rank::CMS] total loaded 609 apps
Oct 14 10:33:42.12822 [master] Start ProxyChecker symbol_proxy_all
Oct 14 10:33:42.23734 [master] Start ProxyChecker symbol_my
Oct 14 10:33:48.81398 [master] A-Parser v1.2.1021-windows-x64 started, tasks: 0 / 169, memory total: 45917 MB, available: 19058 MB
Oct 14 10:35:22.97324 [master] starting task #203 threads: 20
Oct 14 10:39:32.90245 [master] long do events: 0.109971046447754
Oct 14 10:41:27.76943 [master] task 203 paused
Oct 14 10:41:27.77413 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_0 resolve stargazeps.com"
Oct 14 10:41:27.77487 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_6 resolve www.dreambox.info"
Oct 14 10:41:27.77515 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_1 resolve www.iturdu.net"
Oct 14 10:41:27.77535 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_4 resolve forum.mascoop.org"
Oct 14 10:41:27.77555 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_3 resolve armadaroleplay.com"
Oct 14 10:41:27.77575 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_5 resolve murphysboroillinois.com"
Oct 14 10:41:27.77595 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_8 resolve board.antaris2.ro"
Oct 14 10:41:27.77614 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_2 resolve www.investmentaccountmanager.com"
Oct 14 10:41:27.77634 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_7 resolve fom.mdmol.ru"
Oct 14 10:41:27.77654 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_9 resolve www.francelymphomeespoir.fr"
Oct 14 10:41:27.77673 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_11 resolve ssop.idcpf.com"
Oct 14 10:41:27.77693 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_17 resolve www.genericable.com"
Oct 14 10:41:27.77714 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_12 resolve www.lankagaytalks.ga"
Oct 14 10:41:27.77734 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_13 resolve candisoft.com"
Oct 14 10:41:27.77754 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_14 resolve hairtalking.ru"
Oct 14 10:41:27.77803 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_10 resolve www.presepepiumazzo.it"
Oct 14 10:41:27.77823 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_15 resolve nightvisionnetworks.com"
Oct 14 10:41:27.77842 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_19 resolve coredialpartners.com"
Oct 14 10:41:27.77862 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_16 resolve forum.euserv.com"
Oct 14 10:41:50.33453 [master] force start task 203
Oct 14 10:41:50.33536 [master] starting task #203 threads: 750
Oct 14 10:41:50.86726 [master] task 203 error Some error
unknow holder task_203 at build/core.to_build.pl line 5865.
Oct 14 10:41:55.86836 [master] starting task #203 threads: 750
Oct 14 10:42:32.83877 [master] GC takes 1.57412099838257 arenaSize: 1812568
Oct 14 10:48:32.92209 [master] GC takes 1.64817261695862 arenaSize: 1836577
Oct 14 11:00:33.56242 [master] GC takes 2.28462553024292 arenaSize: 1831396
Oct 14 11:03:32.88808 [master] GC takes 1.60914611816406 arenaSize: 1839016

 

[Support]

Нужно больше информации:
- какая скорость работы сейчас и какая была раньше, а также на какой версии раньше запускали
- сам пресет и запросы к нему

 

[Gerero]

Ответил в личку.

 

[Support]

Я протестировал ваш пресет на разных версиях А-Парсера, и судя по логам заданий, отличие в скорости вызвано функцией Bypass CloudFlare. Данная функция сейчас не всегда корректно отрабатывает (мы уже работаем над ее исправлением), но в старой версии Net::HTTP парсер не делал повторные попытки при ошибке обхода CF, а в новой делает. Из-за повторных попыток на один запрос тратится больше времени, соответственно скорость ниже. Если же отключить Bypass CloudFlare, то скорость работы вашего пресета будет примерно одинакова на любых версиях А-Парсера (на новой версии даже немного быстрее).

Спойлер: Скриншоты работы на разных версиях