Запустил старый проверенный пресет (проверка ссылок) на последней версии апарсера, скорость парсинга значительно упала. Спойлер: Лог Oct 14 10:33:34.42273 [master] NodeJS console: [Rank::CMS] total loaded 609 apps Oct 14 10:33:42.12822 [master] Start ProxyChecker symbol_proxy_all Oct 14 10:33:42.23734 [master] Start ProxyChecker symbol_my Oct 14 10:33:48.81398 [master] A-Parser v1.2.1021-windows-x64 started, tasks: 0 / 169, memory total: 45917 MB, available: 19058 MB Oct 14 10:35:22.97324 [master] starting task #203 threads: 20 Oct 14 10:39:32.90245 [master] long do events: 0.109971046447754 Oct 14 10:41:27.76943 [master] task 203 paused Oct 14 10:41:27.77413 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_0 resolve stargazeps.com" Oct 14 10:41:27.77487 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_6 resolve www.dreambox.info" Oct 14 10:41:27.77515 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_1 resolve www.iturdu.net" Oct 14 10:41:27.77535 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_4 resolve forum.mascoop.org" Oct 14 10:41:27.77555 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_3 resolve armadaroleplay.com" Oct 14 10:41:27.77575 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_5 resolve murphysboroillinois.com" Oct 14 10:41:27.77595 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_8 resolve board.antaris2.ro" Oct 14 10:41:27.77614 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_2 resolve www.investmentaccountmanager.com" Oct 14 10:41:27.77634 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_7 resolve fom.mdmol.ru" Oct 14 10:41:27.77654 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_9 resolve www.francelymphomeespoir.fr" Oct 14 10:41:27.77673 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_11 resolve ssop.idcpf.com" Oct 14 10:41:27.77693 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_17 resolve www.genericable.com" Oct 14 10:41:27.77714 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_12 resolve www.lankagaytalks.ga" Oct 14 10:41:27.77734 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_13 resolve candisoft.com" Oct 14 10:41:27.77754 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_14 resolve hairtalking.ru" Oct 14 10:41:27.77803 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_10 resolve www.presepepiumazzo.it" Oct 14 10:41:27.77823 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_15 resolve nightvisionnetworks.com" Oct 14 10:41:27.77842 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_19 resolve coredialpartners.com" Oct 14 10:41:27.77862 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_16 resolve forum.euserv.com" Oct 14 10:41:50.33453 [master] force start task 203 Oct 14 10:41:50.33536 [master] starting task #203 threads: 750 Oct 14 10:41:50.86726 [master] task 203 error Some error unknow holder task_203 at build/core.to_build.pl line 5865. Oct 14 10:41:55.86836 [master] starting task #203 threads: 750 Oct 14 10:42:32.83877 [master] GC takes 1.57412099838257 arenaSize: 1812568 Oct 14 10:48:32.92209 [master] GC takes 1.64817261695862 arenaSize: 1836577 Oct 14 11:00:33.56242 [master] GC takes 2.28462553024292 arenaSize: 1831396 Oct 14 11:03:32.88808 [master] GC takes 1.60914611816406 arenaSize: 1839016
Нужно больше информации: - какая скорость работы сейчас и какая была раньше, а также на какой версии раньше запускали - сам пресет и запросы к нему
Я протестировал ваш пресет на разных версиях А-Парсера, и судя по логам заданий, отличие в скорости вызвано функцией Bypass CloudFlare. Данная функция сейчас не всегда корректно отрабатывает (мы уже работаем над ее исправлением), но в старой версии Net::HTTP парсер не делал повторные попытки при ошибке обхода CF, а в новой делает. Из-за повторных попыток на один запрос тратится больше времени, соответственно скорость ниже. Если же отключить Bypass CloudFlare, то скорость работы вашего пресета будет примерно одинакова на любых версиях А-Парсера (на новой версии даже немного быстрее). Спойлер: Скриншоты работы на разных версиях