1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Ошибка Net::HTTP: Упала скорость на версии 1.2.1021

Тема в разделе "Отклоненные задачи", создана пользователем Gerero, 14 окт 2020.

  1. Gerero

    Gerero A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    10 янв 2014
    Сообщения:
    19
    Симпатии:
    4
    Запустил старый проверенный пресет (проверка ссылок) на последней версии апарсера, скорость парсинга значительно упала.

    Oct 14 10:33:34.42273 [master] NodeJS console: [Rank::CMS] total loaded 609 apps
    Oct 14 10:33:42.12822 [master] Start ProxyChecker symbol_proxy_all
    Oct 14 10:33:42.23734 [master] Start ProxyChecker symbol_my
    Oct 14 10:33:48.81398 [master] A-Parser v1.2.1021-windows-x64 started, tasks: 0 / 169, memory total: 45917 MB, available: 19058 MB
    Oct 14 10:35:22.97324 [master] starting task #203 threads: 20
    Oct 14 10:39:32.90245 [master] long do events: 0.109971046447754
    Oct 14 10:41:27.76943 [master] task 203 paused
    Oct 14 10:41:27.77413 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_0 resolve stargazeps.com"
    Oct 14 10:41:27.77487 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_6 resolve www.dreambox.info"
    Oct 14 10:41:27.77515 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_1 resolve www.iturdu.net"
    Oct 14 10:41:27.77535 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_4 resolve forum.mascoop.org"
    Oct 14 10:41:27.77555 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_3 resolve armadaroleplay.com"
    Oct 14 10:41:27.77575 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_5 resolve murphysboroillinois.com"
    Oct 14 10:41:27.77595 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_8 resolve board.antaris2.ro"
    Oct 14 10:41:27.77614 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_2 resolve www.investmentaccountmanager.com"
    Oct 14 10:41:27.77634 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_7 resolve fom.mdmol.ru"
    Oct 14 10:41:27.77654 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_9 resolve www.francelymphomeespoir.fr"
    Oct 14 10:41:27.77673 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_11 resolve ssop.idcpf.com"
    Oct 14 10:41:27.77693 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_17 resolve www.genericable.com"
    Oct 14 10:41:27.77714 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_12 resolve www.lankagaytalks.ga"
    Oct 14 10:41:27.77734 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_13 resolve candisoft.com"
    Oct 14 10:41:27.77754 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_14 resolve hairtalking.ru"
    Oct 14 10:41:27.77803 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_10 resolve www.presepepiumazzo.it"
    Oct 14 10:41:27.77823 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_15 resolve nightvisionnetworks.com"
    Oct 14 10:41:27.77842 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_19 resolve coredialpartners.com"
    Oct 14 10:41:27.77862 [master] NodeJS console: -> cancel(destruct) "Net::HTTP_16 resolve forum.euserv.com"
    Oct 14 10:41:50.33453 [master] force start task 203
    Oct 14 10:41:50.33536 [master] starting task #203 threads: 750
    Oct 14 10:41:50.86726 [master] task 203 error Some error
    unknow holder task_203 at build/core.to_build.pl line 5865.
    Oct 14 10:41:55.86836 [master] starting task #203 threads: 750
    Oct 14 10:42:32.83877 [master] GC takes 1.57412099838257 arenaSize: 1812568
    Oct 14 10:48:32.92209 [master] GC takes 1.64817261695862 arenaSize: 1836577
    Oct 14 11:00:33.56242 [master] GC takes 2.28462553024292 arenaSize: 1831396
    Oct 14 11:03:32.88808 [master] GC takes 1.60914611816406 arenaSize: 1839016
     
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.575
    Симпатии:
    2.172
    Нужно больше информации:
    - какая скорость работы сейчас и какая была раньше, а также на какой версии раньше запускали
    - сам пресет и запросы к нему
     
  3. Gerero

    Gerero A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    10 янв 2014
    Сообщения:
    19
    Симпатии:
    4
    Ответил в личку.
     
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.575
    Симпатии:
    2.172
    Я протестировал ваш пресет на разных версиях А-Парсера, и судя по логам заданий, отличие в скорости вызвано функцией Bypass CloudFlare. Данная функция сейчас не всегда корректно отрабатывает (мы уже работаем над ее исправлением), но в старой версии Net::HTTP парсер не делал повторные попытки при ошибке обхода CF, а в новой делает. Из-за повторных попыток на один запрос тратится больше времени, соответственно скорость ниже. Если же отключить Bypass CloudFlare, то скорость работы вашего пресета будет примерно одинакова на любых версиях А-Парсера (на новой версии даже немного быстрее).
    [​IMG]

    [​IMG]
     
    Forbidden и Gerero нравится это.

Поделиться этой страницей