1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Зависает соединение с сервером

Тема в разделе "Техническая поддержка", создана пользователем span4bob, 30 май 2017.

  1. span4bob

    span4bob A-Parser Pro License
    A-Parser Pro

    Регистрация:
    14 май 2016
    Сообщения:
    16
    Симпатии:
    4
    Работают два задания:
    парсинг гугл и парсинг яндекса
    два отдельных задания
    используются прокси + доступ к сервису разпознования капч (Xevil)
    работают в 100 потоков каждое задание

    спустя некоторое время зависает коннект к серверу aparser.
    если запускать по отдельности каждое задание (даже в 200 потоков) парсинг идет без проблем без зависаний сутками


    в чем может быть загвоздка?
     
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Сбросьте лог парсера aparser.log, можно в личку.
     
  3. span4bob

    span4bob A-Parser Pro License
    A-Parser Pro

    Регистрация:
    14 май 2016
    Сообщения:
    16
    Симпатии:
    4
    May 30 18:01:07.05159 [master] Start ProxyChecker xrumer_10-2016
    May 30 18:01:07.45742 [master] Start ProxyChecker default
    May 30 18:01:10.09677 [master] A-Parser v1.1.853-windows-x86 started, tasks: 2 / 30, memory total: 0 MB, available: 0 MB
    May 30 18:01:10.10239 [master] starting task #94 threads: 100
    May 30 18:01:10.33484 [master] starting task #96 threads: 100
    May 30 18:01:13.21995 [master] loading before not loaded iterator
     
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Нужен весь лог, а не несколько строк
     
  5. span4bob

    span4bob A-Parser Pro License
    A-Parser Pro

    Регистрация:
    14 май 2016
    Сообщения:
    16
    Симпатии:
    4
    лог очень большой получается.
    в него вносятся каждый запрос для яндекса


    вот так

    May 30 18:01:52.88472 [master] long parsing(0.139709949493408): SE::Yandex::0, query: **запрос**
    May 30 18:01:53.21789 [master] long parsing(0.135413885116577): SE::Yandex::0, query: **запрос**
    May 30 18:01:53.40213 [master] long parsing(0.137166976928711): SE::Yandex::0, query: **запрос**
     
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    что показывает диспетчер задач? какая нагрузка на процессор и память?
     

Поделиться этой страницей