1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 800+ и мы растем!
    Скрыть объявление

Зависание интерфейса на этапе загрузки через некоторое время работы парсера

Тема в разделе "Техническая поддержка", создана пользователем woodoo, 31 окт 2019.

  1. woodoo

    woodoo A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 фев 2015
    Сообщения:
    35
    Симпатии:
    2
    Из за чего падения происходят? Я паршу симеляр веб на 2000 потоках, спустя некоторого время, около 19 часов работы с этим заданием браузер не открывает парсер http://joxi.ru/vAWbBgvCgYvD72, фаил "результат" размер растет его растет, как причину узнать хз
     
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    2.737
    Симпатии:
    1.642
    Для более подробного анализа пришлите лог парсера (файл aparser.log).
     
  3. woodoo

    woodoo A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 фев 2015
    Сообщения:
    35
    Симпатии:
    2
    Nov 1 13:36:28.14625 [master] Start ProxyChecker default
    Nov 1 13:36:29.17387 [master] Converting old schedule
    Nov 1 13:36:29.17825 [master] A-Parser v1.2.608-linux-x64 started, tasks: 0 / 0, memory total: 19915 MB, available: 15586 MB
    Nov 1 14:32:37.31288 [master] Start ProxyChecker default
    Nov 1 14:32:38.23940 [master] A-Parser v1.2.608-linux-x64 started, tasks: 0 / 0, memory total: 19915 MB, available: 15198 MB

    создал папке hom, новую папку и туда залил парсер
     
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    2.737
    Симпатии:
    1.642
    Это абсолютно не информативно. Нужен весь файл лога.
     
  5. woodoo

    woodoo A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 фев 2015
    Сообщения:
    35
    Симпатии:
    2
    это реально весь лог, создал новую папку в /home, далее залил туда парсер, распаковал его командой ./aparser, открыл в браузере, и он выдал мол обновите страницу
     
  6. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    2.737
    Симпатии:
    1.642
    Тогда тут нет никакого зависания.

    Вы выше писали:
    Вот этот лог интересует.

    Для более оперативного решения напишите в Телеграм: @aparser
     
  7. woodoo

    woodoo A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 фев 2015
    Сообщения:
    35
    Симпатии:
    2

    Вложения:

    • лог.txt
      Размер файла:
      61,4 КБ
      Просмотров:
      4
  8. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    2.737
    Симпатии:
    1.642
     
  9. aquatell

    aquatell A-Parser Pro License
    A-Parser Pro

    Регистрация:
    8 ноя 2012
    Сообщения:
    137
    Симпатии:
    45
    Используя а-парсер на linux требуется особый тюнниг сервера. Речь идет о потоках. Абсолютно закономерно когда потоки на сервере замораживаются например когда долгий ответ от прокси. Накапливается очередь из таких потоков. И каждый поток отжирает N-е количество памяти, что в скором времени приводит к зависанию браузера в том числе. Надо смотреть логи сервера что он там пишет, какие ошибки и т.д. Что показывает в консоле команда: top, iotop. Конфиг железа какой?
     

Поделиться этой страницей