1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Ошибка падает апарсер при парсинге SE::Yandex::Direct::Frequency

Тема в разделе "Закрытые без версии", создана пользователем DeLaKroiX, 23 апр 2016.

  1. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    при использовании парсера SE::Yandex::Direct::Frequency падает апарсер. используется 1850 потоков для проверки прокси, 50 для загрузки источников прокси и 100 для парсинга частоток. используется до 1.1 гб памяти и падает. лог с morelogs:
    create template(main) at build/core.to_build.pl line 882.
    created template -2956 at build/core.to_build.pl line 891.
    Apr 23 15:18:14.37817 create pool of 8 threads
    Apr 23 15:18:14.3836 Start ProxyChecker check
    Apr 23 15:18:15.36687 load task 1373
    Apr 23 15:18:15.36828 load task 1370
    Apr 23 15:18:15.36939 load task 1348
    тут куча таких же строк, как выше и ниже
    Apr 23 15:18:15.67937 load task 196
    Apr 23 15:18:15.68036 load task 192
    Apr 23 15:18:15.68134 load task 184
    Apr 23 15:18:15.71397 A-Parser v1.1.492-windows started, tasks: 4 / 313, memory total: 12170 MB, available: 9856 MB
    Apr 23 15:18:15.73748 load task 1370
    Apr 23 15:18:15.73875 starting task #1370 threads: 100, proxies: undef
    Apr 23 15:18:17.18015 [Worker/-1152] started
    Apr 23 15:18:17.30824 [Worker/-3512] started
    Apr 23 15:18:17.43233 [Worker/-1640] started
    Apr 23 15:18:17.56042 [Worker/-7132] started
    Apr 23 15:18:17.68852 [Worker/-6236] started
    Apr 23 15:18:17.76258 using existing iterator
    Apr 23 15:18:17.76288 loading before not loaded iterator
    Apr 23 15:18:17.7633 resuming queries/keys/download/load.txt at 665460 line
    Apr 23 15:18:17.8146 [Worker/-6240] started
    Apr 23 15:18:17.94069 [Worker/-6316] started
    Apr 23 15:18:18.07779 [Worker/-1192] started
    Apr 23 15:18:18.90539 iterator check ok
    Apr 23 15:18:18.90561 new results collector
    Apr 23 15:18:21.86847 results collector check ok
    Apr 23 15:18:44.7447 save task: iterator taken 22.8757030963898
    Apr 23 15:18:44.74694 start child fa36
    Apr 23 15:18:44.74723 started
    Not an ARRAY reference at build/core.to_build.pl line 22566.
     
  2. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    обновился до 494, полчаса полёт нормальный, тему можно удалить ) просто не нашёл описания улучшений 493 и 494, поэтому не обновился на них.
     
  3. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    198
    Симпатии:
    116
    хз паршу в 50 потоков в зависимости от прокси, и как гадает капмонстр получается до 20000 в минуту, в 100 потоков что то пробовал, захлебывалось все =(
     
  4. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    ну у меня без капмонстра всё это дело. оно непонятно, иногда до 200 потоков держит, а иногда больше 50 загибается и виснет апарсер
     
  5. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    198
    Симпатии:
    116
    я к тому что зачем так жестить, в 50 потоков 1,5 ляма за 2 часа делается.
     
  6. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    ну это с капмонстром ) в моём случае примерно 1 лям в сутки
     
  7. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    198
    Симпатии:
    116
    дак ты еще и без капчи, и с таким колличеством потоков, жесть конечно.
     

Поделиться этой страницей