1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Ошибка [1.1.431] падения апарсера при парсинге PR и низкая скорость парсинга

Тема в разделе "1.1.434", создана пользователем DeLaKroiX, 25 фев 2016.

  1. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    если раньше падал только по превышении использования 2 гб памяти, то теперь вот так:
    http://f2.s.qip.ru/7nKaaQ9I.png
    возможно это из-за того, что я несколько раз тормозил и запускал задание (из-за причины, которая описана ниже), но всё равно такого вроде как быть не должно...

    также через какое-то время после запуска скорость парсинга падает с нескольких тысяч до 10-30 результатов в минуту, неважно сколько потоков выставлено, и чем больше число в параметре таймаута запроса, тем до меньших значений падает скорость парсинга. прокси нормальные.
     
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.348
    Симпатии:
    2.097
    Выложите сюда или в личку код пресета и лог aparser.log. Также уточните, на какой ОС работает А-Парсер, через какое время снижается скорость и падает парсер. Это поможет разобраться в проблеме и исправить ее.
     
  3. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    OS: win7x64
    eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
    InBhcnNlcnMiOltbIlNFOjpHb29nbGU6OlBSIiwiVXNlIFByb3h5Iix7InR5cGUi
    OiJmaWx0ZXIiLCJyZXN1bHQiOiJwciIsImZpbHRlclR5cGUiOiI+IiwidmFsdWUi
    OiIyIiwib3B0aW9uIjoic2VucyJ9XV0sInJlc3VsdHNGb3JtYXQiOiIkcDEucHJl
    c2V0IiwicmVzdWx0c1NhdmVUbyI6ImZpbGUiLCJyZXN1bHRzRmlsZU5hbWUiOiIx
    bXByLnR4dCIsImFkZGl0aW9uYWxGb3JtYXRzIjpbXSwicmVzdWx0c1VuaXF1ZSI6
    Im5vIiwicXVlcnlGb3JtYXQiOlsiJHF1ZXJ5Il0sInVuaXF1ZVF1ZXJpZXMiOmZh
    bHNlLCJzYXZlRmFpbGVkUXVlcmllcyI6ZmFsc2UsIml0ZXJhdG9yT3B0aW9ucyI6
    eyJvbkFsbExldmVscyI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNBZnRlckl0ZXJhdG9y
    IjpmYWxzZSwicXVlcnlCdWlsZGVyc09uQWxsTGV2ZWxzIjpmYWxzZX0sInJlc3Vs
    dHNPcHRpb25zIjp7Im92ZXJ3cml0ZSI6ZmFsc2V9LCJkb0xvZyI6Im5vIiwia2Vl
    cFVuaXF1ZSI6Ik5vIiwibW9yZU9wdGlvbnMiOmZhbHNlLCJyZXN1bHRzUHJlcGVu
    ZCI6IiIsInJlc3VsdHNBcHBlbmQiOiIiLCJxdWVyeUJ1aWxkZXJzIjpbXSwicmVz
    dWx0c0J1aWxkZXJzIjpbXSwiY29uZmlnT3ZlcnJpZGVzIjpbXX0sInBhcnNlcnND
    b25mUHJlc2V0cyI6eyJTRTo6R29vZ2xlOjpQUiI6eyJVc2UgUHJveHkiOnsicXVl
    cnlmb3JtYXQiOiIkcXVlcnkiLCJleHRyYXF1ZXJ5IjoiIiwicHJveHlyZXRyaWVz
    IjoiMTAwMDAwMDAwIiwicmVxdWVzdGRlbGF5IjoiMCIsInByb3h5YmFubmVkY2xl
    YW51cCI6IjE4MDAiLCJkb19nemlwIjp0cnVlLCJmb3JtYXRyZXN1bHQiOiIkcHI7
    JHF1ZXJ5XFxuIiwicmF3ZGF0YSI6ZmFsc2UsInRpbWVvdXQiOiI1MCIsInVzZXBy
    b3h5Ijp0cnVlLCJtYXhfc2l6ZSI6IjEwNDg1NzYifX19fQ==
    Feb 25 13:46:31.48161 task 693 paused
    create template(main) at build/core.to_build.pl line 852.
    created template -5416 at build/core.to_build.pl line 861.
    Feb 25 13:49:14.34829 parser started
    Feb 25 13:49:37.49243 force start task 693
    Feb 25 13:49:37.49311 starting task 693
    Feb 25 13:49:40.36123 force start task 675
    Feb 25 13:49:40.36184 starting task 675
    DBD::SQLite::st execute failed: column key is not unique at build/core.to_build.pl line 23698, <$__ANONIO__> line 9537.
    DBD::SQLite::st execute failed: column key is not unique at build/core.to_build.pl line 23698, <$__ANONIO__> line 19515.
    DBD::SQLite::st execute failed: column key is not unique at build/core.to_build.pl line 23698, <$__ANONIO__> line 27319.
    Feb 25 14:56:59.87054 long parsing(0.115170955657959): SE::Google::pR::0, query: http://ubuntu.ru
    Feb 25 15:30:06.53185 task 693 paused
    ResultsProcessor: skip 693 at build/core.to_build.pl line 22288.
    ResultsProcessor: skip 693 at build/core.to_build.pl line 22288.
    Feb 25 15:30:11.75633 force start task 693
    Feb 25 15:30:11.75799 starting task 693
    new_fork id 693already exists at build/core.to_build.pl line 22214.
    ResultsProcessor: skip 693 at build/core.to_build.pl line 22288.
    new_fork id 693already exists at build/core.to_build.pl line 22214.
    new_fork id 693already exists at build/core.to_build.pl line 22214.
    ResultsProcessor: skip 693 at build/core.to_build.pl line 22288.
    Can't use an undefined value as a HASH reference at build/core.to_build.pl line 22272.
    ResultsProcessor: skip 693 at build/core.to_build.pl line 22288.
    create template(main) at build/core.to_build.pl line 852.
    created template -1088 at build/core.to_build.pl line 861.
    Feb 25 15:44:55.88788 parser started
    Feb 25 15:44:59.89711 starting task 693
    Feb 25 15:45:00.42414 starting task 675
    Feb 25 15:45:07.40854 loading before not loaded iterator
    Feb 25 15:45:07.41006 resuming queries/это другое задание.txt at 49977 line
    Feb 25 15:45:07.73685 loading before not loaded iterator
    Feb 25 15:45:07.73814 resuming queries/top-1m.txt at 35642 line
    - здесь номер нужного задания - 693
    скорость снижается где-то через полчаса. с низкой скоростью апарсер может сутками парсить, но стоит сделать заданию с PR несколько раз паузу/старт, как через какое-то время он падает. может и через 2 минуты упасть после старта, может и через 10.
     
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.348
    Симпатии:
    2.097
    Еще, во сколько потоков парсите и какая версия А-Парсера?
    Какие прокси используете и сколько в среднем живых?
     
  5. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    паршу на данный момент в 250 потоков + 80 потоков другое задание, но оно тут роли не играет.
    версия апарсера 416
    прокси - паблик, живых ~3к. они здесь роли не играют, т.к. если дело было бы в них, то после паузы/запуска задания, скорость осталась бы прежней, то есть маленькой. а так после перезапуска она снова на какое-то время становится достаточно большой.
     
  6. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.348
    Симпатии:
    2.097
    Запустите сейчас у себя парсинг и как только скорость опустится (но не останавливайте задание) - напишите по любому из контактов ТП http://a-parser.com/pages/support/ свой Team Viewer - нужно будет подключиться и кое-что проверить.
     
  7. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    вот ещё лог с morelogs, если нужно - я перезапустил своё задание и апарсер лёг
    Feb 25 18:50:49.83582 task 693 paused
    Feb 25 18:50:49.83645 main Results collector destroy undef
    Feb 25 18:50:52.77902 destroy_fork -2388 693
    Feb 25 18:50:54.1761 destroy_fork -516 693
    Feb 25 18:50:55.03514 destroy_fork -3580 693
    Feb 25 18:50:55.25733 force start task 693
    Feb 25 18:50:55.25935 starting task 693
    ResultsProcessor: skip 693 at build/core.to_build.pl line 22288.
    Feb 25 18:50:57.07535 using existing iterator
    Feb 25 18:50:57.07612 iterator check ok
    Feb 25 18:50:57.07672 new results collector
    Feb 25 18:50:57.12364 results collector check ok
    Feb 25 18:50:57.60929 destroy_fork -2208 693
    Feb 25 18:50:59.38239 destroy_fork -520 693
    Feb 25 18:51:01.78853 destroy_fork -1244 693
    Feb 25 18:51:02.9826 new_fork -516 693
    Feb 25 18:51:08.81893 new_fork -5384 693
    new_fork id 693already exists at build/core.to_build.pl line 22214.
    Feb 25 18:51:16.20436 new_fork -520 693
    Feb 25 18:51:16.81139 new_fork -3580 693
    Feb 25 18:51:21.38665 new_fork -2388 693
    Feb 25 18:51:22.77573 new_fork -1244 693
    Feb 25 18:51:29.56412 destroy_fork -4820 693
    Feb 25 18:51:29.56529 new_fork -4820 693
    Feb 25 18:51:31.09321 new_fork -2208 693
    Feb 25 18:51:31.38692 start child 2636
    Feb 25 18:51:31.38749 started
    Feb 25 18:51:31.75324 destroy_fork -5384 693
    ResultsProcessor: skip 693 at build/core.to_build.pl line 22288.
    Can't use an undefined value as a HASH reference at build/core.to_build.pl line 22272.
    памяти задействовано было вот столько, когда упал:
    [​IMG]
     
  8. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    исправлено, медленный парсинг был связан в связи с некоторыми изменениями в выдаче
     
    Force68 и DeLaKroiX нравится это.

Поделиться этой страницей