1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Ошибка [1.2.234] Зависание старта задачи после паузы и сбой в переборе {num:1:26000}

Тема в разделе "1.2.246", создана пользователем Gorn, 5 июн 2018.

  1. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    87
    Симпатии:
    18
    Нашел 2 ошибки - зависания задачи после пауз и сброс перебора
    &page={num:1:26000} в начальный позицию
    Парсю один сайт, УРЛ вида ... &page={num1:26000}, который очень неохотно отдает много страниц на один ИП адрес, поэтому пришлось часто останавливать задание и менять паузы, потоки и прочее.
    Версия апарсера одна из последних бет, сейчас работаю на 1.2.210 - ошибка та же осталась.
    Итак:
    Через несколько дней неспешного парсинга этого сайта, после паузы и смене параметров пауз и задержек парсера обнаружилась неприятная ошибка - ИНОГДА задача не может стартовать (или две стартуют нормально, а третье, которое пускаю через 5 сек - зависает) - зависает в голубом окне надолго., конца дождаться не мог - перезагружал.
    Недавно обнаружил, что в результатах много раз встречается начальные УРЛ из диапазона
    &page={num:1:26000}, то есть видимо эти зависания ОБНУЛЯЛИ счетчик перебора и парсинг начинался с урл &page=1

    Зависание лечил закрытием апарсера и даже перезагрузкой компа - не помогает.
    Иногда пускаются все задания нормально, как сейчас например, и я уже на него не дышу, лишь бы работало, хоть и медленно.
    В логах встречается такие записи перед записями о новом старте - видимо это и есть возможные сообщения о ошибке:
    Jun 4 23:40:07.69577 [master] starting task #2820 threads: 8
    Unregistered query 04eb6e at build/core.to_build.pl line 15138.
    Unregistered query 001398 at build/core.to_build.pl line 15138.
    Jun 5 01:07:05.31334 [master] task 2825 paused
    Jun 5 01:07:08.50003 [master] force start task 2825
    Jun 5 01:07:08.50607 [master] starting task #2825 threads: 8
    ...
    Jun 3 20:19:44.12552 [master] Start ProxyChecker Awm Free
    Use of uninitialized value in string eq at build/core.to_build.pl line 8989.
    Use of uninitialized value in string eq at build/core.to_build.pl line 8979.
    Jun 3 20:19:44.31081 [master] Start ProxyChecker Aparsr Platno
    Use of uninitialized value in string eq at build/core.to_build.pl line 8989.
    Use of uninitialized value in string eq at build/core.to_build.pl line 8979.
    Jun 3 20:19:44.33629 [master] Start ProxyChecker good-proxies DO 25 MARTA (60DAYS)
    Use of uninitialized value in string eq at build/core.to_build.pl line 8989.
    Use of uninitialized value in string eq at build/core.to_build.pl line 8979.
    Jun 3 20:19:53.89790 [master] force stop task 2819
    Jun 3 20:19:53.91189 [master] force stop task 2820
    Jun 3 20:19:54.38759 [master] A-Parser v1.2.210-windows-x64 started, tasks: 14 / 134, memory total: 23955 MB, a
    Jun 3 20:21:11.24335 [master] Start ProxyChecker Aparsr Platno
    Jun 3 20:21:32.53547 [master] starting task #2819 threads: 6
    Jun 3 20:21:53.82682 [master] task 2819 error Some error
    Can't call method "DESTROY" on unblessed reference at build/core.to_build.pl line 6465.
    Jun 3 20:41:06.51198 [master] Reload JavaScript parser JS::FilesDownloader
    ...
    Unregistered query 95cd91 at build/core.to_build.pl line 15138.
    Unregistered query 8e4408 at build/core.to_build.pl line 15138.
    Unregistered query 9492d3 at build/core.to_build.pl line 15138.
    Unregistered query 98c43d at build/core.to_build.pl line 15138.
    Unregistered query 8dee6d at build/core.to_build.pl line 15138.
    Unregistered query 8e9586 at build/core.to_build.pl line 15138.
    Unregistered query 8e3f22 at build/core.to_build.pl line 15138.
    Unregistered query 8df736 at build/core.to_build.pl line 15138.
    Unregistered query 8e3997 at build/core.to_build.pl line 15138.
    Unregistered query 8dbcb3 at build/core.to_build.pl line 15138.
    Unregistered query 8de297 at build/core.to_build.pl line 15138.
    Unregistered query 908160 at build/core.to_build.pl line 15138.
    Unregistered query 8ef217 at build/core.to_build.pl line 15138.
    Unregistered query 8d5b01 at build/core.to_build.pl line 15138.
    Unregistered query 8f54c8 at build/core.to_build.pl line 15138.
    Jun 1 17:10:31.51724 [master] task 2776 paused
    Jun 1 17:13:14.40107 [master] GC takes 2.58043074607849
    Jun 1 17:16:14.21985 [master] GC takes 2.3988401889801
    Jun 1 17:19:14.39879 [master] GC takes 2.57710719108582
    Jun 1 17:22:14.20939 [master] GC takes 2.38690042495728
    ...
    Jun 4 10:39:02.00211 [master] force start task 2825
    Jun 4 10:39:02.01355 [master] starting task #2825 threads: 75
    Jun 4 10:39:23.30501 [master] task 2825 error Some error
    Can't call method "DESTROY" on unblessed reference at build/core.to_build.pl line 6465.
    Jun 4 10:47:26.15786 [master] Reload JavaScript parser JS::FilesDownloader
    Jun 4 10:47:27.49020 [master] Start ProxyChecker Aparsr Platno
    Jun 4 10:47:34.92481 [master] force stop task 2819
    Jun 4 10:47:34.93357 [master] force stop task 2820
    Jun 4 10:47:34.94048 [master] force stop task 2825
    Jun 4 10:47:35.26377 [master] A-Parser v1.2.210-windows-x64 started, tasks: 14 / 134, memory total:
    Jun 4 10:39:02.00211 [master] force start task 2825
    Jun 4 10:39:02.01355 [master] starting task #2825 threads: 75
    Jun 4 10:39:23.30501 [master] task 2825 error Some error
    Can't call method "DESTROY" on unblessed reference at build/core.to_build.pl line 6465.
    Jun 4 10:47:26.15786 [master] Reload JavaScript parser JS::FilesDownloader
    Jun 4 10:47:27.49020 [master] Start ProxyChecker Aparsr Platno
    Jun 4 10:47:34.92481 [master] force stop task 2819
    Jun 4 10:47:34.93357 [master] force stop task 2820
    Jun 4 10:47:34.94048 [master] force stop task 2825
    Jun 4 10:47:35.26377 [master] A-Parser v1.2.210-windows-x64 started, tasks: 14 / 134, memory total:


    ЛОГ от апарсера, работаеще на другом порту на этом же компе, он зависал на другом задании, где перебора {num:1:26000} не было, просто список УРЛ:
    Jun 3 23:03:01.41082 [master] Start ProxyChecker Good-Proxies
    Use of uninitialized value in string eq at build/core.to_build.pl line 8989.
    Use of uninitialized value in string eq at build/core.to_build.pl line 8979.
    Jun 3 23:03:08.67229 [master] A-Parser v1.2.210-windows-x64 started, tasks: 1 / 11, memory total: 23955 MB, available: 19435 MB
    Jun 3 23:15:06.42498 [master] GC takes 2.29756927490234
    Jun 3 23:15:26.91584 [master] force start task 44
    Jun 3 23:15:26.92517 [master] starting task #44 threads: 20

    .....
    Jun 3 19:42:55.34728 [master] starting task #44 threads: 20
    Jun 3 19:43:16.64992 [master] task 44 error Some error
    Can't call method "DESTROY" on unblessed reference at build/core.to_build.pl line 6465.
    Jun 3 19:54:29.47567 [master] Start ProxyChecker RAZNOE FREE
    Jun 3 19:54:29.90796 [master] Start ProxyChecker AWM Free
    Jun 3 19:54:30.21566 [master] Start ProxyChecker Good-Proxies
    Use of uninitialized value in string eq at build/core.to_build.pl line 8989.
    Use of uninitialized value in string eq at build/core.to_build.pl line 8979.
    Jun 3 19:54:37.82976 [master] force stop task 44
    Jun 3 19:54:37.87311 [master] A-Parser v1.2.210-windows-x64 started, tasks: 1 / 11, memory total: 23955 MB, available: 14284 MB
    Jun 3 20:00:57.02509 [master] starting task #44 threads: 20
    Jun 3 20:00:58.67169 [master] loading before not loaded iterator


    Логи и пресет выложу в личку по запросу.
     

Поделиться этой страницей