Нашел 2 ошибки - зависания задачи после пауз и сброс перебора &page={num:1:26000} в начальный позицию Парсю один сайт, УРЛ вида ... &page={num1:26000}, который очень неохотно отдает много страниц на один ИП адрес, поэтому пришлось часто останавливать задание и менять паузы, потоки и прочее. Версия апарсера одна из последних бет, сейчас работаю на 1.2.210 - ошибка та же осталась. Итак: Через несколько дней неспешного парсинга этого сайта, после паузы и смене параметров пауз и задержек парсера обнаружилась неприятная ошибка - ИНОГДА задача не может стартовать (или две стартуют нормально, а третье, которое пускаю через 5 сек - зависает) - зависает в голубом окне надолго., конца дождаться не мог - перезагружал. Недавно обнаружил, что в результатах много раз встречается начальные УРЛ из диапазона &page={num:1:26000}, то есть видимо эти зависания ОБНУЛЯЛИ счетчик перебора и парсинг начинался с урл &page=1 Зависание лечил закрытием апарсера и даже перезагрузкой компа - не помогает. Иногда пускаются все задания нормально, как сейчас например, и я уже на него не дышу, лишь бы работало, хоть и медленно. В логах встречается такие записи перед записями о новом старте - видимо это и есть возможные сообщения о ошибке: Jun 4 23:40:07.69577 [master] starting task #2820 threads: 8 Unregistered query 04eb6e at build/core.to_build.pl line 15138. Unregistered query 001398 at build/core.to_build.pl line 15138. Jun 5 01:07:05.31334 [master] task 2825 paused Jun 5 01:07:08.50003 [master] force start task 2825 Jun 5 01:07:08.50607 [master] starting task #2825 threads: 8 ... Jun 3 20:19:44.12552 [master] Start ProxyChecker Awm Free Use of uninitialized value in string eq at build/core.to_build.pl line 8989. Use of uninitialized value in string eq at build/core.to_build.pl line 8979. Jun 3 20:19:44.31081 [master] Start ProxyChecker Aparsr Platno Use of uninitialized value in string eq at build/core.to_build.pl line 8989. Use of uninitialized value in string eq at build/core.to_build.pl line 8979. Jun 3 20:19:44.33629 [master] Start ProxyChecker good-proxies DO 25 MARTA (60DAYS) Use of uninitialized value in string eq at build/core.to_build.pl line 8989. Use of uninitialized value in string eq at build/core.to_build.pl line 8979. Jun 3 20:19:53.89790 [master] force stop task 2819 Jun 3 20:19:53.91189 [master] force stop task 2820 Jun 3 20:19:54.38759 [master] A-Parser v1.2.210-windows-x64 started, tasks: 14 / 134, memory total: 23955 MB, a Jun 3 20:21:11.24335 [master] Start ProxyChecker Aparsr Platno Jun 3 20:21:32.53547 [master] starting task #2819 threads: 6 Jun 3 20:21:53.82682 [master] task 2819 error Some error Can't call method "DESTROY" on unblessed reference at build/core.to_build.pl line 6465. Jun 3 20:41:06.51198 [master] Reload JavaScript parser JS::FilesDownloader ... Unregistered query 95cd91 at build/core.to_build.pl line 15138. Unregistered query 8e4408 at build/core.to_build.pl line 15138. Unregistered query 9492d3 at build/core.to_build.pl line 15138. Unregistered query 98c43d at build/core.to_build.pl line 15138. Unregistered query 8dee6d at build/core.to_build.pl line 15138. Unregistered query 8e9586 at build/core.to_build.pl line 15138. Unregistered query 8e3f22 at build/core.to_build.pl line 15138. Unregistered query 8df736 at build/core.to_build.pl line 15138. Unregistered query 8e3997 at build/core.to_build.pl line 15138. Unregistered query 8dbcb3 at build/core.to_build.pl line 15138. Unregistered query 8de297 at build/core.to_build.pl line 15138. Unregistered query 908160 at build/core.to_build.pl line 15138. Unregistered query 8ef217 at build/core.to_build.pl line 15138. Unregistered query 8d5b01 at build/core.to_build.pl line 15138. Unregistered query 8f54c8 at build/core.to_build.pl line 15138. Jun 1 17:10:31.51724 [master] task 2776 paused Jun 1 17:13:14.40107 [master] GC takes 2.58043074607849 Jun 1 17:16:14.21985 [master] GC takes 2.3988401889801 Jun 1 17:19:14.39879 [master] GC takes 2.57710719108582 Jun 1 17:22:14.20939 [master] GC takes 2.38690042495728 ... Jun 4 10:39:02.00211 [master] force start task 2825 Jun 4 10:39:02.01355 [master] starting task #2825 threads: 75 Jun 4 10:39:23.30501 [master] task 2825 error Some error Can't call method "DESTROY" on unblessed reference at build/core.to_build.pl line 6465. Jun 4 10:47:26.15786 [master] Reload JavaScript parser JS::FilesDownloader Jun 4 10:47:27.49020 [master] Start ProxyChecker Aparsr Platno Jun 4 10:47:34.92481 [master] force stop task 2819 Jun 4 10:47:34.93357 [master] force stop task 2820 Jun 4 10:47:34.94048 [master] force stop task 2825 Jun 4 10:47:35.26377 [master] A-Parser v1.2.210-windows-x64 started, tasks: 14 / 134, memory total: Jun 4 10:39:02.00211 [master] force start task 2825 Jun 4 10:39:02.01355 [master] starting task #2825 threads: 75 Jun 4 10:39:23.30501 [master] task 2825 error Some error Can't call method "DESTROY" on unblessed reference at build/core.to_build.pl line 6465. Jun 4 10:47:26.15786 [master] Reload JavaScript parser JS::FilesDownloader Jun 4 10:47:27.49020 [master] Start ProxyChecker Aparsr Platno Jun 4 10:47:34.92481 [master] force stop task 2819 Jun 4 10:47:34.93357 [master] force stop task 2820 Jun 4 10:47:34.94048 [master] force stop task 2825 Jun 4 10:47:35.26377 [master] A-Parser v1.2.210-windows-x64 started, tasks: 14 / 134, memory total: ЛОГ от апарсера, работаеще на другом порту на этом же компе, он зависал на другом задании, где перебора {num:1:26000} не было, просто список УРЛ: Jun 3 23:03:01.41082 [master] Start ProxyChecker Good-Proxies Use of uninitialized value in string eq at build/core.to_build.pl line 8989. Use of uninitialized value in string eq at build/core.to_build.pl line 8979. Jun 3 23:03:08.67229 [master] A-Parser v1.2.210-windows-x64 started, tasks: 1 / 11, memory total: 23955 MB, available: 19435 MB Jun 3 23:15:06.42498 [master] GC takes 2.29756927490234 Jun 3 23:15:26.91584 [master] force start task 44 Jun 3 23:15:26.92517 [master] starting task #44 threads: 20 ..... Jun 3 19:42:55.34728 [master] starting task #44 threads: 20 Jun 3 19:43:16.64992 [master] task 44 error Some error Can't call method "DESTROY" on unblessed reference at build/core.to_build.pl line 6465. Jun 3 19:54:29.47567 [master] Start ProxyChecker RAZNOE FREE Jun 3 19:54:29.90796 [master] Start ProxyChecker AWM Free Jun 3 19:54:30.21566 [master] Start ProxyChecker Good-Proxies Use of uninitialized value in string eq at build/core.to_build.pl line 8989. Use of uninitialized value in string eq at build/core.to_build.pl line 8979. Jun 3 19:54:37.82976 [master] force stop task 44 Jun 3 19:54:37.87311 [master] A-Parser v1.2.210-windows-x64 started, tasks: 1 / 11, memory total: 23955 MB, available: 14284 MB Jun 3 20:00:57.02509 [master] starting task #44 threads: 20 Jun 3 20:00:58.67169 [master] loading before not loaded iterator Логи и пресет выложу в личку по запросу.
