если раньше падал только по превышении использования 2 гб памяти, то теперь вот так: http://f2.s.qip.ru/7nKaaQ9I.png возможно это из-за того, что я несколько раз тормозил и запускал задание (из-за причины, которая описана ниже), но всё равно такого вроде как быть не должно... также через какое-то время после запуска скорость парсинга падает с нескольких тысяч до 10-30 результатов в минуту, неважно сколько потоков выставлено, и чем больше число в параметре таймаута запроса, тем до меньших значений падает скорость парсинга. прокси нормальные.
Выложите сюда или в личку код пресета и лог aparser.log. Также уточните, на какой ОС работает А-Парсер, через какое время снижается скорость и падает парсер. Это поможет разобраться в проблеме и исправить ее.
OS: win7x64 Спойлер: пресет eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs InBhcnNlcnMiOltbIlNFOjpHb29nbGU6OlBSIiwiVXNlIFByb3h5Iix7InR5cGUi OiJmaWx0ZXIiLCJyZXN1bHQiOiJwciIsImZpbHRlclR5cGUiOiI+IiwidmFsdWUi OiIyIiwib3B0aW9uIjoic2VucyJ9XV0sInJlc3VsdHNGb3JtYXQiOiIkcDEucHJl c2V0IiwicmVzdWx0c1NhdmVUbyI6ImZpbGUiLCJyZXN1bHRzRmlsZU5hbWUiOiIx bXByLnR4dCIsImFkZGl0aW9uYWxGb3JtYXRzIjpbXSwicmVzdWx0c1VuaXF1ZSI6 Im5vIiwicXVlcnlGb3JtYXQiOlsiJHF1ZXJ5Il0sInVuaXF1ZVF1ZXJpZXMiOmZh bHNlLCJzYXZlRmFpbGVkUXVlcmllcyI6ZmFsc2UsIml0ZXJhdG9yT3B0aW9ucyI6 eyJvbkFsbExldmVscyI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNBZnRlckl0ZXJhdG9y IjpmYWxzZSwicXVlcnlCdWlsZGVyc09uQWxsTGV2ZWxzIjpmYWxzZX0sInJlc3Vs dHNPcHRpb25zIjp7Im92ZXJ3cml0ZSI6ZmFsc2V9LCJkb0xvZyI6Im5vIiwia2Vl cFVuaXF1ZSI6Ik5vIiwibW9yZU9wdGlvbnMiOmZhbHNlLCJyZXN1bHRzUHJlcGVu ZCI6IiIsInJlc3VsdHNBcHBlbmQiOiIiLCJxdWVyeUJ1aWxkZXJzIjpbXSwicmVz dWx0c0J1aWxkZXJzIjpbXSwiY29uZmlnT3ZlcnJpZGVzIjpbXX0sInBhcnNlcnND b25mUHJlc2V0cyI6eyJTRTo6R29vZ2xlOjpQUiI6eyJVc2UgUHJveHkiOnsicXVl cnlmb3JtYXQiOiIkcXVlcnkiLCJleHRyYXF1ZXJ5IjoiIiwicHJveHlyZXRyaWVz IjoiMTAwMDAwMDAwIiwicmVxdWVzdGRlbGF5IjoiMCIsInByb3h5YmFubmVkY2xl YW51cCI6IjE4MDAiLCJkb19nemlwIjp0cnVlLCJmb3JtYXRyZXN1bHQiOiIkcHI7 JHF1ZXJ5XFxuIiwicmF3ZGF0YSI6ZmFsc2UsInRpbWVvdXQiOiI1MCIsInVzZXBy b3h5Ijp0cnVlLCJtYXhfc2l6ZSI6IjEwNDg1NzYifX19fQ== Спойлер: лог Feb 25 13:46:31.48161 task 693 paused create template(main) at build/core.to_build.pl line 852. created template -5416 at build/core.to_build.pl line 861. Feb 25 13:49:14.34829 parser started Feb 25 13:49:37.49243 force start task 693 Feb 25 13:49:37.49311 starting task 693 Feb 25 13:49:40.36123 force start task 675 Feb 25 13:49:40.36184 starting task 675 DBD::SQLite::st execute failed: column key is not unique at build/core.to_build.pl line 23698, <$__ANONIO__> line 9537. DBD::SQLite::st execute failed: column key is not unique at build/core.to_build.pl line 23698, <$__ANONIO__> line 19515. DBD::SQLite::st execute failed: column key is not unique at build/core.to_build.pl line 23698, <$__ANONIO__> line 27319. Feb 25 14:56:59.87054 long parsing(0.115170955657959): SE::Google:R::0, query: http://ubuntu.ru Feb 25 15:30:06.53185 task 693 paused ResultsProcessor: skip 693 at build/core.to_build.pl line 22288. ResultsProcessor: skip 693 at build/core.to_build.pl line 22288. Feb 25 15:30:11.75633 force start task 693 Feb 25 15:30:11.75799 starting task 693 new_fork id 693already exists at build/core.to_build.pl line 22214. ResultsProcessor: skip 693 at build/core.to_build.pl line 22288. new_fork id 693already exists at build/core.to_build.pl line 22214. new_fork id 693already exists at build/core.to_build.pl line 22214. ResultsProcessor: skip 693 at build/core.to_build.pl line 22288. Can't use an undefined value as a HASH reference at build/core.to_build.pl line 22272. ResultsProcessor: skip 693 at build/core.to_build.pl line 22288. create template(main) at build/core.to_build.pl line 852. created template -1088 at build/core.to_build.pl line 861. Feb 25 15:44:55.88788 parser started Feb 25 15:44:59.89711 starting task 693 Feb 25 15:45:00.42414 starting task 675 Feb 25 15:45:07.40854 loading before not loaded iterator Feb 25 15:45:07.41006 resuming queries/это другое задание.txt at 49977 line Feb 25 15:45:07.73685 loading before not loaded iterator Feb 25 15:45:07.73814 resuming queries/top-1m.txt at 35642 line - здесь номер нужного задания - 693 скорость снижается где-то через полчаса. с низкой скоростью апарсер может сутками парсить, но стоит сделать заданию с PR несколько раз паузу/старт, как через какое-то время он падает. может и через 2 минуты упасть после старта, может и через 10.
Еще, во сколько потоков парсите и какая версия А-Парсера? Какие прокси используете и сколько в среднем живых?
паршу на данный момент в 250 потоков + 80 потоков другое задание, но оно тут роли не играет. версия апарсера 416 прокси - паблик, живых ~3к. они здесь роли не играют, т.к. если дело было бы в них, то после паузы/запуска задания, скорость осталась бы прежней, то есть маленькой. а так после перезапуска она снова на какое-то время становится достаточно большой.
Запустите сейчас у себя парсинг и как только скорость опустится (но не останавливайте задание) - напишите по любому из контактов ТП http://a-parser.com/pages/support/ свой Team Viewer - нужно будет подключиться и кое-что проверить.
вот ещё лог с morelogs, если нужно - я перезапустил своё задание и апарсер лёг Спойлер: лог Feb 25 18:50:49.83582 task 693 paused Feb 25 18:50:49.83645 main Results collector destroy undef Feb 25 18:50:52.77902 destroy_fork -2388 693 Feb 25 18:50:54.1761 destroy_fork -516 693 Feb 25 18:50:55.03514 destroy_fork -3580 693 Feb 25 18:50:55.25733 force start task 693 Feb 25 18:50:55.25935 starting task 693 ResultsProcessor: skip 693 at build/core.to_build.pl line 22288. Feb 25 18:50:57.07535 using existing iterator Feb 25 18:50:57.07612 iterator check ok Feb 25 18:50:57.07672 new results collector Feb 25 18:50:57.12364 results collector check ok Feb 25 18:50:57.60929 destroy_fork -2208 693 Feb 25 18:50:59.38239 destroy_fork -520 693 Feb 25 18:51:01.78853 destroy_fork -1244 693 Feb 25 18:51:02.9826 new_fork -516 693 Feb 25 18:51:08.81893 new_fork -5384 693 new_fork id 693already exists at build/core.to_build.pl line 22214. Feb 25 18:51:16.20436 new_fork -520 693 Feb 25 18:51:16.81139 new_fork -3580 693 Feb 25 18:51:21.38665 new_fork -2388 693 Feb 25 18:51:22.77573 new_fork -1244 693 Feb 25 18:51:29.56412 destroy_fork -4820 693 Feb 25 18:51:29.56529 new_fork -4820 693 Feb 25 18:51:31.09321 new_fork -2208 693 Feb 25 18:51:31.38692 start child 2636 Feb 25 18:51:31.38749 started Feb 25 18:51:31.75324 destroy_fork -5384 693 ResultsProcessor: skip 693 at build/core.to_build.pl line 22288. Can't use an undefined value as a HASH reference at build/core.to_build.pl line 22272. памяти задействовано было вот столько, когда упал:
