Ошибка [1.1.431] падения апарсера при парсинге PR и низкая скорость парсинга

[DeLaKroiX]

если раньше падал только по превышении использования 2 гб памяти, то теперь вот так:
http://f2.s.qip.ru/7nKaaQ9I.png
возможно это из-за того, что я несколько раз тормозил и запускал задание (из-за причины, которая описана ниже), но всё равно такого вроде как быть не должно...

также через какое-то время после запуска скорость парсинга падает с нескольких тысяч до 10-30 результатов в минуту, неважно сколько потоков выставлено, и чем больше число в параметре таймаута запроса, тем до меньших значений падает скорость парсинга. прокси нормальные.

 

[Support]

Выложите сюда или в личку код пресета и лог aparser.log. Также уточните, на какой ОС работает А-Парсер, через какое время снижается скорость и падает парсер. Это поможет разобраться в проблеме и исправить ее.

 

[DeLaKroiX]

OS: win7x64

Спойлер: пресет

eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
InBhcnNlcnMiOltbIlNFOjpHb29nbGU6OlBSIiwiVXNlIFByb3h5Iix7InR5cGUi
OiJmaWx0ZXIiLCJyZXN1bHQiOiJwciIsImZpbHRlclR5cGUiOiI+IiwidmFsdWUi
OiIyIiwib3B0aW9uIjoic2VucyJ9XV0sInJlc3VsdHNGb3JtYXQiOiIkcDEucHJl
c2V0IiwicmVzdWx0c1NhdmVUbyI6ImZpbGUiLCJyZXN1bHRzRmlsZU5hbWUiOiIx
bXByLnR4dCIsImFkZGl0aW9uYWxGb3JtYXRzIjpbXSwicmVzdWx0c1VuaXF1ZSI6
Im5vIiwicXVlcnlGb3JtYXQiOlsiJHF1ZXJ5Il0sInVuaXF1ZVF1ZXJpZXMiOmZh
bHNlLCJzYXZlRmFpbGVkUXVlcmllcyI6ZmFsc2UsIml0ZXJhdG9yT3B0aW9ucyI6
eyJvbkFsbExldmVscyI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNBZnRlckl0ZXJhdG9y
IjpmYWxzZSwicXVlcnlCdWlsZGVyc09uQWxsTGV2ZWxzIjpmYWxzZX0sInJlc3Vs
dHNPcHRpb25zIjp7Im92ZXJ3cml0ZSI6ZmFsc2V9LCJkb0xvZyI6Im5vIiwia2Vl
cFVuaXF1ZSI6Ik5vIiwibW9yZU9wdGlvbnMiOmZhbHNlLCJyZXN1bHRzUHJlcGVu
ZCI6IiIsInJlc3VsdHNBcHBlbmQiOiIiLCJxdWVyeUJ1aWxkZXJzIjpbXSwicmVz
dWx0c0J1aWxkZXJzIjpbXSwiY29uZmlnT3ZlcnJpZGVzIjpbXX0sInBhcnNlcnND
b25mUHJlc2V0cyI6eyJTRTo6R29vZ2xlOjpQUiI6eyJVc2UgUHJveHkiOnsicXVl
cnlmb3JtYXQiOiIkcXVlcnkiLCJleHRyYXF1ZXJ5IjoiIiwicHJveHlyZXRyaWVz
IjoiMTAwMDAwMDAwIiwicmVxdWVzdGRlbGF5IjoiMCIsInByb3h5YmFubmVkY2xl
YW51cCI6IjE4MDAiLCJkb19nemlwIjp0cnVlLCJmb3JtYXRyZXN1bHQiOiIkcHI7
JHF1ZXJ5XFxuIiwicmF3ZGF0YSI6ZmFsc2UsInRpbWVvdXQiOiI1MCIsInVzZXBy
b3h5Ijp0cnVlLCJtYXhfc2l6ZSI6IjEwNDg1NzYifX19fQ==

Спойлер: лог

Feb 25 13:46:31.48161 task 693 paused
create template(main) at build/core.to_build.pl line 852.
created template -5416 at build/core.to_build.pl line 861.
Feb 25 13:49:14.34829 parser started
Feb 25 13:49:37.49243 force start task 693
Feb 25 13:49:37.49311 starting task 693
Feb 25 13:49:40.36123 force start task 675
Feb 25 13:49:40.36184 starting task 675
DBD::SQLite::st execute failed: column key is not unique at build/core.to_build.pl line 23698, <$__ANONIO__> line 9537.
DBD::SQLite::st execute failed: column key is not unique at build/core.to_build.pl line 23698, <$__ANONIO__> line 19515.
DBD::SQLite::st execute failed: column key is not unique at build/core.to_build.pl line 23698, <$__ANONIO__> line 27319.
Feb 25 14:56:59.87054 long parsing(0.115170955657959): SE::Google:R::0, query: http://ubuntu.ru
Feb 25 15:30:06.53185 task 693 paused
ResultsProcessor: skip 693 at build/core.to_build.pl line 22288.
ResultsProcessor: skip 693 at build/core.to_build.pl line 22288.
Feb 25 15:30:11.75633 force start task 693
Feb 25 15:30:11.75799 starting task 693
new_fork id 693already exists at build/core.to_build.pl line 22214.
ResultsProcessor: skip 693 at build/core.to_build.pl line 22288.
new_fork id 693already exists at build/core.to_build.pl line 22214.
new_fork id 693already exists at build/core.to_build.pl line 22214.
ResultsProcessor: skip 693 at build/core.to_build.pl line 22288.
Can't use an undefined value as a HASH reference at build/core.to_build.pl line 22272.
ResultsProcessor: skip 693 at build/core.to_build.pl line 22288.
create template(main) at build/core.to_build.pl line 852.
created template -1088 at build/core.to_build.pl line 861.
Feb 25 15:44:55.88788 parser started
Feb 25 15:44:59.89711 starting task 693
Feb 25 15:45:00.42414 starting task 675
Feb 25 15:45:07.40854 loading before not loaded iterator
Feb 25 15:45:07.41006 resuming queries/это другое задание.txt at 49977 line
Feb 25 15:45:07.73685 loading before not loaded iterator
Feb 25 15:45:07.73814 resuming queries/top-1m.txt at 35642 line

- здесь номер нужного задания - 693
скорость снижается где-то через полчаса. с низкой скоростью апарсер может сутками парсить, но стоит сделать заданию с PR несколько раз паузу/старт, как через какое-то время он падает. может и через 2 минуты упасть после старта, может и через 10.

 

[Support]

Еще, во сколько потоков парсите и какая версия А-Парсера?
Какие прокси используете и сколько в среднем живых?

 

[DeLaKroiX]

паршу на данный момент в 250 потоков + 80 потоков другое задание, но оно тут роли не играет.
версия апарсера 416
прокси - паблик, живых ~3к. они здесь роли не играют, т.к. если дело было бы в них, то после паузы/запуска задания, скорость осталась бы прежней, то есть маленькой. а так после перезапуска она снова на какое-то время становится достаточно большой.

 

[Support]

Запустите сейчас у себя парсинг и как только скорость опустится (но не останавливайте задание) - напишите по любому из контактов ТП http://a-parser.com/pages/support/ свой Team Viewer - нужно будет подключиться и кое-что проверить.

 

[DeLaKroiX]

вот ещё лог с morelogs, если нужно - я перезапустил своё задание и апарсер лёг

Спойлер: лог

Feb 25 18:50:49.83582 task 693 paused
Feb 25 18:50:49.83645 main Results collector destroy undef
Feb 25 18:50:52.77902 destroy_fork -2388 693
Feb 25 18:50:54.1761 destroy_fork -516 693
Feb 25 18:50:55.03514 destroy_fork -3580 693
Feb 25 18:50:55.25733 force start task 693
Feb 25 18:50:55.25935 starting task 693
ResultsProcessor: skip 693 at build/core.to_build.pl line 22288.
Feb 25 18:50:57.07535 using existing iterator
Feb 25 18:50:57.07612 iterator check ok
Feb 25 18:50:57.07672 new results collector
Feb 25 18:50:57.12364 results collector check ok
Feb 25 18:50:57.60929 destroy_fork -2208 693
Feb 25 18:50:59.38239 destroy_fork -520 693
Feb 25 18:51:01.78853 destroy_fork -1244 693
Feb 25 18:51:02.9826 new_fork -516 693
Feb 25 18:51:08.81893 new_fork -5384 693
new_fork id 693already exists at build/core.to_build.pl line 22214.
Feb 25 18:51:16.20436 new_fork -520 693
Feb 25 18:51:16.81139 new_fork -3580 693
Feb 25 18:51:21.38665 new_fork -2388 693
Feb 25 18:51:22.77573 new_fork -1244 693
Feb 25 18:51:29.56412 destroy_fork -4820 693
Feb 25 18:51:29.56529 new_fork -4820 693
Feb 25 18:51:31.09321 new_fork -2208 693
Feb 25 18:51:31.38692 start child 2636
Feb 25 18:51:31.38749 started
Feb 25 18:51:31.75324 destroy_fork -5384 693
ResultsProcessor: skip 693 at build/core.to_build.pl line 22288.
Can't use an undefined value as a HASH reference at build/core.to_build.pl line 22272.

памяти задействовано было вот столько, когда упал:

 

[Forbidden]

исправлено, медленный парсинг был связан в связи с некоторыми изменениями в выдаче