Приветствую! Подскажите, можно как-то парсить mail.ru с antigate? В настройках парсера не нашел такой функции, пробовал парсить без antigate, сначала парсинг идет, скорость хорошая, потом почти сразу скорость очень сильно снижается и почти парсинг не идет.
Пользователь Support обновил ресурс JS::SE::MailRu новой записью: Обновление 1.1.4 Узнать больше об этом обновлении...
Добрый день! К сожалению при работе с данным парсером, снова а-парсер стал падать. Ничего в работе не менялось, сервер тот же, версия а-парсера - beta 1.2.53 В логе: Jan 2 12:57:24.65988 [master] JavaScript error: TypeError: Cannot read property 'current_page' of undefined at Parser.parse (files/parsers/SE-MailRu/SE-MailRu.js:44:76) at next (native) at parser-object.js:28:12 panic: restartop
@seowin555, проблему пока что воспроизвести не удалось, но судя по той записи в логе, которую вы показали, парсер падает, когда в ответе Mail.ru не отдает номер текущей страницы. Выпустили обновление - проверьте. И сообщите, у вас парсер x86 или x64?
Пользователь Support обновил ресурс JS::SE::MailRu новой записью: Обновление 1.1.5 Узнать больше об этом обновлении...
Подготовил вам примеры запросов на которых падал а-парсер несколько раз, для интереса решил еще раз пройтись по ним, что странно, все стало ок. Поставил парситься дальше и парсер снова упал. Как оказалось, у меня x86 парсер, обновился на x64, также обновился до последней беты, была ранее предпоследняя версия. Также обновил пресет, сейчас снова поставил парсится, по результату обязательно отпишусь.
Хотел спросить еще о таком моменте, а процесс a-parser-а в диспетчере задач может подвисать или так не должно быть? Вот скрин http://prntscr.com/hw18ko Замечал такое и на x86 версии, причем не важно какие пресеты запущены или не запущены вообще. Т.е. если просто запустить а-парсер без пресетов, будет тоже самое. В самой админке а-парсера глюков при этом не замечал.
К сожалению после данных действий проблема осталась. Но сейчас вроде бы немного другие ошибки в логе. Use of uninitialized value in subroutine entry at build/core.to_build.pl line 40184. Use of uninitialized value in subroutine entry at build/core.to_build.pl line 40184. Jan 4 23:07:06.00699 [master] JavaScript error: TypeError: Cannot read property 'next' of undefined at Parser.parse (files/parsers/SE-MailRu/SE-MailRu.js:57:32) at parse.next (<anonymous>) at parser-object.js:28:12 panic: restartop ==== C stack trace =============================== perl_get_host_info [0x000000002801B5E3+8419] Perl_safesysfree [0x000000002801FCC6+70] Perl_sv_clear [0x000000002804E64A+1466] Perl_sv_free [0x000000002804E838+264] (No symbol) [0x0000000008C13719] (No symbol) [0x000000001D89F258] (No symbol) [0x00000000256C8CD8] (No symbol) [0x0000000000000008]
Нужны несколько запросов, на которых можно воспроизвести проблему. Также покажите или сбросьте настройки задания. Без этих данных сложно исправить проблему.
Пользователь Support обновил ресурс JS::SE::MailRu новой записью: Обновление 1.1.6 Узнать больше об этом обновлении...
Добрый день! Подскажите, а данный пресет получает капчу с какого айпи? Просто у меня такая проблема, переехал на новый сервер, локация - Украина, там mail.ru и другие некоторые сайты заблочены. При парсинге использую прокси, но такое ощущение, что капчу передает а-парсер с айпи сервера, а не с айпи прокси. Вот пример: http://prntscr.com/k17dq5 Из-за этого получается, что если с айпи нет капчи, то все ок, парсится текст с мейла, если есть капча, то ничего не работает.
Хмм, поставил ВПН на сервер, все подтормаживает, но капчи начали идти. Получается все-таки парсер в данном пресете принимает передает капчу с айпи сервера, а не с айпи прокси?