Парсер Парсинг mail.ru с antigate 1.1.6

[seowin555]

Приветствую!
Подскажите, можно как-то парсить mail.ru с antigate?
В настройках парсера не нашел такой функции, пробовал парсить без antigate, сначала парсинг идет, скорость хорошая, потом почти сразу скорость очень сильно снижается и почти парсинг не идет.

 

[Support]

Добрый день.
В ближайшие несколько дней постараюсь выложить JS-парсер Mail.ru с антигейтом.

 

[seowin555]

Добрый день.
В ближайшие несколько дней постараюсь выложить JS-парсер Mail.ru с антигейтом.

Большое спасибо! Буду ждать. Очень надо.

 

[seowin555]

Добрый день.
В ближайшие несколько дней постараюсь выложить JS-парсер Mail.ru с антигейтом.

Подскажите, а когда можно ждать данный парсер?

 

[Support]

Как только будут решены все сложности и реализован необходимый функционал.

 

[seowin555]

Как только будут решены все сложности и реализован необходимый функционал.

А может быть, пока проще добавить антигейт в парсер SE::MailRu?

 

[Support]

Добавлен JS парсер Mail.ru с возможностью использовать антигейт: https://a-parser.com/threads/2882

 

[Support]

Пользователь Support обновил ресурс JS::SE::MailRu новой записью:

Обновление 1.1.4

• Незначительные правки, призванные устранить появление таких ошибок: https://a-parser.com/threads/3467/

Узнать больше об этом обновлении...

 

[seowin555]

Добрый день!
К сожалению при работе с данным парсером, снова а-парсер стал падать.
Ничего в работе не менялось, сервер тот же, версия а-парсера - beta 1.2.53
В логе:
Jan 2 12:57:24.65988 [master] JavaScript error: TypeError: Cannot read property 'current_page' of undefined at Parser.parse (files/parsers/SE-MailRu/SE-MailRu.js:44:76) at next (native) at parser-object.js:28:12

panic: restartop

 

[Support]

Добрый день.
Дайте несколько запросов, на которых можно воспроизвести проблему, проверим.

 

[Support]

@seowin555, проблему пока что воспроизвести не удалось, но судя по той записи в логе, которую вы показали, парсер падает, когда в ответе Mail.ru не отдает номер текущей страницы. Выпустили обновление - проверьте.
И сообщите, у вас парсер x86 или x64?

 

[Support]

Пользователь Support обновил ресурс JS::SE::MailRu новой записью:

Обновление 1.1.5

• Исправление проблемы с падениями

Узнать больше об этом обновлении...

 

[seowin555]

@seowin555, проблему пока что воспроизвести не удалось, но судя по той записи в логе, которую вы показали, парсер падает, когда в ответе Mail.ru не отдает номер текущей страницы. Выпустили обновление - проверьте.
И сообщите, у вас парсер x86 или x64?

Подготовил вам примеры запросов на которых падал а-парсер несколько раз, для интереса решил еще раз пройтись по ним, что странно, все стало ок.
Поставил парситься дальше и парсер снова упал.

Как оказалось, у меня x86 парсер, обновился на x64, также обновился до последней беты, была ранее предпоследняя версия.
Также обновил пресет, сейчас снова поставил парсится, по результату обязательно отпишусь.

 

[seowin555]

Хотел спросить еще о таком моменте, а процесс a-parser-а в диспетчере задач может подвисать или так не должно быть?
Вот скрин http://prntscr.com/hw18ko
Замечал такое и на x86 версии, причем не важно какие пресеты запущены или не запущены вообще. Т.е. если просто запустить а-парсер без пресетов, будет тоже самое.
В самой админке а-парсера глюков при этом не замечал.

 

[Support]

Да, обычно это нормально.

 

[seowin555]

К сожалению после данных действий проблема осталась.
Но сейчас вроде бы немного другие ошибки в логе.
Use of uninitialized value in subroutine entry at build/core.to_build.pl line 40184.
Use of uninitialized value in subroutine entry at build/core.to_build.pl line 40184.
Jan 4 23:07:06.00699 [master] JavaScript error: TypeError: Cannot read property 'next' of undefined at Parser.parse (files/parsers/SE-MailRu/SE-MailRu.js:57:32) at parse.next (<anonymous>) at parser-object.js:28:12

panic: restartop

==== C stack trace ===============================

perl_get_host_info [0x000000002801B5E3+8419]
Perl_safesysfree [0x000000002801FCC6+70]
Perl_sv_clear [0x000000002804E64A+1466]
Perl_sv_free [0x000000002804E838+264]
(No symbol) [0x0000000008C13719]
(No symbol) [0x000000001D89F258]
(No symbol) [0x00000000256C8CD8]
(No symbol) [0x0000000000000008]

 

[Support]

Нужны несколько запросов, на которых можно воспроизвести проблему.
Также покажите или сбросьте настройки задания.
Без этих данных сложно исправить проблему.

 

[Support]

Пользователь Support обновил ресурс JS::SE::MailRu новой записью:

Обновление 1.1.6

• Добавлена поддержка сессий
• Добавлен обработчик непредвиденных ошибок, это должно устранить все возможные падения

Узнать больше об этом обновлении...

 

[seowin555]

Добрый день!
Подскажите, а данный пресет получает капчу с какого айпи?
Просто у меня такая проблема, переехал на новый сервер, локация - Украина, там mail.ru и другие некоторые сайты заблочены.
При парсинге использую прокси, но такое ощущение, что капчу передает а-парсер с айпи сервера, а не с айпи прокси.
Вот пример: http://prntscr.com/k17dq5
Из-за этого получается, что если с айпи нет капчи, то все ок, парсится текст с мейла, если есть капча, то ничего не работает.

 

[seowin555]

Хмм, поставил ВПН на сервер, все подтормаживает, но капчи начали идти.
Получается все-таки парсер в данном пресете принимает передает капчу с айпи сервера, а не с айпи прокси?