1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Парсер Парсинг mail.ru с antigate 1.1.6

Парсер Mail.ru с поддержкой антигейта

  1. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    187
    Симпатии:
    37
    Приветствую!
    Подскажите, можно как-то парсить mail.ru с antigate?
    В настройках парсера не нашел такой функции, пробовал парсить без antigate, сначала парсинг идет, скорость хорошая, потом почти сразу скорость очень сильно снижается и почти парсинг не идет.
     
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Добрый день.
    В ближайшие несколько дней постараюсь выложить JS-парсер Mail.ru с антигейтом.
     
    seowin555 нравится это.
  3. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    187
    Симпатии:
    37
    Большое спасибо! Буду ждать. Очень надо.
     
  4. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    187
    Симпатии:
    37
    Подскажите, а когда можно ждать данный парсер?
     
  5. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Как только будут решены все сложности и реализован необходимый функционал.
     
  6. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    187
    Симпатии:
    37
    А может быть, пока проще добавить антигейт в парсер SE::MailRu?
     
  7. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    vipuncle и seowin555 нравится это.
  8. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
  9. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    187
    Симпатии:
    37
    Добрый день!
    К сожалению при работе с данным парсером, снова а-парсер стал падать.
    Ничего в работе не менялось, сервер тот же, версия а-парсера - beta 1.2.53
    В логе:
    Jan 2 12:57:24.65988 [master] JavaScript error: TypeError: Cannot read property 'current_page' of undefined at Parser.parse (files/parsers/SE-MailRu/SE-MailRu.js:44:76) at next (native) at parser-object.js:28:12

    panic: restartop
     
  10. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Добрый день.
    Дайте несколько запросов, на которых можно воспроизвести проблему, проверим.
     
  11. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    @seowin555, проблему пока что воспроизвести не удалось, но судя по той записи в логе, которую вы показали, парсер падает, когда в ответе Mail.ru не отдает номер текущей страницы. Выпустили обновление - проверьте.
    И сообщите, у вас парсер x86 или x64?
     
    seowin555 нравится это.
  12. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    seowin555 нравится это.
  13. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    187
    Симпатии:
    37
    Подготовил вам примеры запросов на которых падал а-парсер несколько раз, для интереса решил еще раз пройтись по ним, что странно, все стало ок.
    Поставил парситься дальше и парсер снова упал.

    Как оказалось, у меня x86 парсер, обновился на x64, также обновился до последней беты, была ранее предпоследняя версия.
    Также обновил пресет, сейчас снова поставил парсится, по результату обязательно отпишусь.
     
  14. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    187
    Симпатии:
    37
    Хотел спросить еще о таком моменте, а процесс a-parser-а в диспетчере задач может подвисать или так не должно быть?
    Вот скрин http://prntscr.com/hw18ko
    Замечал такое и на x86 версии, причем не важно какие пресеты запущены или не запущены вообще. Т.е. если просто запустить а-парсер без пресетов, будет тоже самое.
    В самой админке а-парсера глюков при этом не замечал.
     
  15. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Да, обычно это нормально.
     
    seowin555 нравится это.
  16. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    187
    Симпатии:
    37
    К сожалению после данных действий проблема осталась.
    Но сейчас вроде бы немного другие ошибки в логе.
    Use of uninitialized value in subroutine entry at build/core.to_build.pl line 40184.
    Use of uninitialized value in subroutine entry at build/core.to_build.pl line 40184.
    Jan 4 23:07:06.00699 [master] JavaScript error: TypeError: Cannot read property 'next' of undefined at Parser.parse (files/parsers/SE-MailRu/SE-MailRu.js:57:32) at parse.next (<anonymous>) at parser-object.js:28:12

    panic: restartop

    ==== C stack trace ===============================

    perl_get_host_info [0x000000002801B5E3+8419]
    Perl_safesysfree [0x000000002801FCC6+70]
    Perl_sv_clear [0x000000002804E64A+1466]
    Perl_sv_free [0x000000002804E838+264]
    (No symbol) [0x0000000008C13719]
    (No symbol) [0x000000001D89F258]
    (No symbol) [0x00000000256C8CD8]
    (No symbol) [0x0000000000000008]
     
  17. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Нужны несколько запросов, на которых можно воспроизвести проблему.
    Также покажите или сбросьте настройки задания.
    Без этих данных сложно исправить проблему.
     
  18. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
  19. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    187
    Симпатии:
    37
    Добрый день!
    Подскажите, а данный пресет получает капчу с какого айпи?
    Просто у меня такая проблема, переехал на новый сервер, локация - Украина, там mail.ru и другие некоторые сайты заблочены.
    При парсинге использую прокси, но такое ощущение, что капчу передает а-парсер с айпи сервера, а не с айпи прокси.
    Вот пример: http://prntscr.com/k17dq5
    Из-за этого получается, что если с айпи нет капчи, то все ок, парсится текст с мейла, если есть капча, то ничего не работает.
     
  20. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    187
    Симпатии:
    37
    Хмм, поставил ВПН на сервер, все подтормаживает, но капчи начали идти.
    Получается все-таки парсер в данном пресете принимает передает капчу с айпи сервера, а не с айпи прокси?
     

Поделиться этой страницей