1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Ошибка [1.2.1524] Не принимается результат рекаптчи в SE::Google

Тема в разделе "1.2.1549", создана пользователем alexio777, 3 июн 2022.

Страница 1 из 3
  1. alexio777

    alexio777 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    30 ноя 2018
    Сообщения:
    4
    Симпатии:
    4
    Перестал работать парсинг выдачи гугла.
    Прокси a-parser, рекапча решается через capmonstercloud.
    По кругу пытается получить результаты и зацикливается на решении рекапчи.

    Screen Shot 2022-06-03 at 3.08.28 PM.png
     
    #1 alexio777, 3 июн 2022
    Alexey Nikitin, Dimazzan, artgrm и ещё 1-му нравится это.
  2. kaznokrad

    kaznokrad A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 июн 2014
    Сообщения:
    41
    Симпатии:
    5
    проблема с решением рекапчи через последний ксевил 5.0.15, апарсер выдает такую ошибку
    Util::ReCaptcha2: POST(1): http://127.0.0.1:8088/createTask - 200 OK (8.99 KB)
    06/06 13:05:29
    Util::ReCaptcha2: Failed parse json response, error: Unexpected token < in JSON at position 0
     
    #2 kaznokrad, 6 июн 2022
  3. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Это не имеет отношения к данной задаче, у вас скорее всего некорректные настройки в XEvil (выбран неправильный тип API). Если нужна дополнительная консультация - напишите в один из чатов Технической поддержки.
     
    #3 Support, 6 июн 2022
  4. Dimazzan

    Dimazzan A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 окт 2017
    Сообщения:
    6
    Симпатии:
    1
    На форуме зенки тоже у людей появилась проблема что плохо парсится гугл, куда копать?
     
    #4 Dimazzan, 6 июн 2022
  5. Drondi124

    Drondi124 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    10 июл 2020
    Сообщения:
    24
    Симпатии:
    0
    Да пока тишина. Google сменил защиту от парсинга усложнил её. Тоже наблюдается и в Яндексе... пока везде тихо. Гугл думаю поправят быстрее, Яндекс печальнее...
     
    #5 Drondi124, 7 июн 2022
  6. binbash

    binbash A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    19 май 2016
    Сообщения:
    42
    Симпатии:
    8
    Тоже самое, капчи принимаются примерно на 30% от решенных. Прокси банятся почти моментально, после 10 запроса с таймаутом 1 сек между запросами.

    Подскажите, у кого прокси из кабинета апарсера, проблема сохраняется?

    У меня кстати такой же ксевил, распознает, но особо с парсингом это не помогает..
     
    #6 binbash, 7 июн 2022
  7. Drondi124

    Drondi124 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    10 июл 2020
    Сообщения:
    24
    Симпатии:
    0
    с кабинета сапорт пишет всё гуд парсится... ксевил на парсинге сейчас не пашет... по слухам только прося из кабинета покупаешь и радуешся...
     
    #7 Drondi124, 7 июн 2022
  8. binbash

    binbash A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    19 май 2016
    Сообщения:
    42
    Симпатии:
    8
    блин, решил проверить и обломался, купил специально только что прокси в кабинете и ситуация ещё хуже, с первого запроса уже рекапча

    [​IMG]
     
    #8 binbash, 8 июн 2022
  9. Drondi124

    Drondi124 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    10 июл 2020
    Сообщения:
    24
    Симпатии:
    0
    Тогда в сапорт стучи пусть настройки пресета глянут. Мне втирали что всё ок с проксями из кабинета все парсится... проверять не стал жду когда рекапчу пофиксят. Но как я понял это будет не скоро...
     
    #9 Drondi124, 8 июн 2022
  10. Drondi124

    Drondi124 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    10 июл 2020
    Сообщения:
    24
    Симпатии:
    0
    Под парс просями настройки пресета немного другие ... ксевила нет вообще... типа такого попробуй https://prnt.sc/nqK9nj-wiZht
     
    #10 Drondi124, 8 июн 2022
  11. Drondi124

    Drondi124 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    10 июл 2020
    Сообщения:
    24
    Симпатии:
    0
    #11 Drondi124, 8 июн 2022
  12. Drondi124

    Drondi124 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    10 июл 2020
    Сообщения:
    24
    Симпатии:
    0
    Проверил на жужеле работает... прокся мои просто не айс скорость не ахти но собирает... яндекс не хочет хавать... ну да бог с ним мне гугла хватит
     
    #12 Drondi124, 8 июн 2022
  13. Dimazzan

    Dimazzan A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 окт 2017
    Сообщения:
    6
    Симпатии:
    1
    Паршу всегда проксями из кабинета, пробив/скорость упала процентов на 80-90 от того что было до этого
     
    #13 Dimazzan, 8 июн 2022
    Drondi124 нравится это.
  14. Drondi124

    Drondi124 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    10 июл 2020
    Сообщения:
    24
    Симпатии:
    0
    Скорость упала везде... чет Жужель накрутил в защите от парсинга серьезного... теперь только ползать а не летать... лафа кончилась... даже БМ на форуме каких то прогнозов и сроков не даёт... написал только знаем..думаем...
     
    #14 Drondi124, 8 июн 2022
  15. binbash

    binbash A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    19 май 2016
    Сообщения:
    42
    Симпатии:
    8
    Продолжил экспериментировать, от RuCaptcha точно так же как от ксевила 80% ответов ведут в бан прокси.
    [​IMG]


    Нашел у них на блоге вот такую статью:
    https://rucaptcha.com/blog/google-ne-prinimaet-otvet-na-recaptcha

    Пишут что проблема в куках или ИП прокси. Соответственно вопрос, кто эту проблему будет решать?) Сервисы по разгадыванию капч или а-парсер? @Support
     
    #15 binbash, 9 июн 2022
  16. Drondi124

    Drondi124 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    10 июл 2020
    Сообщения:
    24
    Симпатии:
    0
    Да это понятно... капча гается нормально... только гугл её посылает... и большую часть не принимает... шлёт не успех и ксевил или сервисы пытаются её опять по новой решать. В этом и прикол защиты гугла... по ходу как то палит человек или машина гадает и усё.
     
    #16 Drondi124, 9 июн 2022
  17. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Мы несколько дней тестировали данную проблему и пришли к следующим выводам:
    1. Google начал значительно жестче банить запросы
    2. Довольно часто (но не всегда) Google начал выдавать текстовые каптчи (в виде картинки) после рекаптчи
    3. Зацикливание на рекаптче (или рекаптче->каптче) происходит даже в браузере. Связано это скорее всего с баном IP. Наглядный пример такой ситуации на видео: https://files.a-parser.com/img/52wvo_220609130110.mp4
    Исходя из этого, мы добавили в парсер Google поддержку текстовой (графической) каптчи. Чтобы она разгадывалась, нужно кроме пресета для Util::ReCaptcha2 Util::ReCaptcha2 также выбрать настроенный на нужный сервис пресет для Util::Antigate Util::Antigate. К сожалению, это полностью не решает проблему зацикливания, но повышает шансы на прохождение проверки. Как-то еще повлиять на данную проблему со стороны парсера нет возможности, т.к. Google аналогично ведет себя в браузере.
    Кроме этого, для снижения вероятности появления данной проблемы рекомендуем по возможности использовать следующие советы:
    • Парсить по 10 результатов на страницу (Results per page)
    • Задавать страну поиска (Search from country)
    • Использовать как можно больше прокси, которые либо заточены под Google, либо максимально "чистые"
    • Парсить без подключения сервисов разгадывания, используя большое кол-во попыток (Request retries)
    По нашим тестам 10 результатов на страницу и указанная страна поиска сильно снижают вероятность появления рекаптчи, а также способствуют принятию ответа на рекаптчу с первой попытки.

    P.S. Ситуация и рекомендации актуальны на данный момент, в будущем Google может изменить поведение.
     
    #17 Support, 9 июн 2022
    KiryaBH и binbash нравится это.
  18. Drondi124

    Drondi124 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    10 июл 2020
    Сообщения:
    24
    Симпатии:
    0
    Попробовал данные рекомендации. Не супер гуд но хоть как то ползает по гуглу.
     
    #18 Drondi124, 10 июн 2022
  19. Drondi124

    Drondi124 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    10 июл 2020
    Сообщения:
    24
    Симпатии:
    0
    Печаль только в том что а парсер данный костыль не сильно любит чуть и отваливается напрочь
     
    #19 Drondi124, 10 июн 2022
  20. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Задать меньшее кол-во результатов на страницу, выбрать страну, использовать больше прокси и попыток - это совсем не костыль. И точно не может влиять на стабильность работы парсера. Если у вас наблюдаются проблемы - имеет смысл написать в поддержку для их решения.
     
    #20 Support, 10 июн 2022
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)
Страница 1 из 3

Поделиться этой страницей