Улучшение [1.2.2333] Добавить разгадывание новой капчи во все парсеры SE::Yandex

[pogar]

Здравствуйте. В Яндекс обновили каптчи, в результате чего не работает съём позиций.
Сервис @white_captcha вроде решил проблему с новой каптчей, но каптчи не могут приходить от a-parsera, потому что пазлами апарсер не внедрил сервис white captcha. Сейчас от апарсер внедрена каптча только иконками. можете исправить проблему?

 

[Support Alex]

Добрый день, исправим в ближайшее время

 

[Support]

В качестве временного решения в 1.2.2325 реализованы изменения, которые заставляют Яндекс выдавать click каптчу вместо новой puzzle каптчи. Соответственно разгадывание работает как и прежде.

Новая puzzle каптча похоже развернута еще не полностью и показывается в реальных условиях относительно не часто, что усложняет ее изучение. Кроме этого, довольно мало сервисов разгадывания внедрили ее поддержку. В будущем, по мере того, как Яндекс ее полноценно развернет и больше сервисов научатся ее разгадывать, мы также планируем добавить ее поддержку.

 

[arsenkin]

В качестве временного решения в 1.2.2325 реализованы изменения, которые заставляют Яндекс выдавать click каптчу вместо новой puzzle каптчи. Соответственно разгадывание работает как и прежде.

Новая puzzle каптча похоже развернута еще не полностью и показывается в реальных условиях относительно не часто, что усложняет ее изучение. Кроме этого, довольно мало сервисов разгадывания внедрили ее поддержку. В будущем, по мере того, как Яндекс ее полноценно развернет и больше сервисов научатся ее разгадывать, мы также планируем добавить ее поддержку.

Так вроде уже умеют capsola, cap.guru - это уже что-то)

 

[IDr]

В качестве временного решения в 1.2.2325 реализованы изменения, которые заставляют Яндекс выдавать click каптчу вместо новой puzzle каптчи. Соответственно разгадывание работает как и прежде.

Новая puzzle каптча похоже развернута еще не полностью и показывается в реальных условиях относительно не часто, что усложняет ее изучение.

Что-то не помогло, стабильно выдаётся puzzle captcha:

11/06 19:03:15 Parser SE::Yandex::0 parse query тест
11/06 19:03:15 Use proxy http://88.198.56.226:34153
11/06 19:03:15 Use new empty session
11/06 19:03:15 Parse page 1
11/06 19:03:18 GET(1): https://yandex.ru/search/?text=тест&lr=213&search_source=yaru_desktop_common - 200 Ok (13.67 KB)
11/06 19:03:18 Yandex show Smart captcha
11/06 19:03:21 POST(1): https://yandex.ru/checkcaptcha?key=...e-e6f25d2f&s=1e37d7910e55ecb85f69b50db6af4451 - 200 Ok (17.62 KB)
11/06 19:03:21 Processing Smart captcha success
11/06 19:03:21 Yandex show Image captcha
11/06 19:03:21 It's new puzzle captcha, not supported yet
11/06 19:03:21 Use new empty session
11/06 19:03:21 Use proxy http://88.198.56.226:28256
11/06 19:03:22 GET(2): https://yandex.ru/search/?text=тест&lr=213&search_source=yaru_desktop_common - 200 Ok (13.67 KB)
11/06 19:03:22 Yandex show Smart captcha
11/06 19:03:24 POST(2): https://yandex.ru/checkcaptcha?key=...6-a6dea62f&s=ca41a6667e42a56323ebbc5e71b906c0 - 200 Ok (17.55 KB)
11/06 19:03:24 Processing Smart captcha success
11/06 19:03:24 Yandex show Image captcha
11/06 19:03:24 It's new puzzle captcha, not supported yet
11/06 19:03:24 Use new empty session
11/06 19:03:24 Use proxy http://88.198.56.226:27341

И так сотни попыток....

 

[Support Alex]

да, тот метод уже не работает, пока не получается получить пазл капчу в браузере, через апарсер появляется пазл каптча, а в браузере ее увидеть не получается, в браузере так же появляется клик капча с картинками. В процессе решения

 

[pogar]

какой сервис через a-parser на сегодняшний день гадает новую pazzle каптчу от яндекс?

 

[ivan875]

А когда примерно будет решение? У меня парсинг крякнулся полностью

 

[Интеллект]

Подтверждаю, с 18 часов взялось только 6 запросов, то есть сбор серпа фактически не работает.

 

[Support]

На последней бете снова стабильно выдается клик каптча и парсинг снова возможен.

Спойлер: Скриншоты

 

[arsenkin]

На последней бете снова стабильно выдается клик каптча и парсинг снова возможен.

Спойлер: Скриншоты

Откатили да, но думаю, всё вернется обратно в ближайшее время.
В вордстате тоже скоро появится пазл каптчи, поэтому рекомендуем туда тоже внедрить.

 

[pogar]

вернут пазл 100%, сейчас просто тестируют

 

[ivan875]

уже вернули))

 

[pogar]

с 00:00 по 07:00 светилась двухсловная каптча, но апарсер упорно говорил, что не сможет разгадать и что это пазл

https://yandex.ru/checkcaptcha?key=c31b6190-fb2333b5-b9e63920-d3eb1249_2/1718337099/c43fa0a7ed8209dd902e052fd97f2946_0ccbc647b3f9c3b7cb05a6a67407a2f6&mt=98FD44658DAAC36859B3BABA84B9CB9E66F5ED90172B583A629DE89E0348EF66ADAA8081279A763FE41BC2BC891B9B64181AEBD74F5090EE45ABDF1FFC754493E1FAC82C9DAF8DABADDC0C660FE6E43E50962716C0757556114FF1882AE9C20AD0EFE4A3E6AC053D47C717C2EAEF4B40F5D6A441362EF6008B78459E9303C1E245EE1D2E85E3742C459D981C8A4E80BB01ED0E8DD4AE7AB082168444BD7FE3696A6254ABDC69939FC88BE74C2716FFDF1C7AE3C4FB9F8E322ADE29DDA779089D7C95369257F142CB5CCA30A46A16D74BF6AE713B8F6F74329EE96373&retpath=aHR0cHM6Ly95YW5kZXgucnUvc2VhcmNoP3RleHQ9MTIzJmxhbmc9JnNlYXJjaF9zb3VyY2U9eWFydV9kZXNrdG9wX2NvbW1vbg,,_0980ac0094247c7e026c6d5eb4b5ba44&u=7a3742ef-4baaf701-6f5728ed-a237297a&s=62c4befe511887a11c2c095238a5be50



либо проблема в ТП, либо в самом SE::Yandex:osition, что именно он детектится и налетает на пазлы. смена ip не помогает, скачал нулевую версию - тоже не помогает. либо глюкнул SE::Yandex:osition, либо..

 

[ivan875]

подтверждаю, та же проблема. Парсинг фактически не работает. На других аналогах все окей

 

[Support]

В 1.2.2329 снова в качестве временного решения реализованы изменения, которые заставляют Яндекс выдавать click каптчу вместо новой puzzle каптчи. Но Яндекс теперь намного хуже принимает ответы по таким каптчам и очень часто выдает повторные каптчи (что в парсере, что вручную в браузере). Поэтому нужно включать обработку повторных каптч (параметр Experimental img captcha max count), по нашим тестам в среднем выдается 2-3 повторные каптчи, хотя иногда их может быть и 10 (довольно редко).
Под спойлером пример настройки и скриншот работающего задания.

Спойлер: Скриншоты

 

[arsenkin]

В 1.2.2329 снова в качестве временного решения реализованы изменения, которые заставляют Яндекс выдавать click каптчу вместо новой puzzle каптчи. Но Яндекс теперь намного хуже принимает ответы по таким каптчам и очень часто выдает повторные каптчи (что в парсере, что вручную в браузере). Поэтому нужно включать обработку повторных каптч (параметр Experimental img captcha max count), по нашим тестам в среднем выдается 2-3 повторные каптчи, хотя иногда их может быть и 10 (довольно редко).
Под спойлером пример настройки и скриншот работающего задания.

Спойлер: Скриншоты

подскажите, а в чём сейчас проблема распознавания новой каптчи? Сервисы распознавания каптчи принимают же задания.

 

[Anton8516]

В 1.2.2329 снова в качестве временного решения реализованы изменения, которые заставляют Яндекс выдавать click каптчу вместо новой puzzle каптчи. Но Яндекс теперь намного хуже принимает ответы по таким каптчам и очень часто выдает повторные каптчи (что в парсере, что вручную в браузере). Поэтому нужно включать обработку повторных каптч (параметр Experimental img captcha max count), по нашим тестам в среднем выдается 2-3 повторные каптчи, хотя иногда их может быть и 10 (довольно редко).
Под спойлером пример настройки и скриншот работающего задания.

Спойлер: Скриншоты

Не помогло решение, все равно капчует

 

[Support]

В 1.2.2332:

• Добавлена опция Try use Click captcha, позволяет выбирать какая каптча будет выдаваться: click или puzzle. По умолчанию включена, т.е. парсер будет пытаться получить именно click каптчу. В будущем может перестать работать и всегда будет только puzzle.
• Добавлена поддержка puzzle каптчи. На данный момент поддерживаются 2 сервиса: Capsola и Captcha.Guru. Поддержку Whitecaptcha на данный момент невозможно реализовать из-за несовместимости метода разгадывания. Принимаемость Яндексом ответов по puzzle каптчам на очень высоком уровне.
• Ответы по click каптчам все так же плохо принимаются Яндексом. Частично помогает включение обработки повторных каптч, поэтому значение по умолчанию для Experimental img captcha max count теперь равно 5.

 

[Support]

В 1.2.2333 исправление парсинга мобильной выдачи