Автоматическое решение капчи для парсинга без лишних остановок

Проходите проверки Google reCAPTCHA, hCaptcha и Cloudflare Turnstile при парсинге с A-Parser. Подключайте сервисы распознавания капч к готовым или собственным JS-парсерам.

Для произвольных сайтов

Встроенный обход Cloudflare в Net::HTTP

Встроенный в A-Parser парсер Net::HTTP собирает данные с сайтов и поддерживает автоматический обход проверок Cloudflare с помощью Chrome.

Отпечатки JA3, JA3N, JA4, JA4H и Akamai

Некоторые сайты анализируют параметры соединения и запросов, чтобы отличить парсер от обычного браузера. Встроенный HTTP-клиент A-Parser воспроизводит TLS- и HTTP/2-отпечатки Chrome для Windows и Android.

JA3, JA3N и JA4. Отражают параметры TLS-клиента при установлении соединения.
JA4H. Описывает HTTP-запрос: его метод, версию протокола и заголовки.
Akamai. Отражает настройки HTTP/2-соединения и порядок псевдозаголовков.

Так запросы A-Parser выглядят как запросы Chrome по параметрам соединения, что помогает избежать блокировок при сборе данных.

Документация парсера Net::HTTP

Как это работает

Выберите, как работать с капчей

Подключите сервис распознавания или используйте автоматический способ, если он доступен в вашем парсере.

Подключите сервис распознавания

Выберите совместимый сервис, укажите ключ и сохраните настройки в пресет. Затем подключите его во встроенном или собственном JS-парсере.

Используйте автоматические способы

Cloudflare Turnstile можно решать без сервиса распознавания: в режиме Auto A-Parser использует браузер. Способ доступен в парсерах с поддержкой Util::Turnstile. В парсерах Wordstat также доступен автоматический обход Яндекс SmartCaptcha.

Вспомогательные парсеры

Парсеры для распознавания капч

В A-Parser есть вспомогательные парсеры для разных типов капч. Подключайте их в готовых парсерах, где предусмотрена работа с капчей, или используйте в собственных JS-парсерах. Совместимость сервисов зависит от типа капчи.

Util::Turnstile

Обход Cloudflare Turnstile через сервис распознавания капчи или автоматически с помощью браузера.

+ Подробнее

Util::ReCaptcha2

Отправляет Google reCAPTCHA v2 на распознавание в сервис и получает токен для работы парсера.

+ Подробнее

Util::ReCaptcha3

Автоматическое решение Google reCAPTCHA v3 при парсинге через сервисы распознавания. В ответ парсер получает токен.

+ Подробнее

Util::hCaptcha

Решение hCaptcha через сервис распознавания: парсер передаёт данные капчи и получает токен.

+ Подробнее

Util::AntiGate

Распознаёт текстовые капчи на картинках через AntiGate-совместимые сервисы и программы.

+ Подробнее

Util::RotateCaptcha

Получает угол поворота картинки от RuCaptcha или 2Captcha. Подходит для собственных JS-парсеров.

+ Подробнее

Распознавание капч через Яндекс Переводчик

Util::YandexRecognize

Распознаёт простые капчи-картинки с помощью Яндекс Переводчика бесплатно, но с невысокой точностью.

+ Подробнее

Сервисы и программы

Сервисы и программы для решения капчи

Выберите подходящий сервис или программу и укажите его настройки в пресете. Поддержка зависит от типа капчи, выбранного парсера и возможностей сервиса — проверяйте совместимость в документации.

Онлайн-сервисы

Сервисы распознавания капчи. Для Util::AntiGate также можно подключить другие AntiGate-совместимые сервисы.

BotLab

Программы

Для распознавания капч также можно подключить программы XEvil и CapMonster.

Для своих JS-парсеров

Подключайте распознавание капчи в своём парсере

Вызовите вспомогательный парсер из своего кода. Например, для reCAPTCHA v2 можно передать Util::ReCaptcha2 настроенный пресет, ключ сайта и адрес страницы.

Работа с CAPTCHA в JS-парсерах

await this.parser.request(
  'Util::ReCaptcha2',
  this.conf.Util_ReCaptcha2_preset,
  {},
  siteKey + ' ' + endPoint
);

Готовые парсеры

Какие парсеры поддерживают работу с капчами

Встроенные парсеры A-Parser используют разные способы работы с проверками сайтов. В зависимости от парсера можно подключить парсер распознавания капч или использовать доступный автоматический обход.

Google

Подключите Util::ReCaptcha2 для решения reCAPTCHA v2. SE::Google также поддерживает графические капчи через AntiGate.

Другие поисковые системы

Dogpile использует обход проверок Cloudflare, а парсер картинок — Util::ReCaptcha2. В Bing предусмотрена работа с капчей, в Rambler — ожидание прохождения soft-капчи.