Resolução automática de CAPTCHA para coletar dados com menos interrupções

Passe pelas verificações do Google reCAPTCHA, hCaptcha e Cloudflare Turnstile durante a coleta de dados com o A-Parser. Conecte serviços de resolução de CAPTCHA a scrapers prontos ou aos seus próprios scrapers em JavaScript.

Para qualquer site

Como contornar o Cloudflare com o Net::HTTP integrado

O Net::HTTP, scraper integrado ao A-Parser, coleta dados de sites e permite contornar automaticamente as verificações do Cloudflare usando o Chrome.

Fingerprints JA3, JA3N, JA4, JA4H e Akamai

Alguns sites analisam os parâmetros de conexão e das requisições para distinguir um scraper de um navegador comum. O cliente HTTP integrado do A-Parser reproduz os fingerprints TLS e HTTP/2 do Chrome para Windows e Android.

  • JA3, JA3N e JA4. Refletem os parâmetros do cliente TLS no estabelecimento da conexão.
  • JA4H. Descreve a requisição HTTP: seu método, versão do protocolo e cabeçalhos.
  • Akamai. Reflete as configurações da conexão HTTP/2 e a ordem dos pseudocabeçalhos.

Assim, as requisições do A-Parser apresentam parâmetros de conexão semelhantes aos das requisições do Chrome, o que ajuda a evitar bloqueios durante a coleta de dados.

Documentação do scraper Net::HTTP

Como funciona

Escolha como lidar com CAPTCHAs

Conecte um serviço de reconhecimento ou use um método automático, se estiver disponível no seu scraper.
Conecte um serviço de reconhecimento

Escolha um serviço compatível, informe a chave e salve as configurações em uma predefinição. Em seguida, conecte-a a um scraper integrado ou ao seu próprio scraper em JavaScript.

Use métodos automáticos

O Cloudflare Turnstile pode ser resolvido sem um serviço de reconhecimento: no modo Auto, o A-Parser usa um navegador. Esse método está disponível em scrapers com suporte ao Util::Turnstile. Nos scrapers do Wordstat, também é possível contornar automaticamente o Yandex SmartCaptcha.

Scrapers auxiliares

Scrapers para reconhecimento de CAPTCHAs

O A-Parser conta com scrapers auxiliares para diferentes tipos de CAPTCHA. Conecte-os aos scrapers prontos que oferecem suporte a CAPTCHAs ou use-os em seus próprios scrapers em JavaScript. A compatibilidade dos serviços depende do tipo de CAPTCHA.
Cloudflare Turnstile
Util::Turnstile

Contorna o Cloudflare Turnstile por meio de um serviço de reconhecimento de CAPTCHA ou automaticamente com um navegador.

+ Saiba mais
Google reCAPTCHA v2
Util::ReCaptcha2

Envia o Google reCAPTCHA v2 a um serviço de reconhecimento e recebe um token para uso pelo scraper.

+ Saiba mais
Google reCAPTCHA v3
Util::ReCaptcha3

Resolve automaticamente o Google reCAPTCHA v3 durante a coleta de dados, por meio de serviços de reconhecimento. Em resposta, o scraper recebe um token.

+ Saiba mais
hCaptcha
Util::hCaptcha

Resolve hCaptcha por meio de um serviço de reconhecimento: o scraper envia os dados do CAPTCHA e recebe um token.

+ Saiba mais
Reconhecimento de CAPTCHAs de imagem
Util::AntiGate

Reconhece CAPTCHAs de texto em imagens por meio de serviços e programas compatíveis com o AntiGate.

+ Saiba mais
Reconhecimento de CAPTCHAs com rotação de imagem
Util::RotateCaptcha

Obtém do RuCaptcha ou do 2Captcha o ângulo de rotação da imagem. Adequado para seus próprios scrapers em JavaScript.

+ Saiba mais
Reconhecimento de CAPTCHA com o Yandex Translate
Util::YandexRecognize

Reconhece CAPTCHAs simples de imagem gratuitamente com o Yandex Translate, mas com baixa precisão.

+ Saiba mais

Serviços e programas

Serviços e programas para resolver CAPTCHAs

Escolha um serviço ou programa adequado e informe suas configurações na predefinição. O suporte depende do tipo de CAPTCHA, do scraper escolhido e dos recursos do serviço — confira a compatibilidade na documentação.

Serviços online

Serviços de reconhecimento de CAPTCHA. No Util::AntiGate, também é possível conectar outros serviços compatíveis com o AntiGate.

Programas

Também é possível conectar os programas XEvil e CapMonster para reconhecer CAPTCHAs.

Para seus próprios scrapers em JavaScript

Adicione a resolução de CAPTCHA ao seu scraper

Chame um scraper auxiliar no seu código. Por exemplo, para o reCAPTCHA v2, você pode passar ao Util::ReCaptcha2 uma predefinição configurada, a chave do site e o endereço da página.

Como trabalhar com CAPTCHA em scrapers JavaScript
await this.parser.request(
  'Util::ReCaptcha2',
  this.conf.Util_ReCaptcha2_preset,
  {},
  siteKey + ' ' + endPoint
);

Scrapers prontos

Quais scrapers oferecem suporte a CAPTCHAs

Os scrapers integrados do A-Parser usam diferentes métodos para lidar com as verificações dos sites. Dependendo do scraper, você pode conectar um scraper de reconhecimento de CAPTCHA ou usar o método automático disponível.

Yandex Market

Conecte o AntiGate para lidar com CAPTCHAs ou ative Auto-Solve ClickCaptcha para resolver CAPTCHAs de clique automaticamente, sem um serviço.

Majestic

Para a verificação Turnstile na página verify, é usada uma predefinição do Util::Turnstile com um serviço de reconhecimento ou com o modo Auto.

Scraper universal

O Net::HTTP obtém dados por URL e pode contornar automaticamente as verificações do Cloudflare usando o Chrome.