Automatisch CAPTCHA's oplossen voor scraping zonder onnodige onderbrekingen

Doorloop controles van Google reCAPTCHA, hCaptcha en Cloudflare Turnstile tijdens het scrapen met A-Parser. Koppel CAPTCHA-oplosdiensten aan kant-en-klare of eigen JS-parsers.

Voor elke website

Cloudflare omzeilen met de ingebouwde Net::HTTP-parser

De ingebouwde Net::HTTP-parser van A-Parser verzamelt gegevens van websites en ondersteunt het automatisch omzeilen van Cloudflare-controles met Chrome.

JA3-, JA3N-, JA4-, JA4H- en Akamai-fingerprints

Sommige websites analyseren verbindings- en requestparameters om een parser van een gewone browser te onderscheiden. De ingebouwde HTTP-client van A-Parser bootst de TLS- en HTTP/2-fingerprints van Chrome voor Windows en Android na.

JA3, JA3N en JA4. Geven de parameters van de TLS-client weer bij het tot stand brengen van een verbinding.
JA4H. Beschrijft het HTTP-request: de methode, protocolversie en headers.
Akamai. Geeft de instellingen van de HTTP/2-verbinding en de volgorde van de pseudo-headers weer.

Daardoor lijken requests van A-Parser qua verbindingsparameters op die van Chrome. Dit helpt blokkades tijdens het verzamelen van gegevens te voorkomen.

Documentatie van de Net::HTTP-parser

Zo werkt het

Kies hoe je CAPTCHA's wilt aanpakken

Koppel een CAPTCHA-oplosdienst of gebruik een automatische methode als die in je parser beschikbaar is.

Koppel een CAPTCHA-oplosdienst

Kies een compatibele dienst, voer de sleutel in en sla de instellingen op in een preset. Koppel die vervolgens aan een ingebouwde of eigen JS-parser.

Gebruik automatische methoden

Cloudflare Turnstile kun je zonder CAPTCHA-oplosdienst oplossen: in de Auto-modus gebruikt A-Parser een browser. Deze methode is beschikbaar in parsers die Util::Turnstile ondersteunen. In de Wordstat-parsers kun je ook Yandex SmartCaptcha automatisch omzeilen.

Hulpparsers

Parsers voor het oplossen van CAPTCHA's

A-Parser bevat hulpparsers voor verschillende soorten CAPTCHA's. Koppel ze aan kant-en-klare parsers die CAPTCHA's ondersteunen, of gebruik ze in je eigen JS-parsers. De compatibiliteit van diensten hangt af van het CAPTCHA-type.

Util::Turnstile

Omzeil Cloudflare Turnstile via een CAPTCHA-oplosdienst of automatisch met een browser.

+ Meer informatie

Util::ReCaptcha2

Stuurt Google reCAPTCHA v2 naar een oplosdienst en ontvangt een token voor gebruik door de parser.

+ Meer informatie

Util::ReCaptcha3

Los Google reCAPTCHA v3 tijdens het scrapen automatisch op via CAPTCHA-oplosdiensten. De parser ontvangt een token als antwoord.

+ Meer informatie

Util::hCaptcha

Los hCaptcha op via een CAPTCHA-oplosdienst: de parser stuurt de CAPTCHA-gegevens door en ontvangt een token.

+ Meer informatie

Util::AntiGate

Herkent tekst-CAPTCHA's in afbeeldingen via diensten en programma's die compatibel zijn met AntiGate.

+ Meer informatie

CAPTCHA's oplossen door afbeeldingen te draaien

Util::RotateCaptcha

Haalt de draaihoek van een afbeelding op bij RuCaptcha of 2Captcha. Geschikt voor eigen JS-parsers.

+ Meer informatie

CAPTCHA's herkennen met Yandex Translate

Util::YandexRecognize

Herkent eenvoudige CAPTCHA-afbeeldingen gratis met Yandex Translate, maar met een lage nauwkeurigheid.

+ Meer informatie

Diensten en programma's

Diensten en programma's om CAPTCHA's op te lossen

Kies een geschikte dienst of een geschikt programma en geef de instellingen op in een preset. De ondersteuning hangt af van het CAPTCHA-type, de gekozen parser en de mogelijkheden van de dienst. Controleer de compatibiliteit in de documentatie.

Onlinediensten

Diensten voor het oplossen van CAPTCHA's. Voor Util::AntiGate kun je ook andere diensten koppelen die compatibel zijn met AntiGate.

BotLab

Programma's

Voor het oplossen van CAPTCHA's kun je ook de programma's XEvil en CapMonster koppelen.

Voor je eigen JS-parsers

Los CAPTCHA's op in je eigen parser

Roep een hulpparser aan vanuit je code. Voor reCAPTCHA v2 kun je bijvoorbeeld een ingestelde preset, de sitesleutel en het pagina-adres doorgeven aan Util::ReCaptcha2.

Werken met CAPTCHA's in JS-parsers

await this.parser.request(
  'Util::ReCaptcha2',
  this.conf.Util_ReCaptcha2_preset,
  {},
  siteKey + ' ' + endPoint
);

Kant-en-klare parsers

Welke parsers ondersteunen CAPTCHA's?

De ingebouwde parsers van A-Parser gebruiken verschillende methoden om met websitecontroles om te gaan. Afhankelijk van de parser kun je een hulpparser voor het oplossen van CAPTCHA's koppelen of een beschikbare automatische omzeilingsmethode gebruiken.

Google

Koppel Util::ReCaptcha2 om reCAPTCHA v2 op te lossen. SE::Google ondersteunt ook CAPTCHA's met afbeeldingen via AntiGate.

Andere zoekmachines

Dogpile omzeilt Cloudflare-controles en de afbeeldingenparser gebruikt Util::ReCaptcha2. Bing ondersteunt CAPTCHA's; Rambler wacht tot een soft-CAPTCHA is doorlopen.