Automatisk CAPTCHA-lösning för webbskrapning utan onödiga avbrott

Ta dig förbi kontroller från Google reCAPTCHA, hCaptcha och Cloudflare Turnstile när du skrapar data med A-Parser. Anslut CAPTCHA-lösningstjänster till färdiga eller egna JS-scrapers.

För valfria webbplatser

Inbyggd kringgång av Cloudflare i Net::HTTP

Den inbyggda A-Parser-scrapern Net::HTTP samlar in data från webbplatser och stöder automatisk kringgång av Cloudflare-kontroller med hjälp av Chrome.

Fingeravtrycken JA3, JA3N, JA4, JA4H och Akamai

Vissa webbplatser analyserar anslutnings- och förfrågningsparametrar för att skilja en scraper från en vanlig webbläsare. A-Parsers inbyggda HTTP-klient återskapar TLS- och HTTP/2-fingeravtryck från Chrome för Windows och Android.

JA3, JA3N och JA4. Återspeglar TLS-klientens parametrar när anslutningen upprättas.
JA4H. Beskriver HTTP-förfrågan: dess metod, protokollversion och headers.
Akamai. Återspeglar inställningarna för HTTP/2-anslutningen och ordningen på pseudohuvudena.

Därmed liknar A-Parsers förfrågningar Chrome-förfrågningar sett till anslutningsparametrarna, vilket hjälper till att undvika blockeringar vid datainsamling.

Dokumentation för Net::HTTP

Så fungerar det

Välj hur du vill hantera CAPTCHA

Anslut en CAPTCHA-lösningstjänst eller använd en automatisk metod om din scraper stöder det.

Anslut en CAPTCHA-lösningstjänst

Välj en kompatibel tjänst, ange nyckeln och spara inställningarna i en preset. Använd sedan preseten i en inbyggd eller egen JS-scraper.

Använd automatiska metoder

Cloudflare Turnstile kan lösas utan en CAPTCHA-lösningstjänst: i Auto-läget använder A-Parser en webbläsare. Metoden finns i scrapers med stöd för Util::Turnstile. I Wordstat-scrapers finns även automatisk kringgång av Yandex SmartCaptcha.

Hjälpscrapers

Scrapers för CAPTCHA-lösning

A-Parser har hjälpscrapers för olika typer av CAPTCHA. Anslut dem i färdiga scrapers med stöd för CAPTCHA-hantering eller använd dem i egna JS-scrapers. Vilka tjänster som är kompatibla beror på typen av CAPTCHA.

Util::Turnstile

Kringgå Cloudflare Turnstile via en CAPTCHA-lösningstjänst eller automatiskt med hjälp av en webbläsare.

+ Läs mer

Util::ReCaptcha2

Skickar Google reCAPTCHA v2 till en tjänst för lösning och får tillbaka en token som scrapern kan använda.

+ Läs mer

Util::ReCaptcha3

Automatisk lösning av Google reCAPTCHA v3 vid webbskrapning via CAPTCHA-lösningstjänster. Scrapern får en token som svar.

+ Läs mer

Util::hCaptcha

Lös hCaptcha via en CAPTCHA-lösningstjänst: scrapern skickar CAPTCHA-data och får en token tillbaka.

+ Läs mer

Util::AntiGate

Löser textbaserade CAPTCHA i bilder via AntiGate-kompatibla tjänster och program.

+ Läs mer

Util::RotateCaptcha

Hämtar bildens rotationsvinkel från RuCaptcha eller 2Captcha. Passar för egna JS-scrapers.

+ Läs mer

Util::YandexRecognize

Löser enkla bildbaserade CAPTCHA gratis med hjälp av Yandex Translate, men med låg träffsäkerhet.

+ Läs mer

Tjänster och program

Tjänster och program för CAPTCHA-lösning

Välj en lämplig tjänst eller ett program och ange inställningarna i en preset. Stödet beror på typen av CAPTCHA, vilken scraper du använder och tjänstens funktioner – kontrollera kompatibiliteten i dokumentationen.

Onlinetjänster

Tjänster för CAPTCHA-lösning. För Util::AntiGate kan du även ansluta andra AntiGate-kompatibla tjänster.

BotLab

Program

Du kan även ansluta programmen XEvil och CapMonster för CAPTCHA-lösning.

För egna JS-scrapers

Anslut CAPTCHA-lösning till din egen scraper

Anropa en hjälpscraper från din kod. För reCAPTCHA v2 kan du till exempel skicka en konfigurerad preset, webbplatsnyckeln och sidans adress till Util::ReCaptcha2.

Hantera CAPTCHA i JS-scrapers

await this.parser.request(
  'Util::ReCaptcha2',
  this.conf.Util_ReCaptcha2_preset,
  {},
  siteKey + ' ' + endPoint
);

Färdiga scrapers

Vilka scrapers stöder CAPTCHA-hantering?

A-Parsers inbyggda scrapers använder olika metoder för att hantera webbplatsers kontroller. Beroende på scraper kan du ansluta en CAPTCHA-lösningsscraper eller använda tillgänglig automatisk kringgång.

Google

Anslut Util::ReCaptcha2 för att lösa reCAPTCHA v2. SE::Google stöder även bildbaserade CAPTCHA via AntiGate.

Andra sökmotorer

Dogpile använder kringgång av Cloudflare-kontroller, medan bildscrapern använder Util::ReCaptcha2. Bing har stöd för CAPTCHA-hantering och Rambler kan vänta tills en soft-CAPTCHA har passerats.