CAPTCHAs automatisch lösen – für Scraping mit weniger Unterbrechungen

Mit A-Parser können Sie beim Scraping Prüfungen wie Google reCAPTCHA, hCaptcha und Cloudflare Turnstile bewältigen. Binden Sie CAPTCHA-Erkennungsdienste in fertige oder eigene JS-Scraper ein.

Für beliebige Websites

Integrierte Umgehung von Cloudflare in Net::HTTP

Der in A-Parser integrierte Scraper Net::HTTP sammelt Daten von Websites und unterstützt die automatische Umgehung von Cloudflare-Prüfungen mithilfe von Chrome.

JA3-, JA3N-, JA4-, JA4H- und Akamai-Fingerprints

Einige Websites analysieren Verbindungs- und Anfrageparameter, um Scraper von gewöhnlichen Browsern zu unterscheiden. Der integrierte HTTP-Client von A-Parser bildet die TLS- und HTTP/2-Fingerprints von Chrome für Windows und Android nach.

  • JA3, JA3N und JA4. Bilden die Parameter des TLS-Clients beim Verbindungsaufbau ab.
  • JA4H. Beschreibt die HTTP-Anfrage: ihre Methode, Protokollversion und Header.
  • Akamai. Bildet die Einstellungen der HTTP/2-Verbindung und die Reihenfolge der Pseudo-Header ab.

So ähneln A-Parser-Anfragen hinsichtlich ihrer Verbindungsparameter denen von Chrome. Das hilft, Sperren bei der Datenerfassung zu vermeiden.

Dokumentation zum Scraper Net::HTTP

So funktioniert es

Wählen Sie, wie Sie CAPTCHAs handhaben möchten

Binden Sie einen Erkennungsdienst ein oder nutzen Sie eine automatische Methode, sofern Ihr Scraper diese unterstützt.
Erkennungsdienst einbinden

Wählen Sie einen kompatiblen Dienst, geben Sie den Schlüssel ein und speichern Sie die Einstellungen in einem Preset. Binden Sie dieses anschließend in einen integrierten oder eigenen JS-Scraper ein.

Automatische Methoden nutzen

Cloudflare Turnstile lässt sich ohne Erkennungsdienst lösen: Im Auto-Modus verwendet A-Parser einen Browser. Diese Methode ist in Scrapern mit Unterstützung für Util::Turnstile verfügbar. In Wordstat-Scrapern lässt sich außerdem Yandex SmartCaptcha automatisch umgehen.

Hilfs-Scraper

Scraper zur CAPTCHA-Erkennung

A-Parser bietet Hilfs-Scraper für verschiedene CAPTCHA-Typen. Binden Sie diese in fertige Scraper ein, die CAPTCHAs unterstützen, oder nutzen Sie sie in eigenen JS-Scrapern. Die Kompatibilität der Dienste hängt vom CAPTCHA-Typ ab.
Cloudflare Turnstile
Util::Turnstile

Umgehung von Cloudflare Turnstile über einen CAPTCHA-Erkennungsdienst oder automatisch mithilfe eines Browsers.

+ Mehr erfahren
Google reCAPTCHA v2
Util::ReCaptcha2

Sendet Google reCAPTCHA v2 zur Erkennung an einen Dienst und erhält ein Token für den Scraper.

+ Mehr erfahren
Google reCAPTCHA v3
Util::ReCaptcha3

Automatisches Lösen von Google reCAPTCHA v3 beim Scraping über Erkennungsdienste. Der Scraper erhält als Antwort ein Token.

+ Mehr erfahren
hCaptcha
Util::hCaptcha

Lösen von hCaptcha über einen Erkennungsdienst: Der Scraper übermittelt die CAPTCHA-Daten und erhält ein Token.

+ Mehr erfahren
Erkennung von Bild-CAPTCHAs
Util::AntiGate

Erkennt Text-CAPTCHAs in Bildern über AntiGate-kompatible Dienste und Programme.

+ Mehr erfahren
Erkennung von Dreh-CAPTCHAs
Util::RotateCaptcha

Erhält den Drehwinkel eines Bildes von RuCaptcha oder 2Captcha. Geeignet für eigene JS-Scraper.

+ Mehr erfahren
CAPTCHA-Erkennung über Yandex Translate
Util::YandexRecognize

Erkennt einfache Bild-CAPTCHAs mithilfe von Yandex Translate kostenlos, allerdings mit geringer Genauigkeit.

+ Mehr erfahren

Dienste und Programme

Dienste und Programme zum Lösen von CAPTCHAs

Wählen Sie einen passenden Dienst oder ein Programm und hinterlegen Sie die Einstellungen im Preset. Die Unterstützung hängt vom CAPTCHA-Typ, dem gewählten Scraper und den Möglichkeiten des Dienstes ab – prüfen Sie die Kompatibilität in der Dokumentation.

Online-Dienste

Dienste zur CAPTCHA-Erkennung. Für Util::AntiGate können Sie auch andere AntiGate-kompatible Dienste einbinden.

Programme

Zur CAPTCHA-Erkennung können Sie auch die Programme XEvil und CapMonster einbinden.

Für eigene JS-Scraper

CAPTCHA-Erkennung in den eigenen Scraper einbinden

Rufen Sie einen Hilfs-Scraper aus Ihrem Code auf. Für reCAPTCHA v2 können Sie beispielsweise das konfigurierte Preset, den Website-Schlüssel und die Seitenadresse an Util::ReCaptcha2 übergeben.

CAPTCHAs in JS-Scrapern handhaben
await this.parser.request(
  'Util::ReCaptcha2',
  this.conf.Util_ReCaptcha2_preset,
  {},
  siteKey + ' ' + endPoint
);

Fertige Scraper

Welche Scraper unterstützen die Verarbeitung von CAPTCHAs?

Die integrierten Scraper von A-Parser nutzen unterschiedliche Methoden für den Umgang mit Website-Prüfungen. Je nach Scraper können Sie einen Hilfs-Scraper zur CAPTCHA-Erkennung einbinden oder eine verfügbare automatische Umgehung nutzen.

Yandex Market

Binden Sie AntiGate für die Verarbeitung von CAPTCHAs ein oder aktivieren Sie Auto-Solve ClickCaptcha, um Click-CAPTCHAs automatisch und ohne Dienst zu lösen.

Majestic

Für die Turnstile-Prüfung auf der verify-Seite wird ein Util::Turnstile-Preset mit Erkennungsdienst oder im Auto-Modus verwendet.

Universeller Scraper

Net::HTTP ruft Daten über eine URL ab und kann Cloudflare-Prüfungen automatisch über Chrome umgehen.