Automatyczne rozwiązywanie CAPTCHA dla scrapowania bez zbędnych przestojów

Przechodź weryfikacje Google reCAPTCHA, hCaptcha i Cloudflare Turnstile podczas scrapowania z A-Parser. Podłączaj usługi rozpoznawania CAPTCHA do gotowych lub własnych scraperów JS.

Dla dowolnych stron internetowych

Wbudowane omijanie Cloudflare w Net::HTTP

Wbudowany w A-Parser scraper Net::HTTP zbiera dane ze stron internetowych i obsługuje automatyczne omijanie weryfikacji Cloudflare za pomocą Chrome.

Odciski cyfrowe JA3, JA3N, JA4, JA4H i Akamai

Niektóre strony analizują parametry połączenia i żądań, aby odróżnić scraper od zwykłej przeglądarki. Wbudowany klient HTTP A-Parser odtwarza odciski cyfrowe TLS i HTTP/2 przeglądarki Chrome dla systemów Windows i Android.

  • JA3, JA3N i JA4. Odzwierciedlają parametry klienta TLS podczas nawiązywania połączenia.
  • JA4H. Opisuje żądanie HTTP: jego metodę, wersję protokołu i nagłówki.
  • Akamai. Odzwierciedla ustawienia połączenia HTTP/2 i kolejność pseudonagłówków.

Dzięki temu pod względem parametrów połączenia żądania A-Parser wyglądają jak żądania Chrome, co pomaga unikać blokad podczas zbierania danych.

Dokumentacja scrapera Net::HTTP

Jak to działa

Wybierz sposób obsługi CAPTCHA

Podłącz usługę rozpoznawania lub skorzystaj z automatycznej metody, jeśli jest dostępna w Twoim scraperze.
Podłącz usługę rozpoznawania

Wybierz kompatybilną usługę, podaj klucz i zapisz ustawienia w presecie. Następnie podłącz go we wbudowanym lub własnym scraperze JS.

Korzystaj z automatycznych metod

Cloudflare Turnstile można rozwiązywać bez usługi rozpoznawania: w trybie Auto A-Parser korzysta z przeglądarki. Ta metoda jest dostępna w scraperach obsługujących Util::Turnstile. W scraperach Wordstat dostępne jest również automatyczne omijanie Yandex SmartCaptcha.

Scrapery pomocnicze

Scrapery do rozpoznawania CAPTCHA

W A-Parser dostępne są scrapery pomocnicze do różnych typów CAPTCHA. Podłączaj je w gotowych scraperach, które obsługują CAPTCHA, lub używaj ich we własnych scraperach JS. Kompatybilność usług zależy od typu CAPTCHA.
Cloudflare Turnstile
Util::Turnstile

Omijanie Cloudflare Turnstile za pomocą usługi rozpoznawania CAPTCHA lub automatycznie przy użyciu przeglądarki.

+ Szczegóły
Google reCAPTCHA v2
Util::ReCaptcha2

Wysyła Google reCAPTCHA v2 do usługi rozpoznawania i otrzymuje token do wykorzystania przez scraper.

+ Szczegóły
Google reCAPTCHA v3
Util::ReCaptcha3

Automatyczne rozwiązywanie Google reCAPTCHA v3 podczas scrapowania za pośrednictwem usług rozpoznawania. W odpowiedzi scraper otrzymuje token.

+ Szczegóły
hCaptcha
Util::hCaptcha

Rozwiązywanie hCaptcha za pośrednictwem usługi rozpoznawania: scraper przesyła dane CAPTCHA i otrzymuje token.

+ Szczegóły
Rozpoznawanie graficznych CAPTCHA
Util::AntiGate

Rozpoznaje tekstowe CAPTCHA na obrazach za pośrednictwem usług i programów kompatybilnych z AntiGate.

+ Szczegóły
Rozpoznawanie CAPTCHA wymagających obrócenia obrazu
Util::RotateCaptcha

Pobiera kąt obrotu obrazu z RuCaptcha lub 2Captcha. Nadaje się do własnych scraperów JS.

+ Szczegóły
Rozpoznawanie CAPTCHA za pomocą Yandex Translate
Util::YandexRecognize

Bezpłatnie rozpoznaje proste CAPTCHA obrazkowe za pomocą Yandex Translate, ale z niewielką dokładnością.

+ Szczegóły

Usługi i programy

Usługi i programy do rozwiązywania CAPTCHA

Wybierz odpowiednią usługę lub program i wprowadź ustawienia w presecie. Obsługa zależy od typu CAPTCHA, wybranego scrapera i możliwości usługi — sprawdź kompatybilność w dokumentacji.

Usługi online

Usługi rozpoznawania CAPTCHA. Do Util::AntiGate można również podłączyć inne usługi kompatybilne z AntiGate.

Programy

Do rozpoznawania CAPTCHA można również podłączyć programy XEvil i CapMonster.

Dla własnych scraperów JS

Podłącz rozpoznawanie CAPTCHA we własnym scraperze

Wywołaj scraper pomocniczy ze swojego kodu. Na przykład w przypadku reCAPTCHA v2 możesz przekazać do Util::ReCaptcha2 skonfigurowany preset, klucz witryny i adres strony.

Obsługa CAPTCHA w scraperach JS
await this.parser.request(
  'Util::ReCaptcha2',
  this.conf.Util_ReCaptcha2_preset,
  {},
  siteKey + ' ' + endPoint
);

Gotowe scrapery

Które scrapery obsługują CAPTCHA

Wbudowane scrapery A-Parser korzystają z różnych sposobów obsługi weryfikacji na stronach. W zależności od scrapera można podłączyć scraper rozpoznający CAPTCHA lub skorzystać z dostępnej metody automatycznego omijania.

Yandex Market

Podłącz AntiGate do obsługi CAPTCHA lub włącz Auto-Solve ClickCaptcha, aby automatycznie rozwiązywać CAPTCHA wymagającą kliknięcia bez korzystania z usługi.

Majestic

Do weryfikacji Turnstile na stronie verify używany jest preset Util::Turnstile z usługą rozpoznawania lub trybem Auto.

Uniwersalny scraper

Net::HTTP pobiera dane z adresów URL i może automatycznie omijać weryfikacje Cloudflare za pomocą Chrome.