Collega Util::ReCaptcha2 per risolvere reCAPTCHA v2. SE::Google supporta anche i CAPTCHA grafici tramite AntiGate.
Risoluzione automatica dei CAPTCHA per uno scraping con meno interruzioni
Supera le verifiche Google reCAPTCHA, hCaptcha e Cloudflare Turnstile durante lo scraping con A-Parser. Collega i servizi di riconoscimento CAPTCHA agli scraper integrati o ai tuoi scraper JS personalizzati.
Per qualsiasi sito
Superamento integrato delle verifiche Cloudflare in Net::HTTP
Lo scraper Net::HTTP integrato in A-Parser raccoglie dati dai siti e supporta il superamento automatico delle verifiche Cloudflare tramite Chrome.
Fingerprint JA3, JA3N, JA4, JA4H e Akamai
Alcuni siti analizzano i parametri della connessione e delle richieste per distinguere uno scraper da un normale browser. Il client HTTP integrato di A-Parser riproduce i fingerprint TLS e HTTP/2 di Chrome per Windows e Android.
- JA3, JA3N e JA4. Rappresentano i parametri del client TLS durante l'instaurazione della connessione.
- JA4H. Descrive la richiesta HTTP: metodo, versione del protocollo e intestazioni.
- Akamai. Rappresenta le impostazioni della connessione HTTP/2 e l'ordine delle pseudo-intestazioni.
In questo modo le richieste di A-Parser presentano parametri di connessione simili a quelli di Chrome, contribuendo a evitare blocchi durante la raccolta dei dati.
Come funziona
Scegli come gestire i CAPTCHA
Collega un servizio di riconoscimento oppure usa un metodo automatico, se disponibile nel tuo scraper.
Collega un servizio di riconoscimento
Scegli un servizio compatibile, inserisci la chiave e salva le impostazioni in un preset. Poi collegalo a uno scraper integrato o a uno scraper JS personalizzato.
Usa i metodi automatici
Puoi risolvere Cloudflare Turnstile senza un servizio di riconoscimento: in modalità Auto, A-Parser usa un browser. Il metodo è disponibile negli scraper che supportano Util::Turnstile. Negli scraper Wordstat è disponibile anche il superamento automatico di Yandex SmartCaptcha.
Scraper ausiliari
Scraper per il riconoscimento CAPTCHA
A-Parser include scraper ausiliari per diversi tipi di CAPTCHA. Collegali agli scraper integrati che prevedono la gestione dei CAPTCHA oppure usali nei tuoi scraper JS personalizzati. La compatibilità dei servizi dipende dal tipo di CAPTCHA.
Util::Turnstile
Superamento di Cloudflare Turnstile tramite un servizio di riconoscimento CAPTCHA o automaticamente con un browser.
Util::ReCaptcha2
Invia Google reCAPTCHA v2 a un servizio di riconoscimento e riceve un token da usare nello scraper.
Util::ReCaptcha3
Risoluzione automatica di Google reCAPTCHA v3 durante lo scraping tramite servizi di riconoscimento. Lo scraper riceve un token in risposta.
Util::hCaptcha
Risoluzione di hCaptcha tramite un servizio di riconoscimento: lo scraper invia i dati del CAPTCHA e riceve un token.
Util::AntiGate
Riconosce i CAPTCHA testuali nelle immagini tramite servizi e programmi compatibili con AntiGate.
Util::RotateCaptcha
Ottiene l'angolo di rotazione dell'immagine da RuCaptcha o 2Captcha. Adatto agli scraper JS personalizzati.
Util::YandexRecognize
Riconosce gratuitamente semplici CAPTCHA grafici tramite Yandex Translate, ma con precisione limitata.
Servizi e programmi
Servizi e programmi per risolvere i CAPTCHA
Scegli il servizio o il programma più adatto e inserisci le relative impostazioni nel preset. Il supporto dipende dal tipo di CAPTCHA, dallo scraper scelto e dalle funzionalità del servizio: verifica la compatibilità nella documentazione.
Servizi online
Servizi di riconoscimento CAPTCHA. Per Util::AntiGate puoi collegare anche altri servizi compatibili con AntiGate.
Programmi
Per il riconoscimento dei CAPTCHA puoi collegare anche i programmi XEvil e CapMonster.
Per i tuoi scraper JS
Integra il riconoscimento CAPTCHA nel tuo scraper
Richiama uno scraper ausiliario dal tuo codice. Ad esempio, per reCAPTCHA v2 puoi passare a Util::ReCaptcha2 un preset configurato, la chiave del sito e l'indirizzo della pagina.
Gestione dei CAPTCHA negli scraper JSawait this.parser.request(
'Util::ReCaptcha2',
this.conf.Util_ReCaptcha2_preset,
{},
siteKey + ' ' + endPoint
);Scraper integrati
Quali scraper supportano la gestione dei CAPTCHA
Gli scraper integrati di A-Parser usano diversi metodi per gestire le verifiche dei siti. A seconda dello scraper, puoi collegare uno scraper per il riconoscimento CAPTCHA oppure usare il metodo di superamento automatico disponibile.
Altri motori di ricerca
Dogpile usa un metodo per superare le verifiche Cloudflare, mentre lo scraper di immagini usa Util::ReCaptcha2. Bing prevede la gestione dei CAPTCHA, mentre Rambler attende il completamento dei soft CAPTCHA.
Ricerca Yandex
Collega un servizio di riconoscimento dei CAPTCHA di Yandex per raccogliere risultati di ricerca, immagini e altri dati.
Yandex Wordstat
Superamento automatico di Yandex SmartCaptcha e possibilità di collegare un servizio per il riconoscimento dei CAPTCHA grafici.
Altri servizi Yandex
Per gestire i CAPTCHA in Yandex Direct, Wordcraft e Yandex Maps puoi collegare un servizio tramite Util::AntiGate.
Yandex Market
Collega AntiGate per gestire i CAPTCHA oppure attiva Auto-Solve ClickCaptcha per risolvere automaticamente i CAPTCHA a clic senza un servizio esterno.
Ahrefs
Per gestire Cloudflare Turnstile negli scraper Ahrefs, seleziona un preset Util::Turnstile configurato.
Majestic
Per la verifica Turnstile sulla pagina verify viene usato un preset Util::Turnstile con un servizio di riconoscimento o con la modalità Auto.
Amazon e Roskomnadzor
Questi scraper prevedono il collegamento di Util::AntiGate per risolvere i CAPTCHA.
Scraper universale
Net::HTTP recupera dati dagli URL e può superare automaticamente le verifiche Cloudflare tramite Chrome.
Estrazione di dati dai siti
Gli scraper HTML supportano il superamento delle verifiche Cloudflare. In alcuni di essi il superamento tramite Chrome è disponibile come impostazione sperimentale.
Perplexity e Cloudflare Radar
Questi scraper prevedono impostazioni per gestire le verifiche Cloudflare tramite browser.
