Résolution automatique des CAPTCHA pour un scraping sans interruptions inutiles

Franchissez les vérifications Google reCAPTCHA, hCaptcha et Cloudflare Turnstile lors de vos opérations de scraping avec A-Parser. Connectez des services de résolution de CAPTCHA aux scrapers intégrés ou à vos propres scrapers JS.

Pour tous types de sites

Contournement intégré de Cloudflare dans Net::HTTP

Le scraper Net::HTTP intégré à A-Parser collecte des données sur les sites et prend en charge le contournement automatique des vérifications Cloudflare à l'aide de Chrome.

Empreintes JA3, JA3N, JA4, JA4H et Akamai

Certains sites analysent les paramètres de connexion et des requêtes pour distinguer un scraper d'un navigateur classique. Le client HTTP intégré d'A-Parser reproduit les empreintes TLS et HTTP/2 de Chrome pour Windows et Android.

  • JA3, JA3N et JA4. Reflètent les paramètres du client TLS lors de l'établissement de la connexion.
  • JA4H. Décrit la requête HTTP : sa méthode, la version du protocole et ses en-têtes.
  • Akamai. Reflète les paramètres de la connexion HTTP/2 et l'ordre des pseudo-en-têtes.

Les requêtes d'A-Parser présentent ainsi des paramètres de connexion similaires à ceux des requêtes Chrome, ce qui aide à éviter les blocages lors de la collecte de données.

Documentation du scraper Net::HTTP

Comment ça marche

Choisissez comment gérer les CAPTCHA

Connectez un service de résolution ou utilisez une méthode automatique si elle est disponible dans votre scraper.
Connectez un service de résolution

Choisissez un service compatible, saisissez la clé et enregistrez les paramètres dans un préréglage. Utilisez ensuite ce préréglage dans un scraper intégré ou dans votre propre scraper JS.

Utilisez les méthodes automatiques

Cloudflare Turnstile peut être résolu sans service de résolution : en mode Auto, A-Parser utilise un navigateur. Cette méthode est disponible dans les scrapers compatibles avec Util::Turnstile. Le contournement automatique de Yandex SmartCaptcha est également disponible dans les scrapers Wordstat.

Scrapers auxiliaires

Scrapers de résolution de CAPTCHA

A-Parser propose des scrapers auxiliaires pour différents types de CAPTCHA. Connectez-les aux scrapers intégrés qui prennent en charge les CAPTCHA ou utilisez-les dans vos propres scrapers JS. La compatibilité des services dépend du type de CAPTCHA.
Cloudflare Turnstile
Util::Turnstile

Contournement de Cloudflare Turnstile via un service de résolution de CAPTCHA ou automatiquement à l'aide d'un navigateur.

+ En savoir plus
Google reCAPTCHA v2
Util::ReCaptcha2

Envoie Google reCAPTCHA v2 à un service de résolution et récupère un jeton pour le scraper.

+ En savoir plus
Google reCAPTCHA v3
Util::ReCaptcha3

Résolution automatique de Google reCAPTCHA v3 pendant le scraping via des services de résolution. Le scraper reçoit un jeton en réponse.

+ En savoir plus
hCaptcha
Util::hCaptcha

Résolution de hCaptcha via un service : le scraper transmet les données du CAPTCHA et reçoit un jeton.

+ En savoir plus
Reconnaissance de CAPTCHA graphiques
Util::AntiGate

Reconnaît le texte des CAPTCHA graphiques via des services et logiciels compatibles avec AntiGate.

+ En savoir plus
Reconnaissance de CAPTCHA avec rotation d'image
Util::RotateCaptcha

Récupère l'angle de rotation d'une image auprès de RuCaptcha ou de 2Captcha. Convient à vos propres scrapers JS.

+ En savoir plus
Reconnaissance de CAPTCHA via Yandex Translate
Util::YandexRecognize

Reconnaît gratuitement les CAPTCHA graphiques simples à l'aide de Yandex Translate, mais avec une précision limitée.

+ En savoir plus

Services et logiciels

Services et logiciels de résolution de CAPTCHA

Choisissez un service ou un logiciel adapté et indiquez ses paramètres dans un préréglage. La prise en charge dépend du type de CAPTCHA, du scraper choisi et des fonctionnalités du service : vérifiez la compatibilité dans la documentation.

Services en ligne

Services de résolution de CAPTCHA. Pour Util::AntiGate, vous pouvez également connecter d'autres services compatibles avec AntiGate.

Logiciels

Vous pouvez également connecter les logiciels XEvil et CapMonster pour résoudre les CAPTCHA.

Pour vos propres scrapers JS

Intégrez la résolution de CAPTCHA à votre scraper

Appelez un scraper auxiliaire depuis votre code. Pour reCAPTCHA v2, par exemple, vous pouvez transmettre à Util::ReCaptcha2 un préréglage configuré, la clé du site et l'adresse de la page.

Gérer les CAPTCHA dans les scrapers JS
await this.parser.request(
  'Util::ReCaptcha2',
  this.conf.Util_ReCaptcha2_preset,
  {},
  siteKey + ' ' + endPoint
);

Scrapers intégrés

Quels scrapers prennent en charge les CAPTCHA ?

Les scrapers intégrés d'A-Parser utilisent différentes méthodes pour gérer les vérifications des sites. Selon le scraper, vous pouvez connecter un scraper de résolution de CAPTCHA ou utiliser une méthode de contournement automatique disponible.

Autres moteurs de recherche

Dogpile utilise le contournement des vérifications Cloudflare, tandis que le scraper d'images utilise Util::ReCaptcha2. Bing prend en charge les CAPTCHA ; pour Rambler, le scraper attend la fin de la vérification soft-CAPTCHA.

Yandex Market

Connectez AntiGate pour gérer les CAPTCHA ou activez Auto-Solve ClickCaptcha pour résoudre automatiquement les CAPTCHA par clic sans service.

Majestic

Pour la vérification Turnstile sur la page verify, un préréglage Util::Turnstile est utilisé avec un service de résolution ou en mode Auto.

Scraper universel

Net::HTTP récupère des données à partir d'une URL et peut contourner automatiquement les vérifications Cloudflare via Chrome.