Informations générales
A-Parser - le scraper pour les professionnels
A-Parser - scraper multithread de moteurs de recherche, de services d'évaluation de sites, de mots-clés, de contenu (texte, liens, données arbitraires) et d'autres services divers (YouTube, images, traducteur...), A-Parser contient plus de 90 scrapers intégrés.
Les caractéristiques clés de A-Parser sont le support des plateformes Windows/Linux, une interface web avec possibilité d'accès à distance, la possibilité de créer vos propres scrapers sans écrire de code, ainsi que la possibilité de créer des scrapers avec une logique complexe en langage JavaScript / TypeScript avec le support des modules NodeJS.
La performance, le travail avec les proxys, le contournement de la protection CloudFlare, un moteur HTTP rapide, le support du contrôle de Chrome via puppeteer, la gestion du scraper par API et bien plus encore font de A-Parser une solution unique. Dans cette documentation, nous nous efforcerons de révéler tous les avantages d'A-Parser et ses modes d'utilisation.
Domaines d'utilisation
A-Parser est capable de résoudre de nombreuses tâches. Pour plus de commodité, nous les avons divisées en catégories par domaines d'application, suivez les liens ci-dessous pour plus de détails
Intégrations IA
Spécialistes et agences SEO
Entreprises et Indépendants
Pour les Développeurs
Marketeurs
E-commerce
Marketeurs d'affiliation
Fonctionnalités et Avantages
Dans cette section, nous avons brièvement listé les principaux avantages de A-Parser, des informations plus détaillées peuvent être trouvées via le lien ci-dessous
Aperçu de toutes les fonctionnalités
⏩ Webinaire sur A-Parser : présentation et réponses aux questions
Traitement multithread et performance
- A-Parser fonctionne sur la base des dernières versions de NodeJS et du moteur JavaScript V8
- AsyncHTTPX - propre implémentation du moteur HTTP avec support de HTTP/1.1 et HTTP/2, HTTPS/TLS, support des proxys HTTP/SOCKS4/SOCKS5 avec authentification optionnelle
- Le scraper est capable d'exécuter des requêtes HTTP dans un nombre presque illimité de threads simultanés selon la configuration de l'ordinateur et la tâche à résoudre
- Chaque tâche (ensemble de requêtes) est traitée dans le nombre de threads indiqué
- Lors de l'utilisation de plusieurs scrapers dans une même tâche, chaque requête vers différents scrapers est exécutée dans différents threads simultanément
- Le scraper peut lancer plusieurs tâches en parallèle
- La vérification et le chargement des proxys depuis des sources s'effectuent également en mode multithread
Création de vos propres scrapers
- Possibilité de créer des scrapers sans écrire de code
- Utilisation d'expressions régulières
- Support de la collecte de données multipages
- Vérification du contenu et de la présence de la page suivante
- Remplacement du user-agent et possibilité de le changer aléatoirement à chaque requête
- Collecte de données imbriquée - possibilité d'insérer les résultats obtenus dans les requêtes
- Travail complet avec JSON : analyse et génération
- Possibilité d'ajouter vos propres fonctions JS et de les utiliser pour traiter les résultats obtenus directement dans le scraper
Création de scrapers en langage JavaScript
- Riche API intégrée basée sur async/await
- Support de TypeScript
- Possibilité de connecter n'importe quel module NodeJS
- Contrôle de Chrome/Chromium via puppeteer avec support de proxys séparés pour chaque onglet
Outils puissants pour la génération des requêtes et des résultats
- Constructeur de requêtes et de résultats - permet de modifier les données (recherche et remplacement, extraction du domaine d'un lien, transformations par expressions régulières, XPath...)
- Substitutions pour les requêtes - à partir d'un fichier ; itération de mots, symboles et chiffres, y compris avec un pas défini
- Filtrage des résultats - par occurrence de sous-chaîne, égalité, supérieur/inférieur
- Déduplication des résultats - par ligne, par domaine, par domaine principal (A-Parser connaît tous les domaines de premier niveau, y compris ceux comme co.uk, msk.ru)
- Puissant moteur de gabarit de résultats basé sur Template Toolkit - permet d'afficher les résultats sous n'importe quelle forme pratique (texte, csv, html, xml, format arbitraire)
- Le scraper utilise un système de préréglages (présélections) - pour chaque scraper, vous pouvez créer de nombreux paramètres prédéfinis pour diverses situations
- Tout est configurable - aucun cadre ni restriction
- L'exportation et l'importation des paramètres permettent de partager facilement l'expérience avec d'autres utilisateurs