FreeAI::GoogleAI - Scraper Google AI mode
Présentation du scraper
Le scraper Google AI mode est un outil puissant pour la collecte de données structurées à partir de l'un des principaux systèmes d'IA, car AI mode fonctionne sur la base de Gemini de Google. Grâce à l'intégration avec Google AI mode, vous n'obtenez pas seulement des listes de liens, mais des réponses actualisées, concises et pertinentes, basées sur un grand nombre de sources, notamment des articles scientifiques, des blogs, des forums et des portails d'actualités.
Le scraper Google AI mode prend en charge les requêtes en langage naturel, y compris les précisions, les questions contextuelles et les constructions imbriquées. La vitesse de traitement atteint 800–1500 requêtes par minute grâce au mode de traitement multithread. Selon la configuration et les préréglages utilisés, vous pouvez obtenir des dizaines de milliers de fragments de texte uniques et des centaines de liens en quelques minutes.
Les résultats peuvent être sauvegardés dans n'importe quel format souhaité grâce au puissant moteur de gabarit Template Toolkit, qui permet de structurer les données en JSON, CSV, SQL et autres formats, ainsi que d'appliquer le filtrage, le tri et l'agrégation des données à la volée.
Le scraper FreeAI::GoogleAI est idéal pour les tâches de veille concurrentielle, la collecte de faits et de citations, la création de bases de connaissances, la surveillance de l'actualité et l'analyse de thématiques, grâce à la haute qualité et au contexte des résultats fournis.
Données collectées
- Texte de la réponse
- Liens, ancres et snippets des sources de données
Possibilités
- Fonctionnement via un navigateur réel (Playwright) pour contourner la protection de Google
- Rotation automatique et bannissement des proxies bloqués
- Prise en charge du choix de la langue et du pays de recherche
Cas d'utilisation
- Collecte de réponses structurées par requêtes thématiques pour la création de bases de connaissances, de plans de contenu, de systèmes de référence et la génération de FAQ
- Extraction de liens vers les sources avec ancres et snippets - idéal pour construire des listes de ressources faisant autorité, pour les citations et la collecte de backlinks
- Surveillance des mentions de marques, de produits ou de personnes - avec lien vers le contexte et les sources
- Recherche et analyse d'avis d'experts, de tendances et d'insights provenant de sources faisant autorité
- Vérification rapide de l'actualité et de l'exhaustivité des informations sur des sujets clés
- Automatisation de l'analyse des concurrents : quelles ressources sont citées, quels sujets sont couverts et à quelle fréquence
- Soutien aux projets de recherche et d'analyse nécessitant l'agrégation d'informations précises provenant de différentes sources
- Toute autre tâche nécessitant d'obtenir rapidement des réponses courtes et précises avec confirmation par des sources réelles et un contexte logique
Requêtes
En tant que requêtes, il est nécessaire d'indiquer des requêtes de recherche, exactement comme si elles étaient saisies directement dans le formulaire de recherche Google AI mode, par exemple :
How to learn fast?
How to improve memory and concentration?
What is a parser?
Résultats
Ici et par la suite, les exemples de résultats sont abrégés pour une meilleure clarté
Par défaut, la réponse à la requête est affichée, par exemple :
A parser is a program that analyzes input data, typically text or code, and converts it into a structured format that a computer can understand and process.
Here's a breakdown of what a parser does:
Takes Input: Parsers receive input, which can be source code, data in a specific format (like XML or JSON), interactive commands, etc.
Breaks Down Input: The parser breaks the input into its constituent parts, such as keywords, operators, identifiers, and symbols, which are called tokens.
...
Variantes d'affichage des résultats
A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarit intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous une forme libre, ainsi que sous une forme structurée, par exemple CSV ou JSON.
Affichage de la réponse uniquement
Format du résultat :
$query
Answer: $p1.answer
Affichage de la réponse et des sources
Format du résultat :
$query
Answer: $p1.answer
Sources:
$p1.sources.format('$link, $anchor, $snippet\n')
Exemple de résultat :
What is a parser?
Answer: A parser is a program that analyzes input data, typically text or code...
Sources:
https://www.techtarget.com/searchapparchitecture/definition/parser, What is a Parser? - TechTarget, Jul 7, 2022 — What is a parser? In computer technology...
https://www.huntress.com/cybersecurity-101/topics/what-is-a-parser, What Is a Parser? - Huntress, May 27, 2025 — Ever wondered what happens behind the scenes...
Export des sources en CSV
Format du résultat :
[% FOREACH item IN p1.sources; tools.CSVline(loop.count, item.link, item.anchor, item.snippet); END %]
Exemple de résultat :
1,https://www.pcmag.com,"Best Windows Laptop for Most People: HP OmniBook 5 14 (OLED, 34-hour battery)..."
2,https://www.tomshardware.com,"MacBook Air (M5) The Best Laptop (and Mac) overall. Strong performance..."
3,https://au.pcmag.com,"Best Budget MacBook. Apple MacBook Neo. 4.5 Outstanding. Pros & Cons..."
Dans le nom du fichier de résultats, vous devez changer l'extension en .csv pour une ouverture correcte dans Excel et Google Sheets.
Paramètres possibles
| Nom du paramètre | Valeur par défaut | Description |
|---|---|---|
| Language (hl) | en | Choix de la langue des résultats (paramètre hl=) |
| Country (gl) | Auto (Based on IP) | Choix du pays d'où la recherche est effectuée (paramètre gl=) |
| Headless browser | ☐ | Lancement du navigateur en arrière-plan sans GUI. Il est recommandé de le laisser désactivé pour une meilleure compatibilité avec Google |
| Timeout (seconds) | 60 | Temps d'attente maximum pour une réponse de la page en secondes |
| Max browser pages | 10 | Nombre maximal de pages ouvertes simultanément dans le navigateur |
| Util::ReCaptcha2 preset | default | Présélection pour la résolution du captcha Google (page /sorry/). default — le captcha est désactivé, le proxy est simplement roté |