FreeAI::GoogleAI - Scraper för Google AI mode
Översikt av scrapern
Scrapern Google AI mode är ett kraftfullt verktyg för att samla in strukturerad information från ett av de ledande AI-systemen, då AI mode drivs av Gemini från Google. Tack vare integrationen med Google AI mode får du inte bara listor med länkar, utan aktuella, sammanfattade och relevanta svar baserade på en enorm mängd källor, inklusive vetenskapliga artiklar, bloggar, forum och nyhetsportaler.
Scrapern Google AI mode stöder frågor på naturligt språk, inklusive förtydliganden, kontextuella frågor och nästlade konstruktioner. Bearbetningshastigheten når 800–1500 frågor per minut tack vare flertrådning. Beroende på konfiguration och använda förinställningar kan du få tiotusentals unika textfragment och hundratals länkar inom loppet av några minuter.
Resultaten kan sparas i valfritt format tack vare den kraftfulla mallhanteraren Template Toolkit, som gör det möjligt att strukturera data i JSON, CSV, SQL och andra format, samt tillämpa filtrering, sortering och aggregering av data i realtid.
Scrapern FreeAI::GoogleAI är idealisk för uppgifter inom konkurrensanalys, insamling av fakta och citat, skapande av kunskapsdatabaser, nyhetsövervakning och ämnesanalys, tack vare den höga kvaliteten och kontexten i de levererade resultaten.
För närvarande tillhandahåller Google endast tillgång till AI mode inom USA:s territorium, därför måste US-proxy användas för att scrapern ska fungera. Av samma anledning är resultaten endast på engelska.
Insamlade data
- Svarstext (i HTML-formatering)
- Länkar, ankare och snippets från datakällor
Funktioner
- I likhet med scrapern SE::Google stöds kringgående av JS-kontroll och arbete med reCAPTCHA
- Stöd för sessioner för stabilare och snabbare drift
Användningsfall
- Insamling av strukturerade svar på tematiska frågor för att skapa kunskapsdatabaser, innehållsplaner, referenssystem och generera FAQ
- Extrahering av länkar till källor med ankare och snippets - perfekt för att bygga listor över auktoritativa resurser, citering och insamling av bakåtlänkar
- Övervakning av omnämnanden av varumärken, produkter eller personer - kopplat till kontext och källor
- Sökning och analys av expertutlåtanden, trender och insikter från auktoritativa källor
- Snabb kontroll av aktualitet och fullständighet i information om nyckelämnen
- Automatisering av konkurrentanalys: vilka resurser citeras, vilka ämnen täcks och hur ofta
- Stöd för forsknings- och analysprojekt som kräver aggregering av exakt information från olika källor
- Alla andra uppgifter där det krävs att snabbt få korta, exakta svar med bekräftelse från verkliga källor och logisk kontext
Frågor
Som frågor ska sökfrågor anges, precis på samma sätt som om de skrevs in direkt i sökformuläret i Google AI mode, till exempel:
How to learn fast?
How to improve memory and concentration?
What is a parser?
Resultat
Här och i det följande är exempelresultaten förkortade för bättre tydlighet
Som standard visas svaret på frågan, till exempel:
A parser is a program that <b>analyzes input data, typically text or code, and converts it into a structured format that a computer can understand and process</b>.<br />
<b>Here's a breakdown of what a parser does:</b>
<ul>
<li><b>Takes Input:</b> Parsers receive input, which can be source code, data in a specific format (like XML or JSON), interactive commands, etc.</li>
<li><b>Breaks Down Input:</b> The parser breaks the input into its constituent parts, such as keywords, operators, identifiers, and symbols, which are called tokens.</li>
...
To improve memory and concentration, you can implement a combination of lifestyle changes and cognitive exercises.<br />
<b>Lifestyle Changes:</b>
<ul>
<li><b>Prioritize Sleep:</b> Adequate and quality sleep is crucial for memory consolidation and cognitive function. Aim for 7-9 hours of sleep each night and maintain a consistent sleep schedule.</li>
...
To learn fast and retain information effectively, focus on strategies that promote active engagement, optimize brain function, and utilize science-backed learning techniques.<br />
<b>1. Enhance Cognitive Function and Focus:</b>
<ul>
<li><b>Prioritize Sleep:</b> Quality sleep is crucial for memory consolidation and improved concentration. Aim for 7-9 hours of sleep per night for optimal results.</li>
...
Exempel på utdata
A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallhanteraren Template Toolkit, vilket gör det möjligt att visa resultat i valfri form, såväl som i strukturerad form, till exempel CSV eller JSON.
Export av länklista
Resultatformat:
$links.format('$link\n')
Exempel på resultat:
https://www.techtarget.com/searchapparchitecture/definition/parser
https://www.linkedin.com/advice/3/what-role-parser-programming-language-theory-bxxbe#:~:text=A%20parser%20in%20a%20compiler,the%20compilation%20process%20will%20stop.
https://www.huntress.com/cybersecurity-101/topics/what-is-a-parser
https://botpenguin.com/glossary/syntax-analysis
https://www.dremio.com/wiki/parsing/#:~:text=Parsing%2C%20also%20known%20as%20syntax,%2C%20processed%2C%20or%20analyzed%20effectively.
...
Utdata i CSV för länkar, ankare och snippets med deras positioner
Resultatformat:
[% FOREACH item IN links; tools.CSVline(loop.count, item.link, item.anchor, item.snippet); END %]
Exempel på resultat:
...
8,https://www.howtolearn.com/2021/01/9-science-backed-ways-to-learn-anything-faster/,"9 Science Backed Ways to Learn Anything Faster - HowToLearn.com","Jan 4, 2021 — Table of Contents * Break Your Learning into Manageable Portions. * Review What You're Learning Frequently. * Use Mindmaps to Summarize Information. * Take Note..."
9,https://www.linkedin.com/pulse/how-slow-learners-easily-speed-up-learning-sathya-molagoda,"How Slow Learners Easily Speed Up Learning - LinkedIn","Dec 24, 2022 — How Slow Learners Easily Speed Up Learning * Introduction. If you are a slow learner, don't worry. You can easily speed up your learning by using some tips and ..."
10,https://www.linkedin.com/pulse/5-science-backed-learning-techniques-save-time-supercharge-k-c-barr-ljqee,"5 Science-Backed Learning Techniques That Save Time and ...","Jan 16, 2025 — Offsetting forgetting is like patching those holes to retain as much water as possible. * 5 Actionable Steps: Review new material within 24 hours of learning it..."
1,https://www.huntress.com/cybersecurity-101/topics/what-is-a-parser,"What Is a Parser? A Beginner-Friendly Guide to ... - Huntress","May 27, 2025 — What's a Parser (And Why Should You Care)? ... Ever wondered what happens behind the scenes when computers process text, code, or data? That's where parsers com..."
2,https://www.huntress.com/cybersecurity-101/topics/what-is-a-parser,"What Is a Parser? A Beginner-Friendly Guide to ... - Huntress","May 27, 2025 — What's a Parser (And Why Should You Care)? ... Ever wondered what happens behind the scenes when computers process text, code, or data? That's where parsers com..."
3,"https://www.techtarget.com/searchapparchitecture/definition/parser#:~:text=In%20computer%20technology%2C%20a%20parser,necessary%20input%20has%20been%20provided.","What is a Parser? Definition, Types and Examples - TechTarget","Jul 7, 2022 — What is a parser? In computer technology, a parser is a program that's usually part of a compiler. It receives input in the form of sequential source program in..."
I Allmänt resultatformat används mallhanteraren Template Toolkit för att skriva ut arrayen $links i en FOREACH-loop.
I resultatfilens namn behöver du bara ändra filändelsen till csv.
Möjliga inställningar
| Namn på parameter | Standardvärde | Beskrivning |
|---|---|---|
| Results language | Auto (Based on IP) | Val av språk för resultaten (parameter lr=) |
| Search from country | Auto (Based on IP) | Val av land varifrån sökningen utförs (geoberoende sökning, parameter gl=) |
| Location (city) | Sökning efter stad, region. Städer kan anges i formen novosibirsk, russia; en fullständig lista över platser finns i Geotargets (kopia - använd värdet från kolumnen Canonical Name). Det är också nödvändigt att ställa in korrekt Google-domän | |
| Util::ReCaptcha2 preset | default | Avgör om  Util::ReCaptcha2 ska användas för att kringgå reCAPTCHA |
| Util::AntiGate preset | default | Avgör om  Util::AntiGate ska användas för att kringgå grafiska captchas |
| ReCaptcha2 retries | 3 | Antal försök att skicka svar för reCAPTCHA det angivna antalet gånger utan att byta proxy |
| ReCaptcha2 pass proxy | ☐ | Tillåter att skicka proxy (som används i anropet till Google) och cookies (som erhållits i svaret från Google) till tjänsten för reCAPTCHA-igenkänning |
| Use sessions | ☑ | Sparar bra sessioner, vilket gör det möjligt att skrapa ännu snabbare med färre fel. |
| Don't take session | ☐ | Möjlighet att inte använda sparade bra sessioner |
| Additional headers | Tillåter att ange valfria egna headers | |
| Redirect browser max pages | 10 | Antal webbläsarsidor som används för att kringgå skydd i form av kontroll av aktiverat JavaScript |