FreeAI::GoogleAI - Scraper do modo Google AI
Visão geral do scraper
O scraper Google AI mode é uma ferramenta poderosa para coletar informações estruturadas de um dos principais sistemas de IA, pois o AI mode funciona com base no Gemini do Google. Graças à integração com o Google AI mode, você obtém não apenas listas de links, mas respostas atuais, concisas e relevantes, baseadas em uma vasta quantidade de fontes, incluindo artigos científicos, blogs, fóruns e portais de notícias.
O scraper Google AI mode suporta consultas em linguagem natural, incluindo refinamentos, perguntas contextuais e construções aninhadas. A velocidade de processamento atinge 800–1500 consultas por minuto graças ao modo de processamento em múltiplas threads. Dependendo da configuração e dos modelos utilizados, você pode obter dezenas de milhares de fragmentos de texto exclusivos e centenas de links em poucos minutos.
Os resultados da extração podem ser salvos em qualquer formato necessário graças ao poderoso motor de modelos Template Toolkit, que permite estruturar dados em JSON, CSV, SQL e outros formatos, além de aplicar filtragem, ordenação e agregação de dados em tempo real.
O scraper FreeAI::GoogleAI é ideal para tarefas de inteligência competitiva, coleta de fatos e citações, criação de bases de conhecimento, monitoramento de notícias e análise de tópicos, devido à alta qualidade e contextualização dos resultados fornecidos.
Atualmente, o Google fornece acesso ao AI mode apenas no território dos EUA, portanto, para o funcionamento do scraper, é necessário usar proxy US. Além disso, pelo mesmo motivo, os resultados são apenas em inglês.
Dados coletados
- Texto da resposta (em formatação HTML)
- Links, âncoras e snippets das fontes de dados
Recursos
- Semelhante ao scraper SE::Google, suporta o contorno de verificação de JS e trabalho com reCAPTCHA
- Suporte a sessões para um funcionamento mais estável e rápido
Casos de uso
- Coleta de respostas estruturadas para consultas temáticas para criação de bases de conhecimento, planos de conteúdo, sistemas de referência e geração de FAQ
- Extração de links para fontes com âncoras e snippets - ideal para construção de listas de recursos de autoridade, citações e coleta de backlinks
- Monitoramento de menções a marcas, produtos ou pessoas - com vínculo ao contexto e às fontes
- Busca e análise de opiniões de especialistas, tendências e insights de fontes de autoridade
- Verificação rápida da atualidade e completude da informação sobre temas-chave
- Automação da análise de concorrentes: quais recursos são citados, quais temas são abordados e com que frequência
- Suporte a projetos de pesquisa e analíticos que exigem a agregação de informações precisas de diferentes fontes
- Quaisquer outras tarefas onde seja necessário obter rapidamente respostas curtas e precisas com confirmação de fontes reais e contexto lógico
Consultas
Como consultas, é necessário indicar termos de pesquisa, exatamente como se fossem digitados diretamente no formulário de busca do Google AI mode, por exemplo:
How to learn fast?
How to improve memory and concentration?
What is a parser?
Resultados
Aqui e adiante, os exemplos de resultados foram abreviados para melhor clareza
Por padrão, é exibida a resposta à consulta, por exemplo:
A parser is a program that <b>analyzes input data, typically text or code, and converts it into a structured format that a computer can understand and process</b>.<br />
<b>Here's a breakdown of what a parser does:</b>
<ul>
<li><b>Takes Input:</b> Parsers receive input, which can be source code, data in a specific format (like XML or JSON), interactive commands, etc.</li>
<li><b>Breaks Down Input:</b> The parser breaks the input into its constituent parts, such as keywords, operators, identifiers, and symbols, which are called tokens.</li>
...
To improve memory and concentration, you can implement a combination of lifestyle changes and cognitive exercises.<br />
<b>Lifestyle Changes:</b>
<ul>
<li><b>Prioritize Sleep:</b> Adequate and quality sleep is crucial for memory consolidation and cognitive function. Aim for 7-9 hours of sleep each night and maintain a consistent sleep schedule.</li>
...
To learn fast and retain information effectively, focus on strategies that promote active engagement, optimize brain function, and utilize science-backed learning techniques.<br />
<b>1. Enhance Cognitive Function and Focus:</b>
<ul>
<li><b>Prioritize Sleep:</b> Quality sleep is crucial for memory consolidation and improved concentration. Aim for 7-9 hours of sleep per night for optimal results.</li>
...
Opções de exibição de resultados
O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados em forma livre, bem como estruturada, por exemplo CSV ou JSON.
Exportação de lista de links
Formato do resultado:
$links.format('$link\n')
Exemplo de resultado:
https://www.techtarget.com/searchapparchitecture/definition/parser
https://www.linkedin.com/advice/3/what-role-parser-programming-language-theory-bxxbe#:~:text=A%20parser%20in%20a%20compiler,the%20compilation%20process%20will%20stop.
https://www.huntress.com/cybersecurity-101/topics/what-is-a-parser
https://botpenguin.com/glossary/syntax-analysis
https://www.dremio.com/wiki/parsing/#:~:text=Parsing%2C%20also%20known%20as%20syntax,%2C%20processed%2C%20or%20analyzed%20effectively.
...
Exibição em CSV de links, âncoras e snippets com suas posições
Formato do resultado:
[% FOREACH item IN links; tools.CSVline(loop.count, item.link, item.anchor, item.snippet); END %]
Exemplo de resultado:
...
8,https://www.howtolearn.com/2021/01/9-science-backed-ways-to-learn-anything-faster/,"9 Science Backed Ways to Learn Anything Faster - HowToLearn.com","Jan 4, 2021 — Table of Contents * Break Your Learning into Manageable Portions. * Review What You're Learning Frequently. * Use Mindmaps to Summarize Information. * Take Note..."
9,https://www.linkedin.com/pulse/how-slow-learners-easily-speed-up-learning-sathya-molagoda,"How Slow Learners Easily Speed Up Learning - LinkedIn","Dec 24, 2022 — How Slow Learners Easily Speed Up Learning * Introduction. If you are a slow learner, don't worry. You can easily speed up your learning by using some tips and ..."
10,https://www.linkedin.com/pulse/5-science-backed-learning-techniques-save-time-supercharge-k-c-barr-ljqee,"5 Science-Backed Learning Techniques That Save Time and ...","Jan 16, 2025 — Offsetting forgetting is like patching those holes to retain as much water as possible. * 5 Actionable Steps: Review new material within 24 hours of learning it..."
1,https://www.huntress.com/cybersecurity-101/topics/what-is-a-parser,"What Is a Parser? A Beginner-Friendly Guide to ... - Huntress","May 27, 2025 — What's a Parser (And Why Should You Care)? ... Ever wondered what happens behind the scenes when computers process text, code, or data? That's where parsers com..."
2,https://www.huntress.com/cybersecurity-101/topics/what-is-a-parser,"What Is a Parser? A Beginner-Friendly Guide to ... - Huntress","May 27, 2025 — What's a Parser (And Why Should You Care)? ... Ever wondered what happens behind the scenes when computers process text, code, or data? That's where parsers com..."
3,"https://www.techtarget.com/searchapparchitecture/definition/parser#:~:text=In%20computer%20technology%2C%20a%20parser,necessary%20input%20has%20been%20provided.","What is a Parser? Definition, Types and Examples - TechTarget","Jul 7, 2022 — What is a parser? In computer technology, a parser is a program that's usually part of a compiler. It receives input in the form of sequential source program in..."
No Formato geral de resultados é aplicado o motor de modelos Template Toolkit para exibir o array $links em um loop FOREACH.
No nome do arquivo de resultados, basta alterar a extensão do arquivo para csv.
Configurações possíveis
| Nome do parâmetro | Valor padrão | Descrição |
|---|---|---|
| Results language | Auto (Based on IP) | Escolha do idioma dos resultados (parâmetro lr=) |
| Search from country | Auto (Based on IP) | Escolha do país de onde a pesquisa é realizada (pesquisa geo-dependente, parâmetro gl=) |
| Location (city) | Pesquisa por cidade, região. Pode-se indicar cidades como novosibirsk, russia; a lista completa de locais pode ser encontrada em Geotargets (cópia - deve-se usar o valor da coluna Canonical Name). Também é necessário definir o domínio correto do Google | |
| Util::ReCaptcha2 preset | default | Define se deve usar  Util::ReCaptcha2 para contornar reCAPTCHAs |
| Util::AntiGate preset | default | Define se deve usar  Util::AntiGate para contornar captchas gráficos |
| ReCaptcha2 retries | 3 | Número de tentativas de envio de resposta de reCAPTCHA o número de vezes indicado, sem trocar o proxy |
| ReCaptcha2 pass proxy | ☐ | Permite passar o proxy (usado na consulta ao Google) e cookies (recebidos na resposta do Google) para o serviço de reconhecimento de ReCaptcha |
| Use sessions | ☑ | Salva sessões boas, o que permite extrair dados ainda mais rápido, obtendo um menor número de erros. |
| Don't take session | ☐ | Possibilidade de não usar sessões boas salvas |
| Additional headers | Permite especificar quaisquer cabeçalhos próprios | |
| Redirect browser max pages | 10 | Número de páginas do navegador usadas para contornar a proteção na forma de verificação de JavaScript ativado |