SE::Google::Suggest - Scraper de sugestões de pesquisa do Google
Visão geral do scraper
Scraper de sugestões de pesquisa por palavras-chave no Google. Graças ao scraper SE::Google::Suggest, você poderá coletar automaticamente bases de chaves a partir das sugestões do sistema de busca Google por consulta. Usando o scraper SE::Google::Suggest, é possível extrair de forma fácil e rápida as sugestões do Google por consulta com base no país, idioma ou domínio selecionado.
O Scraper de sugestões do Google resolve uma das principais tarefas de SEO, especificamente a obtenção automatizada e rápida de um núcleo semântico expandido. As sugestões de pesquisa do Google permitem abranger o número máximo de frases e, em conjunto com o scraper de Palavras-Chave do Google - 
SE::Google::KeywordPlanner, você obterá uma semântica o mais completa possível, o que ajudará a atrair mais tráfego orgânico.
Graças ao processamento em múltiplas threads do A-Parser, a velocidade de processamento de consultas pode atingir 6000 consultas por minuto, o que em média permite obter até 45000-46000 resultados por minuto.
Você pode usar a multiplicação automática de consultas, a substituição de subconsultas a partir de arquivos, a combinação de caracteres alfanuméricos e listas para obter a maior quantidade possível de resultados. Utilizando a filtragem de resultados, você pode limpar imediatamente o resultado, removendo todo o lixo desnecessário (usando palavras-chave negativas).
A funcionalidade do A-Parser permite salvar as configurações de extração de dados do scraper SE::Google::Suggest para uso futuro (presets), definir cronogramas de extração e muito mais.
A preservação dos resultados é possível na forma e estrutura que você necessita, graças ao poderoso motor de modelos integrado Template Toolkit, que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.
Casos de uso do scraper
🔗 JS::Google::FromSnippets
Exemplo de trabalho em JS-scrapers com scrapers integrados
Dados coletados
- Número de resultados por consulta
- Sugestões para a consulta
- Tipo de sugestão (0 - humana, 1 - artificial)
Recursos
- Suporta a seleção do país de busca, domínio e idioma dos resultados
- Possibilidade de escolher a fonte a ser utilizada para coletar sugestões (opção Client)
- Possibilidade de remover tags HTML dos resultados da extração (opção Remove HTML tags)
Opções de uso
- Coleta de bases de palavras-chave
Consultas
Como consultas, é necessário indicar frases de pesquisa, por exemplo:
write essay
Football
Waterfall
Speak in english
Cats and dogs
forex
cheap essay
Substituições de consultas
Você pode usar macros integradas para a substituição automática de subconsultas a partir de arquivos; por exemplo, se quisermos adicionar uma lista de outras palavras a cada consulta, indicamos algumas consultas principais:
essay
article
thesis
No formato de consultas, indicaremos a macro de substituição de palavras adicionais do arquivo Keywords.txt; este método permite aumentar a variabilidade das consultas exponencialmente:
{subs:Keywords} $query
Esta macro criará tantas consultas adicionais quantas estiverem no arquivo para cada consulta de pesquisa original, o que resultará em [quantidade de consultas originais(domínios)] x [quantidade de consultas no arquivo Keywords] = [quantidade total de consultas] como resultado da execução da macro.
Por exemplo, se o arquivo Keywords.txt contiver:
buy
cheap
No final, a macro de substituições transformará 3 consultas principais em 6:
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Opções de exibição de resultados
O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados de forma arbitrária, bem como estruturada, como CSV ou JSON.
Exportação da lista de sugestões
Formato do resultado:
$results.format('$suggest\n')
Exemplo de resultado:
buy essays online
buy essay cheap
buy essay uk
buy essays online no plagiarism
buy essay papers
buy essay online reviews
buy essays reddit
buy essay friend
Exibição de consulta, sugestões por consulta + tipo de sugestão
Formato do resultado:
$query:\n$results.format('$suggest - $type\n')
Exemplo de resultado:
cheap essay:
cheap essay writing service - 1
cheap essay writing service uk - 1
cheap essay writing service canada - 1
cheap essay writing 24 - 1
cheap essays online - 1
cheap essay writing service reddit - 1
cheap essay writing service australia - 1
cheap essay writing service review - 1
buy essay:
buy essay online - 1
buy essay cheap - 1
buy essay uk - 1
buy essay papers - 1
buy essay online reviews - 1
buy essays reddit - 1
buy essay friend - 1
buy essay online uk - 1
Exibição em tabela CSV
A utilidade integrada $tools.CSVLine permite criar documentos de tabela corretos, prontos para importação no Excel ou Google Planilhas.
Formato geral do resultado:
[% FOREACH i IN p1.results;
tools.CSVline(i.suggest);
END %]
Nome do arquivo:
$datefile.format().csv
Texto inicial:
Sugestões
No Formato geral de resultados, aplica-se o motor de modelos Template Toolkit para exibir os elementos da matriz $results em um ciclo FOREACH.
No nome do arquivo de resultados, basta alterar a extensão do arquivo para csv.
Para que a opção "Prepend text" esteja disponível no Editor de tarefas, é necessário ativar "More options". No "Prepend text", escrevemos os nomes das colunas separados por vírgula e deixamos a segunda linha vazia.
Concorrência de palavras-chave
Da mesma forma que no SE::Google.
Salvamento em formato SQL
Formato do resultado:
[% FOREACH results; "INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "', '"; type _ "')\n"; END %]
Exemplo de resultado:
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service uk', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service canada', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing 24', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay online', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay cheap', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay uk', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay papers', '1')
...
Dump de resultados em JSON
Formato geral do resultado:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.totalcount = p1.totalcount;
obj.suggests = [];
FOREACH item IN p1.results;
obj.suggests.push(item.suggest);
END;
obj.json %]
Texto inicial:
[
Texto final:
]
Exemplo de resultado:
[{"suggests":["buy essay online","buy essay cheap","buy essay uk","buy essays online no plagiarism","buy essay papers","buy essay online reviews","buy essays reddit","buy essay friend"],"totalcount":8}]
Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de tarefas, é necessário ativar "More options".
Processamento de resultados
O A-Parser permite processar os resultados diretamente durante a extração; nesta seção, apresentamos os casos mais populares para o scraper SE::Google::Suggest.
Opção Extrair até o nível (Parse to level)
A opção instrui o scraper a inserir os resultados obtidos na fila de consultas em profundidade até o nível especificado, por exemplo:
- Se o 1º nível for especificado, o scraper adicionará às consultas todos os resultados obtidos da consulta original.
- Se o 2º nível for especificado, o scraper adicionará às consultas todos os resultados obtidos da consulta original + todos os resultados obtidos das consultas do 1º nível.
- e assim por diante.
Em palavras simples - é a inserção dos resultados obtidos na fila de consultas, o que por sua vez permite extrair mais resultados. Como provavelmente haverá duplicatas nos resultados, para que o scraper não faça trabalho desnecessário (não extraia a mesma coisa), recomenda-se ativar a desduplicação de consultas (Unique queries).
Baixar exemplo
Como importar um exemplo para o A-Parser
eJx9VE1v2zAM/SsGkcMGZEF72MW3NFiGDlmd1c0pyEGIaVerLHmSnDQw/N9HKo7t
bEFvpvj4+PFIN+CFe3Nriw69g3jbQBW+IYb0Wxx/N6ZQGMdpXRTofPQlWgvrMPIm
UnhAFeG7KCuFMIWKHZY5trdCCZFhLmpFXw34U4WUwlReGu3IJzMyA8WKeenlIFRN
mPu7doQ/oLUyw0tAZkoh9QCG4/E4K0Li2d6U8EFoMcoBm/Qj6OsYihra3W4KNCXq
xS2NLQVPa1Ldz7rR9c5UHPDFkDOXYUSXGLKeRMlsk0x4ZO8sD0SfPs/8OzOILJM8
G6HOGXiuQ9aNln9CNc5bqQvCk2kluqWlrmPwGEj48XSpcAuTYAPR1CH+1zkGYm9r
nIKjapeCasl6Ry6UI4/0aIU3Nunkihsweq5UkGqABfqHWqqM9mCeU9BjF3gbkvzH
0fYdjlORHEdLNfQswXpIfg5RmVmZghrXhtpWspSebLcwtWZt7ujxDbHqx/bEsNJY
7NN0zF12uocKNWs/qDavhqerNq6UuX7cG53LIun26YKs9QsdXaIXhk+H+9K1UqSK
w+dhQ+auk4GNocB/gxchBd/C5brAG6Pcj/RcamUlbeBXLrCkSY6zdpR7odTmeTX2
wLBRfFQ87gidEydguMfC0B5RM+2uv/v+F9LcvP64aUmm3259RnNPjKU3Go4jDejS
27/f2JZm
Filtragem de resultados (uso de palavras-chave negativas)
Usando palavras-chave negativas, é possível remover imediatamente os resultados que você não precisa. Da mesma forma, usando um filtro, você pode manter apenas os resultados que contêm as palavras desejadas.
Baixar exemplo
Como importar um exemplo para o A-Parser
eJx9VE1vGjEQ/SvIQkojpSgcetkbQaFqRUMa4EQ4WOywceO1tx4vFBH+e2e83g9a
xG1n5r2ZNx/ro/AS3/HZAYJHkayOogjfIhHzxyT5am2mIUnmZZYB+t7n3hKhlytT
Ym9vXYriThTSITgmry5xCJHCVpaavo7CHwqg3Lbwyhpmq5TMkGIKO9Dk2UldEmZ4
f+rgd+CcSqEmpDaXyrRgsd/vB1koPNjYXFyhZp0aYjm/Bn3rQsF0oVulPTgK07S4
tWQVv7gnjJ2v7yJuUZEcGOtz6TdvnbwO0lT5D6U1ZFJ/YCGNQgZUMyLENYlb6yhh
FNEm7Ucxgyr+6aYfNb2+mptbcVqva+U4CQjmFMNBXH4TnMsdLGzVL7TuCVlPMg+V
UumBo3Wp24H/wxkkt0UNSF1V4ANpqy6N+h2UonfKZIQn0ynAiaP1JcJDSMLOQ61w
JfrB5rmWgf+z4ojEuxJo7qR2IklL2gS2UiNFFC1Beutm8e6So7BmpHW4uRYW0j+U
Sqd00KMtkb5F4mXI7L8cp6bDbila2t6RhlpoMB5mP1pSaqc2o76Npa61ypUnG8e2
NLyae3K+AxTN1J4YllsHTZUoLxanH7oAwwfSLm1UtK6zLs4Wc+7cWLNV2SweXY0s
zYJejZkZ27zQwG2ZUmtaCsJLeyAjjFtgoxX4L3kcSvA/Xb8Swlur8fu8klo4RQf4
hQXmNMhu1ZhyI7Vevky7EdEeFD8OPO4eIMqDYLiHzNIZUTOndfN+NW/g8eIrlhxP
tKZf+FyhuSfGko+Gg+FHHZ7+As4s2Yc=
Veja também: Filtros de resultados
Configurações possíveis
| Nome do parâmetro | Valor padrão | Descrição |
|---|---|---|
| Client | Chrome omnibox | Escolha da fonte a ser utilizada para coletar sugestões (Search page / Chrome omnibox) |
| Follow suggests | Human | Escolha do tipo de sugestões que devem ser inseridas nas consultas ao usar Parser to level (All / Synthetic / Human) |
| Google domain | www.google.com | Escolha do domínio |
| Search from country | Global | Escolha do país de onde a busca é realizada |
| Interface language | English | Escolha do idioma da interface |
| Remove HTML tags | ☑ | Remoção de tags HTML |