SE::Yandex::Suggest - Scraper de sugestões de pesquisa do Yandex
Visão geral do scraper
Scraper de sugestões de pesquisa por palavras-chave no Yandex. Graças ao scraper SE::Yandex::Suggest, você poderá coletar automaticamente bases de chaves a partir das sugestões do sistema de busca Yandex por consulta. Usando o scraper SE::Yandex::Suggest, é possível extrair de forma fácil e rápida as sugestões do Yandex por consulta com base na região.
O Scraper de sugestões do Yandex resolve uma das principais tarefas de SEO, ou seja, a obtenção automatizada rápida de um núcleo semântico expandido. As sugestões de pesquisa do Google permitem abranger o número máximo de frases e, em conjunto com o scraper de Palavras-Chave do Yandex - 
SE::Yandex::WordStat, você obterá a semântica mais completa possível, o que ajudará a atrair mais tráfego orgânico.
Graças ao processamento em múltiplas threads do A-Parser, a velocidade de processamento de consultas pode atingir 5700 consultas por minuto, o que permite obter em média de 17000-18000 resultados por minuto.
Você pode usar a multiplicação automática de consultas, a substituição de subconsultas a partir de arquivos, a permutação de combinações alfanuméricas e listas para obter a maior quantidade possível de resultados. Usando a filtragem de resultados, você pode limpar imediatamente o resultado, removendo todo o lixo desnecessário (utilizando palavras negativas).
A funcionalidade do A-Parser permite salvar as configurações de extração de dados do scraper SE::Yandex::Suggest para uso posterior (presets), definir cronogramas de extração de dados e muito mais.
A gravação dos resultados é possível no formato e estrutura que você necessita, graças ao poderoso motor de modelos integrado Template Toolkit, que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.
Dados coletados
- Quantidade de resultados por consulta
- Sugestões para a consulta
- Ao escolher o 2º método de consulta, também são coletados dados adicionais e o tipo de sugestões
Casos de uso
- Coleta de bases de palavras-chave
Consultas
Como consultas, é necessário indicar frases de pesquisa, por exemplo:
forex
escrever redação
redações online
comprar carro em Moscou
notícias
Substituições de consultas
Você pode usar macros integradas para substituição automática de subconsultas a partir de arquivos; por exemplo, queremos adicionar uma lista de outras palavras a cada consulta, indicaremos algumas consultas principais:
essay
article
thesis
No formato de consultas, indicaremos a macro de substituição de palavras adicionais do arquivo Keywords.txt; este método permite aumentar a variabilidade das consultas exponencialmente:
{subs:Keywords} $query
Este macro criará tantas consultas adicionais quantas estiverem no arquivo para cada consulta de pesquisa original, o que resultará em [quantidade de consultas originais(domínios)] x [quantidade de consultas no arquivo Keywords] = [quantidade total de consultas] como resultado da execução do macro.
Por exemplo, se o arquivo Keywords.txt contiver:
buy
cheap
No final, a macro de substituições transformará 3 consultas principais em 6:
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Exemplos de saída de resultados
O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados em forma livre, bem como estruturada, como CSV ou JSON
Exportação da lista de sugestões
Formato do resultado:
$results.format('$suggest\n')
Exemplo de resultado:
redações online grátis
encomenda de redações online
baixar redações online grátis
baixar redações online
fazer redações online
elaborar redações online
encontrar redações online
fazer redações online grátis
encomendar redações online
Exibição da consulta, quantidade de sugestões encontradas, sugestões por consulta
Formato do resultado:
$query - $totalcount:\n$results.format('$suggest\n')
Exemplo de resultado:
redações online - 10:
redações online
redações online grátis
encomenda de redações online
baixar redações online grátis
baixar redações online
fazer redações online
elaborar redações online
encontrar redações online
fazer redações online grátis
encomendar redações online
Exibição em tabela CSV
A utilidade integrada $tools.CSVLine permite criar documentos tabulares corretos, prontos para importação no Excel ou Google Planilhas.
Formato do resultado:
[% FOREACH i IN results;
tools.CSVline(i.suggest);
END %]
Nome do arquivo:
$datefile.format().csv
Texto inicial:
Sugestões
No Formato geral de resultados, aplica-se o motor de modelos Template Toolkit para exibir os elementos do array suggest de results em um loop FOREACH.
No nome do arquivo de resultados, basta alterar a extensão do arquivo para csv.
Para que a opção "Prepend text" esteja disponível no Editor de tarefas, é necessário ativar "More options". No "Prepend text", escrevemos os nomes das colunas separados por vírgula e deixamos a segunda linha vazia.
Concorrência de palavras-chave
Salvamento em formato SQL
Formato do resultado:
[% FOREACH results;
"INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "')\n";
END %]
Exemplo de resultado:
INSERT INTO serp VALUES('trabalhos acadêmicos online', 'trabalhos acadêmicos online')
INSERT INTO serp VALUES('trabalhos acadêmicos online', 'trabalhos acadêmicos online grátis')
INSERT INTO serp VALUES('trabalhos acadêmicos online', 'trabalhos acadêmicos online encomendar')
INSERT INTO serp VALUES('trabalhos acadêmicos online', 'trabalhos acadêmicos online baixar grátis')
INSERT INTO serp VALUES('trabalhos acadêmicos online', 'trabalhos acadêmicos online baixar')
INSERT INTO serp VALUES('trabalhos acadêmicos online', 'trabalhos acadêmicos online fazer')
INSERT INTO serp VALUES('trabalhos acadêmicos online', 'trabalhos acadêmicos online realizando')
INSERT INTO serp VALUES('trabalhos acadêmicos online', 'trabalhos acadêmicos online encontrar')
...
Dump de resultados em JSON
Formato geral do resultado:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.totalcount = p1.totalcount;
obj.suggests = [];
FOREACH item IN p1.serp;
obj.suggests.push(item.suggest);
END;
obj.json %]
Texto inicial:
[
Texto final:
]
Exemplo de resultado:
[{"suggests":["redações online","redações online grátis","encomenda de redações online","baixar redações online grátis","baixar redações online","fazer redações online","elaborar redações online","encontrar redações online","fazer redações online grátis","encomendar redações online"],"totalcount":10}]
Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de tarefas, é necessário ativar "More options".
Processamento de resultados
O A-Parser permite processar os resultados diretamente durante a extração de dados; nesta seção, apresentamos os casos mais populares para o scraper SE::Yandex::Suggest
Opção Extrair até o nível (Parse to level)
A opção instrui o scraper a inserir os resultados obtidos na fila de consultas em profundidade até o nível especificado, por exemplo:
- Se o 1º nível for especificado, o scraper adicionará às consultas todos os resultados obtidos a partir da consulta original
- Se o 2º nível for especificado, o scraper adicionará às consultas todos os resultados obtidos a partir da consulta original + todos os resultados obtidos pelas consultas do 1º nível
- e assim por diante.
Em termos simples, é a inserção dos resultados obtidos na fila de consultas, o que, por sua vez, permite extrair mais resultados. Como provavelmente haverá duplicatas nos resultados, para que o scraper não realize trabalho desnecessário (não extraia a mesma coisa), recomenda-se ativar a unicidade de consultas (Unique queries)
Baixar exemplo
Como importar o exemplo para o A-Parser
eJx1VFtv2jAU/iuVhdRVQggKfVjeKCrSJtZ0pX2YgAe3Pom8OrZnO6woyn/vsRPi
wLoXy+f2nct37Io4at/sgwELzpJkUxEd7iQhDDJaCkeGRFNjwXjzhqzvkuQXlQze
k2Rd5jlY79H5VsQdNGC02oMxnAEaOUM5U6agDrEbyD0VpXcbNBo7auxfLge2Ad1u
5eUVqXuA2nEl7REv1LSCPYiINhnX/y9AmOh4PZnWu92QtMmXIbevRk9Gbf+dcU33
8KR8B1xAVC9RuqdF6IFRB956bOJq5N49AmWM+6KpaDL4Ccasz5L/CTOQCn3xajjY
pVEFqhwEAK88HKvbkEGQCUKUIfZnE0OSjAoLQ2Kx1CXFQti5hTsw1CmTtkNMKqLk
XIgwwOgW8G9LLhjSPc8w6Fsb+LlL+g9G3bXXT4VU/DVYQ4cSpNv0R4xiaqXy4zAE
L7hD2S5UKT0xY1S+AehuZvferVAGujQtcpsdN1qD9LxHyuY6qk7aOKHlVPmqZMbz
tN2lo2cpn/DZpHKhCi3A9yVLIZAWC49xPea2pcELscDz4EVIcfLgnFLCfl83pWrD
cf1ufIEFTrKftYV8pUI8P676Fh9ondKpvDPmjL6wGGRbjmezsT+nN+E+690bfThn
1+F8uQgqCCcL50t0mn5t9TIwewHW0gPxlTnIFe4szq3edT9J999Un/4nSVXjRvy2
D423H5/3RR3yYJFufOr1Bxh5omw=
Filtragem de resultados (uso de palavras negativas)
Ao usar palavras negativas, é possível remover imediatamente os resultados que você não precisa. Da mesma forma, usando um filtro, é possível deixar apenas os resultados que contêm as palavras desejadas.
Baixar exemplo
Como importar o exemplo para o A-Parser
eJx1VN9vGjEM/leqCKmrVCEoIG33RlGRNrHSFfowAQ+BMyxrLrklOVbE7n+f44S7
g3UvUWx/tr/4R47McftqnwxYcJYliyPL6c4SlsKWF9KxW5ZzY8F484LNHpLkO1cp
vCXJrNjtwHpEhT0yd8gBvfUejBEpoFGkKG+1ybjD2CHknsvCw1pBY9vB/uG6ZUPQ
5VJd37CyETB3Qit7ikecJrAHWUfrdsr/E5CmBt51ew3kVkgH3hrZJYt488kiHba6
jbh5cDKgtEPGmx+N1yyLTr/f92fvI51r0mzovvlDQpeEAd07DWi4rwnUu2sY+rVD
z78mFAKzsXK1OpG2Y6qfr2jebcceVsYZ38Nch6dCrR6j9Mgz6kPKHXjrqRE3bffm
I/A0FT4flyGDn4I664sSv+jlSiMWr0aAHRudocoBBfDKw4ndgrVI9uUsyPdb8GHJ
lksLWG+kOuZIJL20CCw+d9pM4yAkR6bVUEoaghpG8e8LIVMc2eEWnT5Hx/ch039i
lNXzmqlwnH4b5FBFIel++rX2SvVE707FkCITDmU70oXyjemg8hUgr2r26GGZNlCl
iZFjdtzKHJSf3bplw7xWnT3jrC3nyo1WW7Gbxn04IQs1x9WfqpHOcgn+XaqQEtti
4bkej6GNbfBCTfDSeUQpzj4Np7W0X2aBam4Ejt/AE8ywks2sMeSGS/nyPGlavKN1
Op+qB2Mu2keDwRpLNGjsXnO56OzTPvXXV2GJ6EzrBY279ynqFXX2CqzlB+aZOdhp
nFmsW7mqfsPqzzy++ycmxxIn4qd9CmhfPo9FHfbB0gJ3y7/kMN7o
Veja também: Filtros de resultados
Configurações possíveis
| Nome do parâmetro | Valor padrão | Descrição |
|---|---|---|
| Region | Rússia | Seleção da região de onde a pesquisa é realizada |
| Request method | Method 1 | Método de consulta: Method 1 - método antigo, igual ao que era antes; Method 2 - novo método, permite coletar todas as sugestões estendidas (anúncios, fatos, links para sites) |