Pular para o conteúdo principal

SE::Yandex::WordCraft - Scraper WordCraft. Seleção de consultas e análise de mercado

img

Visão geral do scraper​

Yandex WordCraft (Wordcraft) é parte do serviço Yandex Webmaster, com o qual você pode selecionar consultas-alvo para promoção e publicidade, considerando a popularidade e o ambiente competitivo. Estão disponíveis centenas de milhões de consultas únicas para análise. Demanda, impressões, cliques e posições são apresentados com uma média mensal baseada no ano anterior.

O scraper de consultas Yandex WordCraft suporta a multiplicação automática de consultas, garantindo que você obtenha o número máximo de resultados dos resultados da pesquisa.

A funcionalidade do A-Parser permite salvar configurações de extração de dados para uso futuro (presets), definir agendamentos de extração de dados e muito mais. Você pode usar a multiplicação automática de consultas, substituição de subconsultas de arquivos, combinação de caracteres alfanuméricos e listas para obter a maior quantidade possível de resultados ao realizar a extração de dados do Yandex Wordstat.

A preservação dos resultados é possível no formato e estrutura que você necessita, graças ao poderoso motor de modelos integrado Template Toolkit, que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo TXT, JSON, SQL e CSV.

Contas​

Para o funcionamento do scraper SE::Yandex::WordCraftSE::Yandex::WordCraft são necessárias contas do Yandex. As contas podem ser registradas usando o scraper SE::Yandex::RegisterSE::Yandex::Register ou simplesmente adicionando contas existentes ao arquivo files/SE-Yandex/accounts.txt no formato suportado.

Alternativamente, você pode ativar o registro de contas "on-the-fly".

Para trabalhar usando a autorização por sessão, é necessário que a linha com os dados esteja neste formato: [email protected];MAQT78Z31Rinx4H;{"answer":"qmfhsxdcrk","proxy":"185.104.120.45:3128","session_id":"3:1748440908.5.0.1748440867459:ZXBxpg:47e4.1.2:1|2191075974.41.2.2:41.3:1748440908|3:10308131.797655.5pfkoRZWgLJGntKTlcUhYdysNfk"}

Dados coletados​

  • Consultas de usuários (principais):
    • Consulta, competitividade, demanda, cliques
  • Consultas de usuários (adicionais):
    • Consulta, competitividade, demanda, cliques
  • Sites populares na busca do Yandex (sites):
    • Site, frequência de impressões, posição média
  • Sites populares na busca do Yandex (páginas):
    • URL, frequência de impressões, posição média, número de consultas, título

Casos de uso​

  • Avaliação da competitividade por palavra-chave (demanda, cliques)
  • Busca por novas palavras-chave de temas semelhantes
  • Coleta de grandes bases de palavras-chave de diferentes temas
  • Quaisquer outras opções que envolvam a extração de dados do Yandex Webmaster WordCraft de uma forma ou de outra

Consultas​

Como consultas, é necessário indicar palavras-chave, exatamente como se fossem digitadas diretamente no campo de busca do Wordcraft, por exemplo:

aspirador de pó
seo

Opções de exibição de resultados​

A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados em formato livre, bem como estruturado, como CSV ou JSON

Exibição padrão​

Exemplo de exibição da lista de consultas de usuários (principais). Formato do resultado:

User queries general: $uqg.format('$query,$compet,$demand,$clicks\n')

Lista resultante:

aspirador de pó,HIGH,33190,9248
aspirador de pó,HIGH,31204,8768
aspirador de pó,HIGH,14097,6082
...  
aspirador de pó,HIGH,791,656
nota

Para exibir resultados usando o Formato de resultado geral você deve especificar o número do scraper na tarefa - $p1. (parser 1) ou p1. se o modelo Template Toolkit. for usado. Por exemplo: 

User queries general: $p1.uqg.format('$query,$compet,$demand,$clicks\n')

Veja o que é o Formato de resultado geral em Editando o formato do resultado

Exibição em tabela CSV​

Exemplo de exibição da lista de consultas de usuários (principais) em uma tabela CSV. Formato do resultado:

[%  
    FOREACH uqg; 
        tools.CSVline(query,compet,demand,clicks); 
    END;
%]

Exemplo de exibição da lista de consultas de usuários (adicionais) em uma tabela CSV. Formato do resultado:

[%  
    FOREACH uqa; 
        tools.CSVline(query,compet,demand,clicks); 
    END;
%]

Exemplo de exibição da lista de sites populares na busca do Yandex (sites) em uma tabela CSV. Formato do resultado:

[%  
    FOREACH rs; 
        tools.CSVline(site,popul,position); 
    END;
%]

Exemplo de exibição da lista de sites populares na busca do Yandex (páginas) em uma tabela CSV. Formato do resultado:

[%  
    FOREACH rp; 
        tools.CSVline(url,popul,position,queries,title); 
    END
%]
dica

Veja também: Filtros de resultados

Opções​

  • Parse queries for Rivals pages - ao ativar esta opção, são coletadas consultas populares para cada um dos links em Rivals pages. Os dados coletados são gravados como um objeto JSON na variável $rp.$i.queries_json. A ativação desta opção aumenta significativamente o tempo de extração de dados, pois o scraper realiza muitas subconsultas adicionais.

Configurações possíveis​

nota

Configurações comuns para todos os scrapers

ParâmetroValor padrãoDescrição
AntiGate presetdefaultÉ necessário configurar previamente o scraper Util::AntiGateUtil::AntiGate - especificar sua chave de acesso e outros parâmetros, e então selecionar o preset criado aqui
AntiGate preset for LogindefaultPreset AntiGate para login. É necessário configurar previamente o scraper Util::AntiGateUtil::AntiGate com os parâmetros, e então selecionar o preset criado aqui
AccountsOnly from "accounts.txt"Escolha do método de trabalho com contas: Always auto register - sempre registrar contas automaticamente "on-the-fly", requer selecionar um preset configurado no parâmetro SE::Yandex::Register preset. Auto register if no more in \"accounts.txt\" - primeiro são usadas as contas existentes de accounts.txt e, se acabarem, é usado o registro automático "on-the-fly", para o qual deve-se selecionar um preset configurado no parâmetro SE::Yandex::Register preset. Only from \"accounts.txt\" - usar apenas contas existentes de accounts.txt e, se acabarem, aguardar o tempo definido (parâmetro Wait new accounts in "accounts.txt") pelo surgimento de novas. Only by session_id from \"accounts.txt\" - autorização por cookies.
Wait new accounts in "accounts.txt"0Tempo de espera pelo surgimento de novas contas em accounts.txt
Remove bad accountsAlways, except wrong login/passwordRemoção automática de contas "ruins": Always - sempre remover. Always, except wrong login/password - remover sempre, exceto quando o Yandex informar que o login/senha estão incorretos. O fato é que o Yandex pode retornar essa mensagem em caso de banimento de IP para uma conta perfeitamente funcional, portanto, opcionalmente, pode-se manter tais contas para reutilização. Never - nunca remover. Independentemente da opção escolhida, em caso de erros de proxy/navegador, as contas não são removidas
SE::Yandex::Register presetdefaultSeleção do preset de configurações para SE::Yandex::RegisterSE::Yandex::Register
Use sessions☑Uso de sessões
Do not reset session if authorization passed☑Não redefinir a sessão em caso de erros se o scraper já estiver autorizado
SE::Yandex::Register presetdefaultSeleção do preset de configurações para SE::Yandex::RegisterSE::Yandex::Register