SE::Yandex - Scraper de resultados de busca do Yandex

Visão geral do scraper

O scraper de resultados de busca do Yandex está legitimamente entre os 5 scrapers mais requisitados. Uma das principais vantagens competitivas do nosso scraper é sua produtividade colossal. Graças ao processamento em múltiplas threads do A-Parser, a velocidade de processamento de consultas pode atingir 3000-7000 consultas por minuto, o que permite obter, em média, até 5.000.000 de links por minuto, com um consumo mínimo de recursos; qualquer computador de escritório ou doméstico, bem como qualquer VDS de nível básico, é adequado para o trabalho. Nosso scraper suporta todos os operadores de busca do Yandex, o que permite expandir significativamente as possibilidades de extração de dados. A estabilidade e a continuidade da extração de dados dos resultados são garantidas pelo reconhecimento de captcha via AntiCaptcha ou qualquer outra API compatível (Anti-Captcha, RuCaptcha, CapMonster.cloud, 2captcha e outras).

A flexibilidade nas configurações permite especificar o tipo de resultado (móvel/desktop), região, idioma, ordenação dos resultados por data e muito mais. A funcionalidade do A-Parser permite salvar as configurações de extração de dados para uso futuro (presetes), definir agendamentos de extração de dados e muito mais. Você pode usar a multiplicação automática de consultas, substituição de subconsultas a partir de arquivos, combinação de caracteres alfanuméricos e listas para obter a maior quantidade possível de resultados.

A gravação dos resultados é possível na forma e estrutura que você necessita, graças ao poderoso motor de modelos integrado Template Toolkit, que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.

Ir para DEMOComprar A-Parser Pro ($299)

Casos de uso do scraper

🔗 Resultados do Yandex e número da posição

Obtemos os resultados do Yandex e o número da posição do resultado. O resultado é gravado em um arquivo csv.

🔗 Extração de dados da versão lite do Yandex

Este artigo analisa um exemplo de criação de um scraper para coletar informações da versão lite do buscador Yandex.

🔗 Extração de anúncios do Yandex

O modelo analisa o bloco de anúncios nos resultados de busca do Yandex e salva o resultado no formato json.

🔗 Avaliação de concorrência no Yandex

O modelo determina a concorrência no sistema de busca Yandex por palavras-chave.

🔗 Scraper de cache do Yandex

O modelo implementa a possibilidade de obter links para o cache do sistema de busca Yandex.

🔗 Extração apenas de snippets do Yandex

Este modelo aceita como parâmetro uma palavra ou frase para pesquisa no Yandex.

Dados coletados

• Quantidade de resultados por consulta
• Links, âncoras e snippets dos resultados
  • Também são coletadas informações sobre as flags de cada resultado; atualmente são suportadas as flags: Date, Image Preview, Video, Rich snippet, Featured snippet
• Tempo do primeiro e último cache (apenas para resultados desktop)
• Lista de palavras-chave relacionadas (Related keywords)
• Identifica se o Yandex considerou a consulta um erro de digitação ou não
• Extração de dados do link para o cache da página (apenas para resultados desktop)
• Lista de nomes de ícones do site, bem como seus tipos, se presentes (incluindo Turbo)
• Blocos de anúncios superior, médio e inferior de todas as páginas
  • Link, link visível, âncora, snippet e domínio
  • Links e âncoras adicionais
  • Estação de metrô
• Palavras omitidas (palavras que podem ser exibidas sob cada resultado com a nota "Não encontrado")
• Lista de respostas rápidas (Quick answers): perguntas, respostas, links para fontes (ativado por uma opção separada Parse Quick answers)
• Resposta de IA (Busca com Alice), seu tipo e lista de fontes

Recursos

• Escolha do tipo de resultado: móvel/desktop
• Suporte para todos os operadores de busca do Yandex (site:, lang:, etc.)
• Extrai o número máximo de resultados fornecidos pelo Yandex - 25 páginas com 50 elementos por resultado
• Possibilidade de buscar palavras-chave relacionadas
• Suporta a escolha da região de busca e domínio
• Possibilidade de ordenação dos resultados por data
• Extrai o tempo de indexação da página, com possibilidade de filtrar resultados por este parâmetro
• Opção de emulação de navegador (permite alcançar alta velocidade de extração de dados e baixo consumo de captchas)
• Possibilidade de contornar captcha usando o serviço AntiCaptcha ou qualquer outro que suporte sua API (recomenda-se ativar o parâmetro is_russian nas configurações do antigate)
• Possibilidade de definir a quantidade de respostas rápidas (Quick answers) que o scraper deve coletar, clicando em profundidade em cada pergunta

Com base no scraper Yandex, funcionam os seguintes scrapers:

• SE::Yandex::Position - verificação de posições de sites por palavras-chave no Yandex

Opções de uso

• Coleta de bases de links - para A-Poster, XRumer, AllSubmitter, etc.
• Avaliação da concorrência para palavras-chave
• Busca de backlinks (menções) de sites
• Verificação de indexação de sites
• Busca de sites vulneráveis
• Quaisquer outras opções que envolvam a extração de dados do Yandex de uma forma ou de outra

Consultas

Como consultas, é necessário indicar frases de busca, exatamente como se fossem digitadas diretamente no formulário de busca do Yandex, por exemplo:

janelas Moscou
lang:en windows Moscow
url:a-parser.com
site:a-parser.com
"a-parser.com"

Substituições de consultas

Você pode usar macros integrados para multiplicar consultas; por exemplo, se quisermos obter uma base muito grande de fóruns, indicaremos algumas consultas principais em diferentes idiomas:

forum
fórum
foro
论坛

No formato de consultas, indicaremos a permutação de caracteres de a até zzzz; este método permite rotacionar ao máximo os resultados de busca e obter muitos novos resultados únicos:

$query {az:a:zzzz}

Este macro criará 475254 consultas adicionais para cada consulta de busca inicial, o que resultará em um total de 4 x 475254 = 1901016 consultas de busca; um número impressionante, mas não é problema para o A-Parser. Com uma velocidade de 2000 consultas por minuto, tal tarefa será processada em apenas 16 horas.

Uso de operadores

Você pode usar operadores de busca no formato da consulta, de modo que ele será adicionado automaticamente a cada consulta da sua lista:

site:$query

Contas

Para o funcionamento do scraper SE::Yandex, podem ser necessárias contas do Yandex. As contas podem ser registradas usando o scraper SE::Yandex::Register ou simplesmente adicionando contas existentes ao arquivo files/SE-Yandex/accounts.txt no formato suportado.

Ou é possível ativar o registro de contas "on-the-fly".

Para trabalhar usando a autorização por sessão, é necessário que a string com os dados esteja neste formato: [email protected];MAQT78Z31Rinx4H;{"answer":"qmfhsxdcrk","proxy":"185.104.120.45:3128","session_id":"3:1748440908.5.0.1748440867459:ZXBxpg:47e4.1.2:1|2191075974.41.2.2:41.3:1748440908|3:10308131.797655.5pfkoRZWgLJGntKTlcUhYdysNfk"}

Opções de exibição de resultados

A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados em forma livre, bem como estruturada, por exemplo, CSV ou JSON

Exportação de lista de links

Formato do resultado:

$serp.format('$link\n')

Exemplo de resultado:

https://TestoMetrika.com/tests/
https://onlinetestpad.com/ru/tests
https://www.speedtest.net/
https://ustaliy.ru/testi/
https://yandex.ru/internet/
https://konstruktortestov.ru/popular
https://TestEdu.ru/test/
https://kto-chto-gde.ru/category/tests/
https://weekend.rambler.ru/tests/
https://GadalkinDom.ru/test
...

Links + âncoras + snippets com exibição de posição

Formato do resultado:

[% FOREACH item IN serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n"; END %]

Exemplo de resultado:

1 - http://forum.r-rp.ru/ - <b>forum</b>.r-rp.ru - 
2 - https://forum.arizona-rp.com/ - <div class=a11y-hidden>Resultado web com links adicionais</div><b>Fórum</b> – Arizona Role Play - Menu. Principal. <b>Fóruns</b>. Novas mensagens. O que há de novo? Novas mensagens. Usuários. Visitantes atuais. <b>Fóruns</b>. Entrar. ... Estatísticas do <b>fórum</b>. Tópicos. 1,247,176. Mensagens. 5,225,340. Usuários. 623,675. 
3 - https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC - <b>Fórum</b> — Wikipédia - <b>Fó́rum</b> (lat. <b>forum</b> — arq. antecâmara do túmulo; plataforma no lagar para as uvas a serem processadas; praça do mercado, mercado da cidade; praça central):
4 - https://zen.yandex.ru/media/propromotion/chto-takoe-forum-i-vse-chto-s-nim-sviazano-5d65164c1d656a00ad52ba30 - O que é um <b>fórum</b> e tudo o que está relacionado a ele | Criativa... - Hoje falaremos sobre o que é um <b>fórum</b> e sobre tudo o que está relacionado a ele com palavras simples e acessíveis. Cada um de nós busca encontrar uma pessoa com quem possa construir uma comunicação baseada em interesses comuns, compartilhar sua experiência, dar conselhos. No mundo moderno, tudo isso tornou-se possível sem sair de casa. Justamente uma das formas de tal contato virtual é o web-<b>fórum</b>. 
5 - https://forum.vimeworld.ru/ - VimeWorld - <b>Fórum</b> - <b>Fórum</b> do projeto de servidores de jogos ideais de Minecraft - VimeWorld...
...

Exibição de links, âncoras e snippets em tabela CSV

A utilidade integrada $tools.CSVLine permite criar documentos de tabela corretos, prontos para importação no Excel ou Google Planilhas.

Formato geral do resultado:

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.anchor, i.snippet); END  %]

Nome do arquivo:

$datefile.format().csv

Texto inicial:

Link,Âncora,Snippet

dica

No Formato geral de resultados aplica-se o motor de modelos Template Toolkit para exibir o array $serp no loop FOREACH.

No nome do arquivo de resultados, basta alterar a extensão do arquivo para csv.

Para que a opção "Texto inicial" esteja disponível no Editor de tarefas, é necessário ativar "Mais opções". No "Texto inicial", escrevemos os nomes das colunas separados por vírgula e deixamos a segunda linha vazia.

Exibição de blocos de anúncios

Formato do resultado:

$ads.format('$link - $anchor - $snippet\n')

Exemplo de resultado:

http://yabs.yandex.ru/count/WcOejI_zO3C2vH80P1zY-_ryBtnaD0K0CmCnZYWCO000000u109mhiMfd8qUW07CkUOvY07Kyz3GCP01vCcQhIwO0PgqhFigk06qZQ3m6C01NDW1gkAR5E01kAZK4-W1y06W0kYCvAl-Wue5-0Bmwl7WeSQurUK1c0FRc3lkh0Ju1Bpr48W5lFKGa0MxjssW1Qxa1QW5hkG5i0Mkv0Mu1OYr9S05eTt90SW5aFn4YkWqZwuhO8VP1W00012H0000gGVlTvJIyeiV0R07W82O3BW7W0Nn1tjIyvgFUtz-X8A0WSIqXdB92j4AXC7wM-4_u3nZJEzt003CKjw5aRa50DaBw0kyzRAxthu1gGn-j62AsN3cl-WCemBW3OE0W4293eDHIPs09kwAqTFvwFMAi8VO3WAX3zaFW13WszlG4DcTXo9ZI0HkD3-n4YxXl0bOc-q2u1E8jIMW58Yr9QWKkxTjl9wVx0Ne58m2q1Mydf_i1TWLmOhsxAEFlFnZyA0Mq92TW0R95l0_q1Qokzw-0O4N0F0_c1UwdvGKg1S9m1Uq0jWNm8GzcHYW60wm68UTi806q1WX-1Yf-9keZlxncYM06R3qkEBGlP6v890P0Q0PmWEm6RWP____0T8P4dbXOdDVSsLoTcLoBt8qEJSjCkWPWC83y1c0mWE16l__WxZFMxv27W2GPM2khLr2HGBSgKCU4fSjR_apLy29ToVZBSaX0K10aLK2xDc6HsxyWlx3mqOzRTCnV7G7IDvEXnY4YqauFXdHmHcIWrcJNGT1NfMC_8eB8q1m1-WEYbKFtWBTZHwcD4A80G00~1?from=yandex.ru%3Bsearch%26%23x2F%3B%3Bweb%3B%3B0%3B&amp;q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B&amp;etext=2202.wBaB7RlytlP_PRaU6jPhHD2nHBNT_4gSF6009OyJEfpWjUPoA5WrSJAqCfap0m9ReXhoaGRlaWhmYmllemF2ZA.f04b1271668949ea17ffcafcb11c72c2ab6454c5 - <b>Comprar</b> <b>passagem aérea</b> para / aviasales.ru - Nós oferecemos: <b>Comprar</b> <b>passagem aérea</b> para aqui. Super oferta! Apresse-se!
http://yabs.yandex.ru/count/WgGejI_zO5e2rHG092HY-_ryhkYFF0K0MWCnZYWCO000000u109mhDZpa8WGW07ZZm680U2f-wrQa07AywxRoe20W0AO0ShphjjAk06oWAxe8C01NDW1e8MobW7W0TJCXm_e0O01c0BImFq2e0BuQjW20l02g_w3YWNu0l3gyU2XnhZLvG600vF6eiSFY0FStR-O39W3cyKxYga3-0JJpWI81TFE1905Z-zGe0MPj06e1PMM0R05bPO1k0NInnJ01TF1ZG781PNz8uheD8-kAs27sGO0000GaG000Aa7xtUKqlAB7m6m1u20c0ou1u05yGTxKlEQZtj_VeI2l3M02W712l_aZtPQIU8_oGeJ5NRdMhxJFweB4E0yOqplTm00p5BUXP6v1G3P2-WBqyu4y0i6Y0ookzw-0QaCu_jL-Yu3zB_e3AC2u0s3W810YGwgO5HI9w3dYj7J-UZrYh27s0u2-0x7dPAe2Q4FFGhNet0zzZ_P3_0_W13GmC4Rm92GPpgqxC9xJZC_iHAuM7p6uhZj0k0JqiSKe1JInnIe58_lKB0KYw381hWKmAo0jQI04TWK-FpP_WNe58m2q1Nu_Dd-1TWLmOhsxAEFlFnZyA0Mq92TW0R95j0MihlUlW615vWNfwZz3wWN2S0Nj0BO5y24FPaOe1WAi1Z9fB201j0O8VWOgVYRg8x-yPebW1cmzBZYqBsHkI2G6G6W6S83i1cu6V___m7I6H9vOM9pNtDbSdPbSYzoD3atBJBe6O320_0PWC83WHh__oD2TTsApne0jsLWrgrT_2INXiZt8r8kcvWxe0SCE37tPBmjEYG0203ecjreFlD0AY-khXXjgcFZa190IXd9BOrkl3guMzzraExES_xHXH4WwWDq1xIoUlHJ6Y74~1?from=yandex.ru%3Bsearch%26%23x2F%3B%3Bweb%3B%3B0%3B&amp;q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B&amp;etext=2202.wBaB7RlytlP_PRaU6jPhHD2nHBNT_4gSF6009OyJEfpWjUPoA5WrSJAqCfap0m9ReXhoaGRlaWhmYmllemF2ZA.f04b1271668949ea17ffcafcb11c72c2ab6454c5 - <b>Comprar</b> <b>passagem aérea</b> online no Tutu.ru! Site oficial! - Passagens de avião por preço baixo! Voos vantajosos em todo o mundo! <b>Comprar</b> passagem online!
http://yabs.yandex.ru/count/WcOejI_zO3C2vH80P1zY-_ryBtnaD0K0CmCnZYWCO000000u109mhiMfd8qUW07CkUOvY07Kyz3GCP01vCcQhIwO0PgqhFigk06qZQ3m6C01NDW1gkAR5E01kAZK4-W1y06W0kYCvAl-Wue5-0Bmwl7WeSQurUK1c0FRc3lkh0Ju1Bpr48W5lFKGa0MxjssW1Qxa1QW5hkG5i0Mkv0Mu1OYr9S05eTt90SW5aFn4YkWqZwuhO8VP1W00012H0000gGVlTvJIyeiV0R07W82O3BW7W0Nn1tjIyvgFUtz-X8A0WSIqXdB92j4AXC7wM-4_u3nZJEzt003CKjw5aRa50DaBw0kyzRAxthu1gGn-j62AsN3cl-WCemBW3OE0W4293eDHIPs09kwAqTFvwFMAi8VO3WAX3zaFW13WszlG4DcTXo9ZI0HkD3-n4YxXl0bOc-q2u1E8jIMW58Yr9QWKkxTjl9wVx0Ne58m2q1Mydf_i1TWLmOhsxAEFlFnZyA0Mq92TW0R95l0_q1Qokzw-0O4N0F0_c1UwdvGKg1S9m1Uq0jWNm8GzcHYW60wm68UTi806q1WX-1Yf-9keZlxncYM06R3qkEBGlP6v890P0Q0PmWEm6RWP____0T8P4dbXOdDVSsLoTcLoBt8qEJSjCkWPWC83y1c0mWE16l__WxZFMxv27W2GPM2khLr2HGBSgKCU4fSjR_apLy29ToVZBSaX0K10aLK2xDc6HsxyWlx3mqOzRTCnV7G7IDvEXnY4YqauFXdHmHcIWrcJNGT1NfMC_8eB8q1m1-WEYbKFtWBTZHwcD4A80G00~1?from=yandex.ru%3Bsearch%26%23x2F%3B%3Bweb%3B%3B0%3B&amp;q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B&amp;etext=2202.wBaB7RlytlP_PRaU6jPhHD2nHBNT_4gSF6009OyJEfpWjUPoA5WrSJAqCfap0m9ReXhoaGRlaWhmYmllemF2ZA.f04b1271668949ea17ffcafcb11c72c2ab6454c5 - <b>Comprar</b> <b>passagem aérea</b> para / aviasales.ru - Nós oferecemos: <b>Comprar</b> <b>passagem aérea</b> para aqui. Super oferta! Apresse-se!
...

Salvamento de palavras-chave relacionadas

Formato do resultado:

$related.format('$key\n')

Exemplo de resultado:

<b>test</b> tanki online
tanki online
todos os <b>testes</b> ponto ru
i exam ru teste
<b>teste</b> de velocidade de internet
<b>tests</b>24.ru
speedtest
online <b>teste</b> de desempenho de pc
teste online
my <b>test</b> student como saber as respostas
...

dica

Para remover automaticamente as tags HTML no resultado, é necessário usar o Construtor de resultados, selecionar o array $related e aplicar Remove HTML tags.

Concorrência de palavras-chave

Formato do resultado:

$query - $totalcount\n

Exemplo de resultado:

todos os testes ponto ru - 25000000
teste online - 13000000
tanki online - 7000000
i exam ru teste - 27000000
tests24.ru - 238000000
teste online de desempenho de pc - 16000000
speedtest - 2000000
teste de velocidade de internet - 16000000
test tanki online - 19000000
my test student como saber as respostas - 16000000

Identificação de palavras-chave com erros

Formato do resultado:

$query - $misspell\n

Exemplo de resultado:

teste online - 0
teste de velocidade de internet - 0
teste onlain - 1
teste de velosidade de internet - 1

Verificação de indexação de links

Formato da consulta:

site:$query

Formato do resultado:

$query.orig - $totalcount\n

Exemplo de resultado:

https://a-parser.com/pages/buy - 2
https://a-parser.com/wiki/parsers - 16
https://trjkjfkdf.bg.ky - 0
https://a-parser.com/resources - 1000
https://a-parser.com/forum - 499

dica

Para verificar a indexação de links, inserimos no Formato da consulta o operador correspondente: site:.

O formato do resultado é exibido como "url original - quantidade de páginas no índice".

Como resultado, obtemos o endereço das páginas e sua quantidade no índice do buscador.

Se a página estiver ausente, o resultado será: 0.

Salvamento em formato SQL

Formato do resultado:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  anchor _ "')\n"; END  %]

Exemplo de resultado:

INSERT INTO serp VALUES('teste', 'https://konstruktortestov.ru/popular', 'Populares online <b>testes</b>')
INSERT INTO serp VALUES('teste', 'https://TestoMetrika.com/tests/', 'Online <b>testes</b> c com resultado preciso de psicológicos...')
INSERT INTO serp VALUES('teste', 'https://ustaliy.ru/testi/', '<b>Testes</b> online: melhores, interessantes e populares')
INSERT INTO serp VALUES('teste', 'https://www.SunHome.ru/tests/Interesting_tests', 'Interessantes <b>testes</b>. Fazer testes psicológicos interessantes...')
INSERT INTO serp VALUES('teste', 'https://onlinetestpad.com/ru/tests', '<b>Testes</b> online | Online Test Pad')
...

Dump de resultados em JSON

Formato geral do resultado:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.totalcount = p1.totalcount;
obj.links = [];

FOREACH item IN p1.serp;
    obj.links.push(item.link);
END;

obj.json %]

Texto inicial:

[

Texto final:

]

Exemplo de resultado:

[{"totalcount":113000000,"links":["https://TestoMetrika.com/tests/","https://konstruktortestov.ru/popular","https://ustaliy.ru/testi/","https://www.SunHome.ru/tests/Interesting_tests","https://GadalkinDom.ru/test","https://zen.yandex.ru/tes","https://onlinetestpad.com/ru/tests","https://kto-chto-gde.ru/category/tests/","https://psytests.org/top.html","https://MixTests.com/new/","https://TestEdu.ru/test/","https://testserver.pro/index","https://onedio.ru/tests","https://BankTestov.ru/","https://weekend.rambler.ru/tests/","https://edieta.org/testi","https://trikky.ru/?%21","https://BBF.ru/tests/","https://dropi.ru/c/tests/raznie","https://cadelta.ru/tests","https://www.Elle.ru/tests/","https://www.adme.ru/svoboda-psihologiya/polnyj-spisok-psihologicheskih-testov-dlya-poznaniya-sebya-kotorye-mozhno-projti-onlajn-2071715/","https://www.ellegirl.ru/tests/","https://test.tankionline.com/","https://vraki.net/onlajn-testy/","https://Lifehacker.ru/psixologicheskie-testy/","https://iq2u.ru/tests","https://www.b17.ru/tests/","https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D1%81%D1%82","https://gurutest.ru/test/","https://www.psychologies.ru/tests/","https://peopletalk.ru/category/tests/","https://obrazovaka.ru/testy","https://likeyou.io/category/test/","https://ProfTest.me/tests","https://TayniyMir.com/testy","https://psi-technology.net/psytest/","https://www.kp.ru/putevoditel/online-test/","https://tvoytest.ru/","https://twizz.ru/tests/","https://lunanews.net/testy/","https://www.ivi.ru/titr/tests","https://sntch.com/tests/","https://testy.online/","https://videouroki.net/tests/","https://www.speedtest.net/ru","https://rb.ru/tests/","https://aznaetelivy.ru/tests/","https://woman-psy.com/psihologicheskie-testy/testy_na_eruditsiyu_i_znaniya/interesnye_testy/","https://mamochka-club.com/psihologicheskie-testy/interesnye-testy/"]}]

dica

Para que as opções "Texto inicial" e "Texto final" estejam disponíveis no Editor de tarefas, é necessário ativar "Mais opções".

Processamento de resultados

A-Parser permite processar resultados diretamente durante a extração de dados; nesta seção, apresentamos os casos mais populares para o scraper Yandex

Desduplicação de links

Adicionar desduplicação e selecionar na lista suspensa $serp.$i.link - Link.

Baixar exemplo

Como importar um exemplo para o A-Parser

eJx9VE2P2jAQ/SurEYdWQqvQLpfcWFSqVnTZLuyhohy8ZIJcHNu1HQqK+O+dCUkc
ttVeoszze/NtVxCE3/tHhx6Dh3Rdga3/IYXlpzT9IXSGx5u51Ht/86zl7xJhCFY4
j47p6x6LDjLMRakCDCsIJ4vkxBzQOZmxSmZkW2eOJ4fBSfSEHYQqmTZKkgTOb8jE
Drem1CFqRm/QFedr0bEsKsZJT1K2xVC5nHK6BqrJEsBi2AwbxupC95Sx3kGLflbm
RShIgyvxvNm0XvzMuEJw8wZ2dNt0sjtcigOuDB3mUsXIfkbWgyg4yiATAfn0Nq8d
vXt/G47sQWSZDNJooS4RuPcxajOYFLQhLv1yd2fOFAQFrB0weGqzW8OgtmOV3y8a
SHOhPA7BU6ozQYlkr09kQCeCcQvL+RBegdETpeZ4QBVptf/7UqqMFmWSk+hLI/w/
ZfGPj3NXXj8UDfqPoxw6L7V1v/gWVZmZmx1Vnr3UwyxkINtP6+1JISFwj2i7nj1w
zwrjsAvTeG6i092wqHmr4sgmNkJXZVyN5RrcGp3L3aLZ1JZZ6hVdwIWemsIq5Lp0
qRSNxeNTXI+Jb8bARkzwtXhah+DS23sIwRjlvy4vqVonaf3GnGBBnexHbVxuhVLP
T/P+CcSVIuNnmdzdfeDvx3H9P7ogwNqAO0NbRZWdN90r0b0tVf+tSKszjeqXf7yQ
uC6mEEYN8jQHvuB/AYBymo0=

dica

Veja também: Desduplicação de resultados

Desduplicação de links por domínio

Adicionar desduplicação e selecionar na lista suspensa $serp.$i.link - Link. Selecionar tipo de desduplicação: Domínio.

Baixar exemplo

Como importar um exemplo para o A-Parser

eJx9VE2P2jAQ/SvI4tBKCIV2ueTG0lK1ost2YQ8V5WDIBLk4tms7FBTx33fGCXHY
VnuxPG/mzbddMc/dwT1acOAdS9cVM+HOUrb8nKY/ucrg1JsLdXC9ZyX+lNDbnnuf
dMGFYgNmuHVgibju2KMig5yX0rNBxfzZALrTR7BWZIBKkaFsrD6dLXgrwCF25LIk
s1GSJOzyBo3vYadL5SNn9Ia5pMwNWKJFxjjpUMpQFiqxcEo5XTOsySBAZLYZNBar
2jy71l6jX6TecslSb0u4bDZXL26mbcGpjX0zGjY9bZVLfoSVRmUuZIzsZig98IKi
9DPugbTDPDh6937oT+SBZ5nwQisu6wjU+xi1HhHylUZbvFJ3Z1YXCHkIDgg8X7Nb
s36QY5U/ag5Lcy4dDJjDVGccE8lea4QHy722C0P5IF4xrSZSzuEIMpoF//elkBku
yiRH0teG+H+TxT8+Lm153VA46L8Wc2i9BOl+8T2yMj3XexrZNgyzEB5lNw3bk7IE
wQOAaXv2QD0rtIU2TOO5iY6vxICirYojm5gI3ZRxM5ZbcKdVLvaLZlOvlqVa4VNc
qKkujASqS5VS4lgcPMX1mLhmDCTEBF+TpyEElX59h8xrLd23ZZ2qsQLXb0wJFtjJ
btTG5Y5L+fw072pYXCkUfpXJ3d0HOj+Ow31UI4y4HvYatworu2zaX6L9ZaruX5FW
FxzVb/dYG1FdZIIYNsjhHOiBvwAa7J3h

dica

Veja também: Desduplicação de resultados

Extração de domínios

Adicionar Construtor de resultados e selecionar a fonte na lista suspensa: $p1.serp.$i.link - Link. Selecionar tipo: Extract Domain.

Baixar exemplo

Como importar um exemplo para o A-Parser

eJx9VEtv2zAM/isFkcMGBIGzNRff0qwBNmRN17SHIetBi+lAiyxpkpwlMPzfR8qO
7XZDL4b5+Eh+fKiCIPzB3zv0GDyk2wps/IcUNrdp+l3oDE9Xt6fgxC5cfTKFkNrD
GKxwHh0jtgNHMmSYi1IFGFcQzhYpjjmiczJDMsqMZOvM6ewwOIkc6ShUyW7TJEmg
fgMm9rgzpQ49ZvqGu5L64C06hvWIWVI/P4+BKFKNfmlcIZjqyE4nLe/OuBFHfDRk
zKXCXr0k6U4UnHKUiYBsneQx0Lv3k3DiCCLLZJBGC9Vk4Db1WZ+0/B0Za0O+9MuN
WDpTkCpgDMDK86W6LYyiDBSijNhvDQbSXCiPY/BU6lJQIdlriwzoRDBubbke0ldg
9FypFR5R9W4x/k0pVUYznecE+twC/++y/idG3dEbpqKZ/HFUQxclSjfrrz0qMyuz
J+bZT+KtZCEDyX4RB51CQsoDou16dsc9K4zDLk0buc1Om2xR8wL0I5vbXvWCxoux
DJQVeFO6HeXbJuMt0KLbWJw+AG9Pu3HYHEVzEzx158SZ9K17MO0WQk2YndG53K/b
Jb1kLvUjnd9aL0xhFXKfdKkUjdnjQ79uc9+OlYWe8GvwIqbgVl5OkGowyn/ZNNSt
k1TSjAkXNJlh1jbkTij19LAaWqBfURJ+lMn19Qf+fpzF/2mjAcYG3BvaUmLGhNsH
ontZquEzkVY1jf6Xv2+cmBe7kI4a5GmufNt/AaiMmIc=

dica

Veja também: Construtor de resultados

Remoção de tags de âncoras e snippets

Adicionar Construtor de resultados e selecionar a fonte na lista suspensa: $p1.serp.$i.anchor - Anchor. Selecionar tipo: Remove HTML tags.

Adicionar novamente o Construtor de resultados e selecionar a fonte na lista suspensa: $p1.serp.$i.snippet - Snippet. Selecionar tipo: Remove HTML tags.

Baixar exemplo

Como importar um exemplo para o A-Parser

eJyVVN9v2jAQ/lcii4dNQihs5SVvFA11Ey0dtA8T64NHLszDsT3bYaCI/313jknS
rqq0lyi+u++7X59dM8/d3t1bcOAdyzY1M+GfZWz9Kcu+cZXDMVlBqQ+Q3DzcLhLP
dy4prC6Tqdr+1NYlGJOslTCGKIbMcOvAEtmmx4GOHApeSc+GNfMnA5gCSa0VOaBT
5Hg2Vh9PFrwVQEwHLisKG6dpys5vwPgOtrpSvsOM3wiXQu2dAUuwDjFJz09PQ4bd
Y41urm3JaQoDMx7FkbTONT/Ag0ZnISR05jme7nhJKQc590DeURGI3r0f+SMx8DwX
XmjFZZOBxtRlfVTid+hYaYzFXxrEHGeNJg+BgIynS3UbNghnhhRVwH5tMCwruHQw
ZA5LnXMsJH/pER4s99ouDdWD9pppNZVyAQeQXVjgv66EzHGn0wJBnyPw9ZDlPxzn
tr1+KtzJH4s1tCzhdL287VC5Xugddp7/wL6lKIXHs5uFRWcsReMewLQzu6OZldpC
myYyx+wocgOKBNCtbGo607M2nq2lZ6yZ05XdYr5NOtwwFLqhrYabwEg/UXM23Jgb
X0pyW8tPaIzRnqQTISTT1xhdc5/+i/KCOSNmq1Uhdsuo/Es7lXrA675UM10aCTR8
VUmJ2nGw6jQ8dVErdOim+BI8CyloP5d7jWVo6b6sm3kaK7CqyTAW3s8aKbdcysfV
ou9hne7x8L1Kr64+0PfjJPyPGwsjrIedRuljZ9RwfHXal6zuvz1ZfUY9/XL3TRD1
RSFowwE5FAs9GH8BhLW+Jg==

dica

O Construtor de resultados pode ser adicionado quantas vezes você precisar.

Veja também: Construtor de resultados

Filtragem de links por ocorrência

Adicionar filtro e selecionar na lista suspensa: $serp.$i.link - Link. Selecionar tipo: Contém string. Em seguida, em String deve-se escrever o critério de filtragem; por exemplo, se quisermos que apenas links que contenham .com, sejam salvos no resultado, escrevemos isso em "String".

Baixar exemplo

Como importar um exemplo para o A-Parser

eJx9VE2P2jAQ/SvI4tBKCMFhL7mxqEit6LJd2EOFOHjxJHJxbNd2KCjKf++ME+Kw
rfaW+Xhv3nw4NQvcn/yzAw/Bs2xfMxu/Wca2X7LsJ9cCLqOVVAGc1MXo7TryIX5J
PVJSn9iEWe48OELvByAMCMh5pQKb1CxcLSCnOYNzUgAGpUDbOnO5OkBG8Og7c1VR
2nw2m7HmAxgv4GgqHRJm/kE66fQWHMES4mE2gOSxQwxi9yQ52zPsyaIjNnmYdBm7
Nv1odOBSDyRPj6ZE09ggjUbbg/asORxujH5lXMlprmM7n3ZD7oNbfoadaXVAcuPc
4YmXxD8WPABFp3kk+vR5Gi7EwIWQVJOrtgLtIVV91fJ31KcN5uInTXrlUGvGAkQC
cl5v6vZsHG3quIrYHy2GZTlXHibMo9QVRyHifUTifHgwbhNngP6aGb1Qag1nUCkt
8j9WUgk8mkWOoK8d8P8pm384mr69YSlc+h+HGnqWaD1uvieUMGtTYOfiLS62lAFt
v4yXlLEZOk8Atp/ZE82sNA76Mh1zVx2fjQVNF5ZWtrDJddfG3VrunXhNuSw23dXe
Miu9w7e50UtTWgXUl66UwrV4eEnnsfDdGshIAt+Dl7EEtX57kywYo/y3bSvVOonn
90ACS5zksGpHeeRKvb6shxGWTiqekyfaI95pYfCCsIvm0P8d+l9MPfxHZHWDa/nl
n9sk6oFS0IfD8PElzZu/Z6ed/A==

dica

Veja também: Filtros de resultados

Configurações possíveis

nota

Configurações comuns para todos os scrapers

Nome do parâmetro	Valor padrão	Descrição
AntiGate preset	default	Escolha do presete Util::AntiGate, mais detalhes sobre a configuração aqui
AntiGate preset for old captcha	default	Semelhante ao AntiGate preset, mas usado apenas para captchas comuns (antigos, na forma de uma única imagem). Se um presete não for selecionado aqui, o presete selecionado em AntiGate preset será usado para esses captchas.
Experimental img captcha max count	5	Número máximo de tentativas repetidas de imagem de captcha por tentativa
Preffered captcha type	Click	Escolha do tipo preferido de captcha: Click ou Puzzle
Engine	HTTP (Fast, JavaScript Disabled)	Permite escolher o motor: HTTP (mais rápido, mas maior probabilidade de captchas) ou navegador (mais lento, mas menor probabilidade de captchas)
Device	Modern desktop computer (Windows 10, Chrome 84)	Escolha do tipo de resultado (Desktop computer / Mobile device)
Pages count	5	Número de páginas para extração de dados (de 1 a 25)
Sort serp by date	☐	Ordenação dos resultados por data
Serp time	All time	Período de busca
Yandex domain	www.yandex.ru	Domínio do Yandex para extração de dados; todos os domínios são suportados (.ru, .ua, .by, .kz, .com.tr, .com). A partir da versão 1.1.345, é selecionado automaticamente dependendo da região escolhida.
Region of serp (lr=)	Moscou	Escolha da região de pesquisa (parâmetro lr=)
Custom region ID		Possibilidade de especificar o id de uma região ausente no campo de seleção. Esta opção tem prioridade sobre a opção Region of serp (lr=). É obrigatório definir o domínio correspondente em Yandex domain.
Search sites from (rstr=)	Not set	Escolha da vinculação regional dos sites (parâmetro rstr=)
Language	Any	Idioma dos resultados da busca (Russian, English, Belorussian, French, German, Indonesian, Kazakh, Tatar, Turkish, Ukrainian)
Parse not found	☑	Determina se deve extrair dados dos resultados se zero resultados forem encontrados para a consulta pesquisada e resultados para outra consulta forem sugeridos
Not personalized	☐	Personalização da busca. Mais detalhes aqui
Filter pages	Moderate filter	Filtragem de resultados de conteúdo indesejado (Family search / Moderate filter / Do not filter)
Use Accounts	☐	Trabalho com contas existentes no arquivo files/SE-Yandex/accounts.txt. SE::Yandex::Register - Permite registrar contas no Yandex
Remove bad accounts	☑	Remoção de contas inválidas
Quick answers count	0	Número máximo de perguntas e respostas (Respostas rápidas) por cada consulta que o scraper deve coletar
Parse generative answer	☐	Se deve extrair dados da resposta generativa (isso adiciona uma subconsulta extra e, consequentemente, retarda o trabalho geral)
Accounts	Only from "accounts.txt"	Escolha do método de trabalho com contas: Always auto register - sempre registrar contas automaticamente "on-the-fly", requer a escolha de um presete configurado no parâmetro SE::Yandex::Register preset. Auto register if no more in \"accounts.txt\" - primeiro são usadas as contas existentes de accounts.txt e, se elas acabarem, é usado o registro automático "on-the-fly", para o qual deve-se escolher um presete configurado no parâmetro SE::Yandex::Register preset. Only from \"accounts.txt\" - usar apenas contas existentes de accounts.txt e, se elas acabarem, esperar o tempo definido (parâmetro Wait new accounts in "accounts.txt") pelo surgimento de novas. Only by session_id from \"accounts.txt\" - autorização por cookies.
Remove bad accounts	Always, except wrong login/password	Remoção automática de contas "ruins": Always - sempre remover. Always, except wrong login/password - remover sempre, exceto nos casos em que o Yandex informou que o login/senha estão incorretos. O fato é que o Yandex pode fornecer tal mensagem ao banir o IP para uma conta absolutamente funcional, portanto, opcionalmente, pode-se manter tais contas para reutilização. Never - nunca remover. Independentemente da opção escolhida, as contas não são removidas em caso de erros de proxy/navegador
Use sessions	☑	Uso de sessões
Wait new accounts in "accounts.txt"	0	Tempo de espera pelo surgimento de novas contas em accounts.txt
SE::Yandex::Register preset	default	Escolha do presete de configurações para SE::Yandex::Register
Force neuro	☐	Ativação forçada da resposta neural, semelhante à alternância manual entre "Busca" e "Busca com Alice"