Vai al contenuto principale

Più scraper in un unico task

Funzionalità​

A-Parser supporta l'elaborazione delle query con più scraper contemporaneamente, il che consente di:

  • Eseguire lo scraping dei risultati di più motori di ricerca contemporaneamente
  • Analizzare i domini in base a molteplici parametri
  • Raccogliere simultaneamente parole chiave dai suggerimenti di diversi motori di ricerca e da Yandex Wordstat
  • Raccogliere informazioni Whois e DNS per i domini
  • Molte altre opzioni di applicazione

Aggiunta di uno scraper​

Per aggiungere un nuovo scraper è sufficiente cliccare sul pulsante Add Parser (Aggiungi scraper) nel Redattore delle attività:

Pulsante Aggiungi scraper nel redattore delle attività

Ogni scraper è numerato, i risultati per ogni scraper nel costruttore dei risultati e durante la formattazione dei risultati sono disponibili tramite abbreviazioni:

$p1, $p2... - dove il numero indica il numero dello scraper.

Nel formato generale del risultato per impostazione predefinita vengono visualizzati in sequenza i risultati di ogni scraper, nel formato specificato nelle impostazioni di ogni scraper

L'utilizzo di più scraper in un'unica attività aumenta la velocità complessiva di scraping poiché il numero di richieste simultanee a un singolo scraper diminuisce, riducendo di conseguenza la frequenza dei ban dei proxy o la visualizzazione dei captcha

Ogni scraper analizza la query originale o una sua variazione quando si utilizza il costruttore di query, e ha il proprio formato di query nelle impostazioni; tuttavia, non è possibile passare i risultati di uno scraper precedente come query per lo scraper successivo (questa funzionalità è prevista per il futuro)

Esempio di analisi dei domini​

Esempio di analisi dei domini

In questo esempio utilizziamo come query un elenco di domini che scadranno a breve (diventando nuovamente disponibili per la registrazione); siamo interessati a selezionare i domini con buoni parametri, per questo abbiamo utilizzato sei diversi scraper:

  • SE::GoogleSE::Google - query a Google nel formato site:$query, per scoprire il numero di pagine indicizzate
  • Rank::BingAnalyticsRank::BingAnalytics - per scoprire il ranking globale del dominio
  • SE::GoogleSE::Google - query a Google nel formato "$query", per scoprire il numero di menzioni del dominio
  • SE::Google::TrustCheckSE::Google::TrustCheck - per scoprire quanto Google si fida del sito
  • SE::Google::SafeBrowsingSE::Google::SafeBrowsing - per scoprire se il sito è contrassegnato come non sicuro
  • Rank::AhrefsRank::Ahrefs - per scoprire il numero di backlink che puntano al dominio tramite il servizio Ahrefs

Nel formato dei risultati visualizziamo la query originale (dominio) e i risultati di ogni scraper, nell'ordine desiderato:

$query, $p1.totalcount, $p2.globalRank, $p3.totalcount, $p4.trustrank, $p5.exists, $p6.bl\n
Scarica l'esempio

Come importare l'esempio in A-Parser

eJy1Vd1v2zYQ/1cMIg/bYKhxuvZBb47X7ANZ7dnOU1wEjHSSWVMkS1J2PCP/++5I
yrLTFOiADXrR8b5+v7vj8cA8dxs3s+DAO5bfH5gJ/yxnY8Xl/m8Y/KIbLpQbXGWX
bMgMtw4smd6zxYc8/1XrWgIqZrwGN5joVvlB62Aws/ppz4YH5vcGMJzegrWiJFNR
ovylBbuvtG24x6Mtly1ZOeEhvwg69vxpeM/mXG3y/FqoOuDxonBoXkLFW+kZWfwP
KFYsQlixCKJPkedL2zo/WUOxOcHxbxOsvTf5mzenRE9zLHgF11bvHNL+b7PEco7X
Fir3XZHvvJAPy9Yqhz/wkKajzzFW2BJufLHmmOHTkKEBRnQ3EUyeKjkcXJhR5rXn
sqDmkHyV1VI/ckmYSH77Qv9z5qnWNqnfZfAknHf0/z57lKuVYsd0C76FpcZ0lQhz
0KFA6SNvCOhFyT2QNot1+uHHzD8RE16WwguN0xUx02z3PO6U+BKIKo22xEWAu7G6
wSMPIUAg2PG9T4RxNFkbfP+KPiyvuHQwZA6h3nAEUr7U4Oxb7rWdGsKD5wem1VjK
W9iC7M1C/OtWyBIv4rhCp9+T4+sm069iPB/pnabCzu8sYjhGCdL19M/eq9S3uu6K
IUUjPMouXDc8pf2wATDHmn0ks0ZbOKZJkVN23DsGFI1Z37Kx6Y/OaJy15fyw0KoS
9TSNbmfZqiUut6ma6MZIIF6qlRLb4mDej8fYpTaQ0AN86TwJKRDW8cowr7V0fywi
VGMFjt87AthgJU+zppAFl/JufnuqIUfntZmqD9a+aF8YDMblVjjdZIVuVoo3Da9l
/C/WAmsT/7EQvNzFf5Ca21KrJDnP7b7mUfrcqoIWaJSkrrGBLukaTphsFJCLg1Ik
lRO1Es6kZG6jpeEqSbu1qCVXZZT2equtXycojDh7qDXeBuwI7p/u9Ti+N4fT7Y3S
6+sbFacLrtsp3WuktK/QA2dmROWfxG00Rzahhm+HrJapSRi+SMM6Ck3D8GGXAxaf
/YRHazIFwl6Gdw+l3W6X1QEi8aLGiwZ0i0HeXw7jgpx3Wa8eju9nPyjIxEQiCFBV
BnOhIy4PyyOROAhgDUWOktRYO7wzUcII+Ll4h0aETfkl38AiHoZ4uNs80RjRzVQb
ZzAe8iWql3HN/QY83pkuXTe6iM125YrWFhCZ8yVIvg/RS9iKAgItt8GR7fweuVJQ
FhK4ag1VhJCEPsWbeuxWPrjo13u3u1PVZty51Gp0l9QL9ozr5rXHPz+g4hsP8le6
s4c0aM8eQDzBo89uFseSNkBKgKskFnb0/A8Hayy4

⏩ Esempio video della creazione di un preset con più scraper​

In questo video tutorial viene esaminato il metodo per creare un preset per lo scraping di domini tematici basato su una parola chiave dai risultati di ricerca di Google e l'ottenimento di vari parametri per i domini.

Nella lezione viene trattato:

  • Scraping dei risultati di ricerca di Google
  • Output di risultati unici come domini principali
  • Ottenimento di parametri quali:
    • se il dominio è registrato o meno
    • data di registrazione e data di scadenza del dominio
    • lingua del sito
    • title e description
    • indice di qualità del sito
    • posizione nel ranking globale Alexa
    • paese con il maggior volume di traffico secondo Alexa
    • posizione nel ranking di quel paese secondo Alexa