Hoppa till huvudinnehåll

Flera scrapers i en uppgift

Möjligheter​

A-Parser stöder bearbetning av frågor med flera scrapers samtidigt, vilket gör det möjligt att:

  • Skrapa sökresultat från flera sökmotorer samtidigt
  • Analysera domäner utifrån ett flertal parametrar
  • Samtidigt samla in sökord från förslag (suggestions) i olika sökmotorer och Yandex Wordstat
  • Samla in Whois- och DNS-information för domäner
  • Många andra användningsområden

Lägga till en scraper​

För att lägga till en ny scraper räcker det med att klicka på knappen Add Parser (Lägg till scraper) i Task Editor:

Knappen Lägg till scraper i Task Editor

Varje scraper är numrerad, och resultaten för varje scraper i resultatbyggaren och vid resultatformatering är tillgängliga via förkortningar:

$p1, $p2... - där siffran anger scraperns nummer.

I det allmänna resultatformatet visas som standard resultaten för varje scraper sekventiellt, i det format som anges i inställningarna för varje scraper

Användning av flera scrapers i en uppgift ökar den totala hastigheten för dataskrapning eftersom antalet samtidiga förfrågningar till en enskild scraper minskar, vilket gör att proxyblockeringar eller captchas uppstår mer sällan

Varje scraper skrapar den ursprungliga frågan eller dess variation vid användning av frågebyggaren, och har sitt eget frågeformat i inställningarna. Det är dock inte möjligt att skicka resultaten från en tidigare scraper som frågor till en annan scraper (denna funktion är planerad för framtiden)

Exempel på domänanalys​

Exempel på domänanalys

I detta exempel använder vi en lista över domäner som snart löper ut (blir tillgängliga för registrering igen) som frågor. Vi är intresserade av att välja domäner med bra parametrar, och för detta använde vi sex olika scrapers:

  • SE::GoogleSE::Google - sökning i Google i formatet site:$query, tar reda på antalet indexerade sidor
  • Rank::BingAnalyticsRank::BingAnalytics - tar reda på domänens globala ranking
  • SE::GoogleSE::Google - sökning i Google i formatet "$query", tar reda på antalet omnämnanden av domänen
  • SE::Google::TrustCheckSE::Google::TrustCheck - tar reda på hur mycket Google litar på webbplatsen
  • SE::Google::SafeBrowsingSE::Google::SafeBrowsing - tar reda på om webbplatsen är markerad som osäker
  • Rank::AhrefsRank::Ahrefs - tar reda på antalet bakåtlänkar som leder till domänen via tjänsten Ahrefs

I resultatformatet skriver vi ut den ursprungliga frågan (domänen) och resultaten från varje scraper i den ordning vi önskar:

$query, $p1.totalcount, $p2.globalRank, $p3.totalcount, $p4.trustrank, $p5.exists, $p6.bl\n
Ladda ner exempel

Hur man importerar ett exempel till A-Parser

eJy1Vd1v2zYQ/1cMIg/bYKhxuvZBb47X7ANZ7dnOU1wEjHSSWVMkS1J2PCP/++5I
yrLTFOiADXrR8b5+v7vj8cA8dxs3s+DAO5bfH5gJ/yxnY8Xl/m8Y/KIbLpQbXGWX
bMgMtw4smd6zxYc8/1XrWgIqZrwGN5joVvlB62Aws/ppz4YH5vcGMJzegrWiJFNR
ovylBbuvtG24x6Mtly1ZOeEhvwg69vxpeM/mXG3y/FqoOuDxonBoXkLFW+kZWfwP
KFYsQlixCKJPkedL2zo/WUOxOcHxbxOsvTf5mzenRE9zLHgF11bvHNL+b7PEco7X
Fir3XZHvvJAPy9Yqhz/wkKajzzFW2BJufLHmmOHTkKEBRnQ3EUyeKjkcXJhR5rXn
sqDmkHyV1VI/ckmYSH77Qv9z5qnWNqnfZfAknHf0/z57lKuVYsd0C76FpcZ0lQhz
0KFA6SNvCOhFyT2QNot1+uHHzD8RE16WwguN0xUx02z3PO6U+BKIKo22xEWAu7G6
wSMPIUAg2PG9T4RxNFkbfP+KPiyvuHQwZA6h3nAEUr7U4Oxb7rWdGsKD5wem1VjK
W9iC7M1C/OtWyBIv4rhCp9+T4+sm069iPB/pnabCzu8sYjhGCdL19M/eq9S3uu6K
IUUjPMouXDc8pf2wATDHmn0ks0ZbOKZJkVN23DsGFI1Z37Kx6Y/OaJy15fyw0KoS
9TSNbmfZqiUut6ma6MZIIF6qlRLb4mDej8fYpTaQ0AN86TwJKRDW8cowr7V0fywi
VGMFjt87AthgJU+zppAFl/JufnuqIUfntZmqD9a+aF8YDMblVjjdZIVuVoo3Da9l
/C/WAmsT/7EQvNzFf5Ca21KrJDnP7b7mUfrcqoIWaJSkrrGBLukaTphsFJCLg1Ik
lRO1Es6kZG6jpeEqSbu1qCVXZZT2equtXycojDh7qDXeBuwI7p/u9Ti+N4fT7Y3S
6+sbFacLrtsp3WuktK/QA2dmROWfxG00Rzahhm+HrJapSRi+SMM6Ck3D8GGXAxaf
/YRHazIFwl6Gdw+l3W6X1QEi8aLGiwZ0i0HeXw7jgpx3Wa8eju9nPyjIxEQiCFBV
BnOhIy4PyyOROAhgDUWOktRYO7wzUcII+Ll4h0aETfkl38AiHoZ4uNs80RjRzVQb
ZzAe8iWql3HN/QY83pkuXTe6iM125YrWFhCZ8yVIvg/RS9iKAgItt8GR7fweuVJQ
FhK4ag1VhJCEPsWbeuxWPrjo13u3u1PVZty51Gp0l9QL9ozr5rXHPz+g4hsP8le6
s4c0aM8eQDzBo89uFseSNkBKgKskFnb0/A8Hayy4

⏩ Videoexempel på hur man skapar en förinställning med flera scrapers​

I denna videoguide går vi igenom hur man skapar en förinställning för att skrapa tematiska domäner baserat på en sökfras från Googles sökresultat, samt hur man hämtar olika parametrar för domänerna.

I guiden gås följande igenom:

  • Skrapning av Googles sökresultat
  • Export av unika resultat som huvuddomäner
  • Hämtning av parametrar som:
    • om domänen är registrerad eller inte
    • registreringsdatum och utgångsdatum för domänen
    • webbplatsens språk
    • title och description
    • webbplatsens kvalitetsindex
    • position i Alexa Global Rank
    • land med mest trafik enligt Alexa
    • position i det landets ranking enligt Alexa