Ga naar de hoofdinhoud

Meerdere scrapers in één taak

Mogelijkheden​

A-Parser ondersteunt de verwerking van query's door meerdere scrapers tegelijk, wat het volgende mogelijk maakt:

  • Het scrapen van de resultaten van meerdere zoekmachines tegelijk
  • Domeinen analyseren op basis van talrijke parameters
  • Gelijktijdig trefwoorden verzamelen uit suggesties van verschillende zoekmachines en Yandex.Wordstat
  • Whois- en DNS-informatie verzamelen voor domeinen
  • Vele andere toepassingsmogelijkheden

Scraper toevoegen​

Om een nieuwe scraper toe te voegen, klikt u eenvoudig op de knop Add Parser (Scraper toevoegen) in de Taak-editor:

Knop Scraper toevoegen in de taak-editor

Elke scraper is genummerd; de resultaten van elke scraper in de resultatenbouwer en bij de resultaatopmaak zijn beschikbaar via afkortingen:

$p1, $p2... - waarbij het getal het nummer van de scraper aangeeft.

In de algemene resultaatopmaak worden standaard de resultaten van elke scraper opeenvolgend weergegeven, in het formaat dat is opgegeven in de instellingen van elke scraper

Het gebruik van meerdere scrapers in één taak verhoogt de algehele snelheid van de gegevensextractie, omdat het aantal gelijktijdige verzoeken naar een enkele scraper afneemt, waardoor proxy-bans of captcha's minder vaak voorkomen.

Elke scraper verwerkt de oorspronkelijke query of een variatie daarvan bij gebruik van de query-bouwer, en heeft in de instellingen een eigen query-formaat. Het is echter niet mogelijk om de resultaten van een voorgaande scraper als query door te geven aan een volgende scraper (deze functie is gepland voor de toekomst).

Voorbeeld van domeinanalyse​

Voorbeeld van domeinanalyse

In dit voorbeeld gebruiken we een lijst met domeinen die binnenkort verlopen (weer beschikbaar komen voor registratie) als query's. We willen domeinen met goede parameters selecteren en hiervoor hebben we zes verschillende scrapers gebruikt:

  • SE::GoogleSE::Google - query in Google in het formaat site:$query, we achterhalen het aantal geïndexeerde pagina's
  • Rank::BingAnalyticsRank::BingAnalytics - we achterhalen de globale domeinranking
  • SE::GoogleSE::Google - query in Google in het formaat "$query", we achterhalen het aantal vermeldingen van het domein
  • SE::Google::TrustCheckSE::Google::TrustCheck - we achterhalen in hoeverre Google de site vertrouwt
  • SE::Google::SafeBrowsingSE::Google::SafeBrowsing - we controleren of de site als onveilig is gemarkeerd
  • Rank::AhrefsRank::Ahrefs - we achterhalen het aantal backlinks naar het domein via de Ahrefs-service

In de resultaatopmaak geven we de oorspronkelijke query (het domein) en de resultaten van elke scraper weer, in de door ons gewenste volgorde:

$query, $p1.totalcount, $p2.globalRank, $p3.totalcount, $p4.trustrank, $p5.exists, $p6.bl\n
Voorbeeld downloaden

Hoe u een voorbeeld in A-Parser importeert

eJy1Vd1v2zYQ/1cMIg/bYKhxuvZBb47X7ANZ7dnOU1wEjHSSWVMkS1J2PCP/++5I
yrLTFOiADXrR8b5+v7vj8cA8dxs3s+DAO5bfH5gJ/yxnY8Xl/m8Y/KIbLpQbXGWX
bMgMtw4smd6zxYc8/1XrWgIqZrwGN5joVvlB62Aws/ppz4YH5vcGMJzegrWiJFNR
ovylBbuvtG24x6Mtly1ZOeEhvwg69vxpeM/mXG3y/FqoOuDxonBoXkLFW+kZWfwP
KFYsQlixCKJPkedL2zo/WUOxOcHxbxOsvTf5mzenRE9zLHgF11bvHNL+b7PEco7X
Fir3XZHvvJAPy9Yqhz/wkKajzzFW2BJufLHmmOHTkKEBRnQ3EUyeKjkcXJhR5rXn
sqDmkHyV1VI/ckmYSH77Qv9z5qnWNqnfZfAknHf0/z57lKuVYsd0C76FpcZ0lQhz
0KFA6SNvCOhFyT2QNot1+uHHzD8RE16WwguN0xUx02z3PO6U+BKIKo22xEWAu7G6
wSMPIUAg2PG9T4RxNFkbfP+KPiyvuHQwZA6h3nAEUr7U4Oxb7rWdGsKD5wem1VjK
W9iC7M1C/OtWyBIv4rhCp9+T4+sm069iPB/pnabCzu8sYjhGCdL19M/eq9S3uu6K
IUUjPMouXDc8pf2wATDHmn0ks0ZbOKZJkVN23DsGFI1Z37Kx6Y/OaJy15fyw0KoS
9TSNbmfZqiUut6ma6MZIIF6qlRLb4mDej8fYpTaQ0AN86TwJKRDW8cowr7V0fywi
VGMFjt87AthgJU+zppAFl/JufnuqIUfntZmqD9a+aF8YDMblVjjdZIVuVoo3Da9l
/C/WAmsT/7EQvNzFf5Ca21KrJDnP7b7mUfrcqoIWaJSkrrGBLukaTphsFJCLg1Ik
lRO1Es6kZG6jpeEqSbu1qCVXZZT2equtXycojDh7qDXeBuwI7p/u9Ti+N4fT7Y3S
6+sbFacLrtsp3WuktK/QA2dmROWfxG00Rzahhm+HrJapSRi+SMM6Ck3D8GGXAxaf
/YRHazIFwl6Gdw+l3W6X1QEi8aLGiwZ0i0HeXw7jgpx3Wa8eju9nPyjIxEQiCFBV
BnOhIy4PyyOROAhgDUWOktRYO7wzUcII+Ll4h0aETfkl38AiHoZ4uNs80RjRzVQb
ZzAe8iWql3HN/QY83pkuXTe6iM125YrWFhCZ8yVIvg/RS9iKAgItt8GR7fweuVJQ
FhK4ag1VhJCEPsWbeuxWPrjo13u3u1PVZty51Gp0l9QL9ozr5rXHPz+g4hsP8le6
s4c0aM8eQDzBo89uFseSNkBKgKskFnb0/A8Hayy4

⏩ Video-voorbeeld van het maken van een preset met meerdere scrapers​

In deze videotutorial wordt uitgelegd hoe u een preset maakt voor het scrapen van thematische domeinen op basis van een zoekterm uit de Google-zoekresultaten, en hoe u verschillende parameters voor deze domeinen ophaalt.

In de les wordt behandeld:

  • Het scrapen van Google-zoekresultaten
  • Unieke resultaten weergeven als hoofddomeinen
  • Parameters ophalen zoals:
    • of het domein geregistreerd is of niet
    • registratiedatum en vervaldatum van het domein
    • taal van de website
    • title en description
    • websitekwaliteitsindex (SQI)
    • positie in de Alexa Global Rank
    • het land met het meeste verkeer volgens Alexa
    • de positie in de ranglijst van dat land volgens Alexa