Ga naar de hoofdinhoud

SE::Google - Google zoekresultaten scraper

Google

Overzicht van de scraper​

De scraper voor de zoekresultaten van Google is een van de meest gevraagde; hiermee kunt u enorme databases met links verkrijgen die klaar zijn voor verder gebruik. U kunt zoekopdrachten in dezelfde vorm gebruiken als u ze in Google invoert, inclusief zoekoperators (inurl, intitle, enz.).

De Google scraper ondersteunt automatische vermenigvuldiging van zoekopdrachten, zodat u er zeker van kunt zijn dat u het maximale aantal resultaten uit de zoekresultaten haalt. Ook kan A-Parser automatisch gerelateerde zoekopdrachten volgen tot een opgegeven diepte. Dankzij de multithreading-werking van A-Parser kan de verwerkingssnelheid oplopen tot 3000-7000 zoekopdrachten per minuut, wat gemiddeld tot 500.000 links per minuut oplevert.

De functionaliteit van A-Parser stelt u in staat om instellingen voor gegevensextractie op te slaan voor later gebruik (presets), schema's voor gegevensextractie in te stellen en nog veel meer. U kunt automatische vermenigvuldiging van zoekopdrachten gebruiken, subquery's uit bestanden invoegen, alfanumerieke combinaties en lijsten doorlopen om het grootst mogelijke aantal resultaten te verkrijgen.

Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit, waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.

Toepassingen van de scraper​

Verzamelde gegevens​

Verzamelde gegevens
  • Links, ankers en snippets uit de zoekresultaten, evenals de datum uit de snippet (indien aanwezig)
    • Er wordt ook informatie verzameld over vlaggen van elk resultaat; momenteel worden deze vlaggen ondersteund: Date, AMP, Image Preview, Video, Rich snippet, Featured snippet
  • Aanwezigheid en inhoud van advertentieblokken, evenals hun positie op de pagina
  • Aantal resultaten per zoekopdracht (concurrentie)
  • Lijst met gerelateerde zoekwoorden (Related keywords)
  • Aanwezigheid van extra blokken op de pagina: productcarrousel, video's, enz.
  • De scraper verzamelt ook de volgende aanvullende gegevens:
    • Aanwezigheid van een typefout in de zoekopdracht en de gecorrigeerde zoekopdracht
    • Geografische locatie zoals bepaald door Google
    • Aanwezigheid van AMP-pagina's
    • Lijst met People also ask: vragen, antwoorden, links naar bronnen, hun ankers en links naar media (wordt ingeschakeld met de aparte optie Parse People also ask)
    • AI-antwoord (AI overview), het type en de lijst met bronnen
Verzamelde gegevens

Mogelijkheden​

De scraper voor de zoekmachine Google beschikt over talrijke mogelijkheden en instellingen:

  • Ondersteuning voor alle zoekoperators van Google (site:, inurl:, enz.)
  • Opgeven van de grootte van de resultaten (10, 20, 30, 50 of 100 resultaten) en het opgeven van het aantal pagina's (van 1 tot 10); bij maximale instellingen geeft Google tussen de 300 en 500 resultaten per zoekopdracht, maar dankzij de vermenigvuldiging van zoekopdrachten omzeilt A-Parser deze beperking eenvoudig
  • Mogelijkheid om automatisch gerelateerde zoekwoorden te volgen
  • Opgeven van de taal en het land van de resultaten, mogelijkheid om een lokaal Google-domein te kiezen, evenals de interfacetaal van de resultaten
  • Mogelijkheid om een geolocatie op te geven, wat het mogelijk maakt om nauwkeurige lokale resultaten te verkrijgen voor elke plek op de wereld
  • Keuze tussen desktop of mobiele weergave
  • Mogelijkheid om het type resultaten te kiezen; naast de normale organische resultaten kan de Google scraper ook nieuws-, boeken- of videoresultaten verzamelen
  • Indien nodig kan automatische herkenning van ReCaptcha2 worden gekoppeld via herkenningsdiensten of via XEvil/CapMonster
  • Ondersteunt het opgeven van de tijd van de resultaten (voor alle tijden of voor een specifiek interval van 24 uur tot een jaar)
  • Mogelijkheid om het Google-filter voor het verbergen van vergelijkbare resultaten uit te schakelen (filter=)
  • Mogelijkheid om aan te geven of de resultaten moeten worden gescraped als Google meldt dat er niets is gevonden voor de opgegeven zoekopdracht en resultaten voor een vergelijkbare zoekopdracht voorstelt
  • Mogelijkheid om het aantal People also ask in te stellen dat de scraper moet verzamelen door diep op elke vraag door te klikken
  • Mogelijkheid om tags te verzamelen

Op basis van de Google scraper werken de volgende scrapers:

  • SE::Google::PositionSE::Google::Position - bepaling van posities van websites in de zoekresultaten voor een lijst met zoekopdrachten
  • SE::Google::CompromisedSE::Google::Compromised - controleert domeinen op betrouwbaarheid vanuit Google-perspectief, kan gehackte en phishing-sites identificeren
  • SE::Google::TrustCheckSE::Google::TrustCheck - controleert de Trust (vertrouwen) van Google in een website

Gebruiksscenario's​

  • Verzamelen van linkdatabases - voor XRumer, AllSubmitter, GSA Ranker, enz.
  • Volledige dump van de SERP, inclusief links, ankers, snippets, advertentieblokken en andere informatie, maakt diepgaande analyse mogelijk voor SEO-specialisten en marketeers
  • Beoordeling van concurrentie voor zoekwoorden
  • Beoordeling van concurrentie in PPC (advertentie) resultaten
  • Zoeken naar backlinks en vermeldingen van websites
  • Controleren van de indexering van websites
  • Zoeken naar kwetsbare websites
  • Alle andere scenario's waarbij resultaten van zoekopdrachten voor een onbeperkt aantal queries nodig zijn

Zoekopdrachten​

Als zoekopdrachten moeten zoekfrases worden opgegeven, precies zoals u ze rechtstreeks in het zoekformulier van Google zou invoeren, bijvoorbeeld:

auto kopen
kozijnen in amsterdam
site:https://lenta.ru
inurl:guestbook

Substituties van zoekopdrachten​

U kunt ingebouwde macro's gebruiken voor de vermenigvuldiging van zoekopdrachten; stel dat we een zeer grote database met forums willen verkrijgen, dan geven we enkele basiszoekopdrachten op in verschillende talen:

forum
forum
foro
论坛

In het formaat van de zoekopdrachten geven we een herhaling van tekens op van a tot zzzz; deze methode maakt het mogelijk om de zoekresultaten maximaal te roteren en veel nieuwe unieke resultaten te verkrijgen:

$query {az:a:zzzz}

Deze macro zal 475254 extra zoekopdrachten aanmaken voor elke oorspronkelijke zoekopdracht, wat in totaal 4 x 475254 = 1901016 zoekopdrachten oplevert. Dit is een indrukwekkend getal, maar voor A-Parser is dit geen enkel probleem. Bij een snelheid van 2000 zoekopdrachten per minuut wordt zo'n taak in slechts 16 uur verwerkt.

Gebruik van operators​

U kunt zoekoperators gebruiken in het formaat van de zoekopdracht, zodat deze automatisch aan elke zoekopdracht uit uw lijst wordt toegevoegd:

inurl:$query

Voorbeelden van resultaatuitvoer​

A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een willekeurige vorm kunnen worden uitgevoerd, evenals in gestructureerde formaten zoals CSV of JSON.

Exporteren van een lijst met links​

Resultaatformaat:

$serp.format('$link\n')

Voorbeeld van resultaat:

https://www.weforum.org/open-forum/
https://www.weforum.org/about/world-economic-forum/
https://www.merriam-webster.com/dictionary/forum
https://en.wikipedia.org/wiki/Forum
https://dictionary.cambridge.org/dictionary/english/forum
https://www.collinsdictionary.com/dictionary/english/forum
https://www.linkedin.com/company/world-economic-forum
https://docs.moodle.org/en/Forum_activity
https://wordpress.org/support/forums/
https://www.facebook.com/worldeconomicforum/
...

Resultaatformaat:

[% FOREACH item IN serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n"; END %]

Voorbeeld van resultaat:

1 - https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC - Forum — Wikipedia - <em>Fórum</em> (lat. forum — arch. voorportaal van een graf; platform in een pers voor te verwerken druiven; marktplein, stadsmarkt;&nbsp;...
2 - https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC_(%D0%BC%D0%B5%D1%80%D0%BE%D0%BF%D1%80%D0%B8%D1%8F%D1%82%D0%B8%D0%B5) - Forum (evenement) — Wikipedia - <em>Forum</em> — evenement georganiseerd voor het aankaarten of oplossen van bepaalde<wbr>voldoende globale problemen. Dit concept komt voor in&nbsp;...
3 - https://support.google.com/googleplay/community?hl=ru - Welkom op het helpforum van de community ... - Welkom op het help<em>forum</em> van de Google Play-community. Uitgelichte berichten. Bekijk alle interessante berichten &middot; Hulp nodig bij een spel?
4 - https://support.google.com/mail/community?hl=en - Gmail Community - Google Support - Welcome to the Gmail Help Community &middot; Featured posts &middot; Categories.
5 - https://www.weforum.org/ - The World Economic Forum - The World Economic Forum is an independent international organization committed to improving the state of the world by engaging business, political, academic&nbsp;...
6 - https://www.kunena.org/ - Home - Kunena - To Speak! Next Generation Forum ... - Kunena! - To Speak! Next Generation Forum Component for Joomla.
7 - https://forum.adguard.com/index.php - AdGuard Forum - <em>Forum</em> van bètatesters. Schrijf hier bugrapporten over bètaversies. Threads: 355. Berichten: 11.6K. Sub-forums: Reacties op bèta-releases&nbsp;...
8 - https://www.sofiaforum.bg/ - Sofia Security Forum: Platform voor discussie ... - Sofia <em>Forum</em> voor Veiligheid / Sofia Security Forum.
9 - https://forum.keenetic.net/ - Forums - Keenetic Community - Keenetic fan club. A place to meet software developers, get the latest updates, and share experience.
10 - https://forum.euroaion.com/ - Perfect quality European private server of Aion - EuroAion.com - Perfect quality European private server of Aion!
...

De ingebouwde utility $tools.CSVLine maakt het mogelijk om correcte tabeldocumenten te maken die klaar zijn voor import in Excel of Google Sheets.

Algemeen resultaatformaat:

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.anchor, i.snippet); END  %]

Bestandsnaam:

$datefile.format().csv

Begintekst:

Link,Anker,Snippet

Voorbeeld van resultaat:

Link,Anker,Snippet
https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC,"Forum — Wikipedia",
https://en.wikipedia.org/wiki/Forum,"Forum - Wikipedia","<em>Forum</em> (plural forums or fora) may refer to: Contents. 1 Common uses; 2 Places. 2.1 Natural features; 2.2 Populated places. 3 Arts and entertainment; 4 Media."
https://www.weforum.org/,"The World Economic Forum","The World Economic <em>Forum</em> is an independent international organization committed to improving the state of the world by engaging business, political, academic&nbsp;..."
https://support.google.com/webmasters/community?hl=ru,"Welkom op het helpforum van de community ...","Welkom op het help<em>forum</em> van de Google Search Central-community. Uitgelichte berichten. Bekijk alle interessante berichten &middot; Antwoorden op&nbsp;..."
https://support.google.com/chrome/community?hl=ru,"Welkom op het helpforum van de community ...","Welkom op het help<em>forum</em> van de Google Chrome-community. Uitgelicht&nbsp;..."
...
tip

In het Algemeen resultaatformaat wordt de sjabloon-engine Template Toolkit gebruikt om de array $serp in een FOREACH-lus uit te voeren.

In de bestandsnaam van de resultaten hoeft u alleen de bestandsextensie te wijzigen naar csv.

Om de optie "Prepend text" beschikbaar te maken in de Taakeditor, moet u "More options" activeren. In "Prepend text" schrijven we de kolomnamen gescheiden door een komma en maken we de tweede regel leeg.

Uitvoer van advertentieblokken​

Resultaatformaat:

$ads.format('$link - $anchor - $snippet\n')

Voorbeeld van resultaat:

https://www.rentalcars.com/ - Rent a Car Worldwide - Best Prices Online Guaranteed - Secure Your <em>Car Hire</em> Today. The Best Price Guaranteed. Book at Over 53,000 Locations. Search, Compare and Save Using the World's Biggest Online <em>Car Rental</em> Service.
https://www.kayak.com/United-States-Car-Rentals.253.crc.html - United States from $9/day - Search for Rental Cars on Kayak - Find and Compare Great <em>Car</em> Deals in USA. Book with Confidence on KAYAK®!
https://www.discovercars.com/ - -70% Worldwide Car Rental - Rent Your Car in 5 Minutes‎ - <em>Car rental</em> prices are rising, but if you act fast, you can get a good deal. Don’t stress! We...
https://www.economybookings.com/ - Rent a Car for Summer Holidays - Car Rentals for the Best Price - Theft protection and Third Party liability part of a great deal. Free Mileage included.
...

Resultaatformaat:

$related.format('$key\n')

Voorbeeld van resultaat:

test <b>speed</b>
<b>net speed</b> test
<b>google speed</b> test
<b>fast speed</b> test
<b>ping</b> test
<b>xfinity speed</b> test
<b>speed</b> test <b>mobile</b>
test <b>my</b>
...
tip

Om automatisch HTML-tags in het resultaat te verwijderen, moet u de Resultatenbouwer gebruiken, de array $related selecteren en Remove HTML tags toepassen.

Concurrentie van zoekwoorden​

Resultaatformaat:

$query - $totalcount\n

Voorbeeld van resultaat:

speed test mobile - 1080000000
test score - 4020000000
net speed test - 1210000000
fast speed test - 2150000000
speed test - 2500000000
test match - 4160000000
ping test - 425000000
google speed test - 1870000000

Identificatie van zoekopdrachten met fouten​

Resultaatformaat:

$query - $misspell\n

Voorbeeld van resultaat:

spead test - 1
test match - 0
speed test - 0
temst match - 1

Controleren van indexering van links​

Zoekopdrachtformaat:

site:$query

Resultaatformaat:

$query.orig - $totalcount\n

Voorbeeld van resultaat:

https://a-parser.com/pages/buy - 2
https://a-parser.com/wiki/parsers - 4
https://a-parser.com/resources - 883
https://trjkjfkdf.bg.ky - none
https://a-parser.com/forum - 371
tip

Om de indexering van links te controleren, vult u in het Zoekopdrachtformaat de bijbehorende operator in: site:.

Het resultaatformaat wordt weergegeven als "oorspronkelijke url - aantal pagina's in index".

Als resultaat krijgt u het adres van de pagina's en hun aantal in de index van de zoekmachine.

Als de pagina niet aanwezig is, zal het resultaat zijn: none.

Opslaan in SQL-formaat​

Resultaatformaat:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  anchor _ "')\n"; END  %]

Voorbeeld van resultaat:

INSERT INTO serp VALUES('test', 'https://www.speedtest.net/', 'Speedtest by Ookla - The Global Broadband Speed Test')
INSERT INTO serp VALUES('test', 'https://fast.com/', 'Fast.com: Internet Speed Test')
INSERT INTO serp VALUES('test', 'https://www.business-standard.com/article/sports/ind-vs-aus-live-score-4th-day-5-india-vs-australia-live-cricket-score-online-brisbane-weather-121011900103_1.html', 'IND vs AUS 4th Test highlights: India creates history, wins ...')
INSERT INTO serp VALUES('test', 'https://www.test.com/', 'Find online tests, practice test, and test creation software | Test ...')
INSERT INTO serp VALUES('test', 'https://www.espncricinfo.com/series/india-in-australia-2020-21-1223867/australia-vs-india-4th-test-1223872/match-report-4', 'Recent Match Report - Australia vs India 4th Test 2020 ...')
INSERT INTO serp VALUES('test', 'https://www.icc-cricket.com/world-test-championship/standings', 'World Test Championship (2019-2021) Points Table - Live ...')
INSERT INTO serp VALUES('test', 'https://www.icc-cricket.com/rankings/mens/team-rankings/test', 'ICC Test Match Team Rankings International Cricket Council')
INSERT INTO serp VALUES('test', 'https://projectstream.google.com/speedtest', 'Speedtest - Google')
INSERT INTO serp VALUES('test', 'https://www.google.com/search?hl=en&q=Software+Testing&stick=H4sIAAAAAAAAAONgecQ4g5Fb4OWPe8JSfYyT1py8xtjOyMUVnJFf7ppXkllSKaTCxQZlSXHxSHHo5-obmJul5GkwSHFxwXlKwUbuuy5NO8fmKMgABGJm_g5SmlpCXOyexT75yYk5ggpvuB68mfLeXkuYiyMksSI_Lz-3UtCBgcHhx__39kqcnEBND7aoddhrMTTtW3GIjYWDUYCBZxGrQHB-Wkl5YlGqQkhqcUlmXjoAS5B1P7EAAAA&sa=X&ved=2ahUKEwiW-rnmlajuAhWpAGMBHR-JAv4Q6RMwHXoECDQQBQ', '')
...

Dump van resultaten naar JSON​

Algemeen resultaatformaat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.totalcount = p1.totalcount;
obj.links = [];

FOREACH item IN p1.serp;
    obj.links.push(item.link);
END;

obj.json %]

Begintekst:

[

Eindtekst:

]

Voorbeeld van resultaat:

[{"totalcount":"6450000000","links":["https://www.speedtest.net/","https://fast.com/","https://projectstream.google.com/speedtest","https://www.test.com/","https://www.speakeasy.net/speedtest/","https://www.att.com/support/speedtest/","https://speedtest.xfinity.com/","https://developers.google.com/speed/pagespeed/insights/","https://www.espncricinfo.com/series/india-in-australia-2020-21-1223867/australia-vs-india-4th-test-1223872/match-report-4","https://nasional.tempo.co/read/1424570/listyo-sigit-temui-ahy-menjelang-fit-and-profer-test-calon-kapolri","https://www.google.com/search?hl=en&q=Test+Assessment&stick=H4sIAAAAAAAAAONgecRYyC3w8sc9YamMSWtOXmNM4uIKzsgvd80rySypFNLiYoOyFLj4pbj10_UNjQyzKsvyzDQYpHi5kAWUNIxkdl2ado5NTJABCMTKAhyUODmBLIVA-wX2WgxN-1YcYmPhYBRg4FnEyh-SWlyi4FhcnFpcnJuaVwIAwEAP9ogAAAA&sa=X&ved=2ahUKEwj17MzXmajuAhW8CWMBHRlzBP4Q6RMwDHoECBEQBQ"]}]
tip

Om de opties "Prepend text" en "Append text" beschikbaar te maken in de Taakeditor, moet u "More options" activeren.

Verwerking van resultaten​

A-Parser maakt het mogelijk om resultaten direct tijdens de gegevensextractie te verwerken; in deze sectie hebben we de meest populaire scenario's voor de Google scraper opgenomen.

Voeg deduplicatie toe en kies in de vervolgkeuzelijst $serp.$i.link - Link.

Voorbeeld downloaden

Hoe u een preset in A-Parser importeert

eJx9VE1v2zAM/SsFkcMGBEFy2MW3NFiKDVnTNekpyEGNaUOLLGmSnDUw/N9H+ktO
N/Rmko+PfCTlCoLwZ//k0GPwkBwqsM03JLD7miQPxuQK7zZSn/3di5a/S4QpWOE8
OoYfRigKpJiJUgWYVhCuFonEXNA5mXJQpmRbZ96uDoOT6Ml3Eapk2GI+n0P9QZrI
8WRKHWLO4gO44n4tOk4bZcxHKWUvhuRyy8kBSJMlByfDcdoh9i3cU8c6h977oMyr
UJAEV2J9PPYsfm1cIXh4E7uYdZMcgjtxwb2hYCZVrOzXZD2KgqtMUhGQo7OsIfr0
eRbemEGkqQzSaKHaCjz7WLVbTALaEJY+ebprZwpyBWwI2HntuzvApLGjyp9tDiSZ
UB6n4KnVtaBG0vcRGdCJYNzWcj/kr8DopVIbvKCKsIb/vpQqpUNZZpT0rUv8P2T7
D0c9yBuXokX/cdTDwNJY99sfMSs1G5OT8vS1WWYhA9l+1VxPAnNynhHtMLNHnllh
HA5lOuauOr0Ni5qvKq5saaPrRsbNWm6dJ6MzmW+7S+2Rpd7TA9zqlSmsQtalS6Vo
LR6f43ksfbcGNmKD75NXTQmW3r9DCMYo/33XtmqdpPP7wg0WNMlx1Y7yJJR6ed6M
IxBPqjknz7QnutPc0AWRivo4/BGG/0g1/i8kVU1r+eWfWhBrYAj5aBieZs6P+S/t
6pW4
tip

Zie ook: Resultaatdeduplicatie

Voeg deduplicatie toe en kies in de vervolgkeuzelijst $serp.$i.link - Link. Kies als type deduplicatie: Domain.

Voorbeeld downloaden

Hoe u een preset in A-Parser importeert

eJx9VE2P2jAQ/SvI4tBKaAWHXnJj6bJqRZftwp4QB0MmyMXxuLZDF0X89844IQ7b
am+ZmffefDq1CNIf/bMDD8GLbFMLG79FJlYPWfaIeNAwWChz9INXo35XMNidB1+x
lMqIkbDSeXBM3PTwFMihkJUOYlSLcLZAcngC51TOQZWTbR2+nR0Ep8CT7yR1xbDJ
eDwWlw9o8gB7rExInMkHcM2VW3BM6zHGPUoV26IgNc4lZxtBPVlyMFlsRy1i3cDz
a++N91HjTmqRBVfBZbu9qvg5ulLyGId2ctfOtAuu5AnWSMFC6ZTZz8l6kiVnGeYy
AEfviij06fNdeGMFmecqKDRSNxl49ilrsyLiGyQsffJ05w5LcgWIAuw8X6vbiGG0
U5c/G47ICqk9jISnUueSCsnfR1QAJwO6peV6yF8LNFOtF3ACnWBR/75SOqdDmRZE
+tYS/w9Z/qNx6drrp6JF/3FUQ6cSrfvlj8TKcYEHXtkuLrNUgWw/i9eTiTE5jwC2
m9kTz6xEB12aVrnNTq/EguGrSiub2uS6aeNmLbfOPZpCHZbtpV6RlVnTU1yaGZZW
A/dlKq1pLR5e0nlMfbsGNlKB78mzmIJbv75DERC1/75qSrVO0fl94QJLmmQ/ayu5
l1q/viz6EZFOKp6TZ9k93ekB6YKoi8u2+yN0f5S6/1/I6gut5Zd/bkDcA0PIR8Pw
NHN+zH8BRVyZDA==
tip

Zie ook: Resultaatdeduplicatie

Domeinen extraheren​

Voeg de Result Builders (Resultatenbouwer) toe en kies in de vervolgkeuzelijst de bron: $p1.serp.$i.link - Link. Kies als type: Extract Domain.

Voorbeeld downloaden

Hoe u een preset in A-Parser importeert

eJx9VE1v2zAM/SuFkMMGBIFz2MW3NGuGDVnTNe0p6EGzaUOLLGqSnCUw8t9HKort
dkNv5scj+cgndyJIv/cPDjwEL/JdJ2z8FrnY3uX5F8Raw83dMThZhJvP2EhlxFRY
6Tw4BuxGeRQooZKtDmLaiXCyQGXwAM6pkoOqJNs6PJ4cBKfAk+8gdctp8yzLxPkd
mKyhwNaEATN/J10rs/cWHMNGiOz88jIVxJBm9Ct0jWSmEzufJdp9cCsP8IQUrFQk
dsWQdS8bbjkpZQCOzqpY6MPHWThyBVmWKig0Ul868JqGrs9G/Y6MDVIuffIiVg4b
cgWIBdh5uk63E5NoCyrRRuyPC0bkldQepsLTqCtJg5RvIyqAkwHdxvI85O8EmoXW
aziAHtJi/dtW6ZJuuqgI9DUB/5+y+afGuac3bkU3+eNohr5KtG433wdUiWusiXn5
k3hr1ahAtl/GQ+ciI+cewPY7u+edNeigb5Mqp+4kZAuGBTCcbGEH1ysar84ycnbC
Y+sK6rfLpjtBQrdxOLMXrJ6kOLi8if5JSOfkifwpPWBSoTgTpkBTqXqTRHrt3Jon
en0bs8TGauA9mVZrOrOHx0FuC5/OysZA+C14GVvwKq9PkGZA7b9tL9StUzTSJybc
0GXGXVPJQmr9/LgeR8Qg0ShPz2UL0n2NpEhiweTSz6D/iXTjX0LenenMv/zDJYk5
cAr5aBmebsjv+C86oZM/
tip

Zie ook: Resultatenbouwer

Tags verwijderen uit ankers en snippets​

Voeg de Result Builders (Resultatenbouwer) toe en kies in de vervolgkeuzelijst de bron: $p1.serp.$i.anchor - Anchor. Kies als type: Remove HTML tags.

Voeg opnieuw de Result Builders (Resultatenbouwer) toe en kies in de vervolgkeuzelijst de bron: $p1.serp.$i.snippet - Snippet. Kies als type: Remove HTML tags.

Voorbeeld downloaden

Hoe u een preset in A-Parser importeert

eJyVVD1v2zAQ/SsC4aEFBEMeumhzjLpp4cSp7UxGBlY6qawpkiUpN4bg/947mpaU
NAjQjby79+7rkR3z3B3cgwUH3rF83zETzixn2895/kXrWkKygUYfIbnd3a0Sz2uX
VFY3yVwVP7V1CVdlslXCGKJImeHWgSWy/YgDHSVUvJWepR3zJwOYAkmtFSU5RYl3
Y/XzyYK3AojpyGVLYbMsy9j5HRivodCt8gNm9k64FOrgDFiCjRDZ+ekpZdg91uiW
2jacpjAxs2kcSe/c8iPsNDorERq7YvB2zxtKOSm5B/JOq0D04ePUPxMDL0vhhVZc
XjLQmIasj0r8Dh0rjbF4pEEscdZo8hAIyHi6Vrdnk3BnSNEG7PcLhuUVlw5S5rDU
JcdCytce4cFyr+3aUD1o75hWcylXcAQ5hAX+m1bIEnc6rxD0NQLfDln/w3Hu2xun
wp38sVhDzxJuN+u7AVXqla6x8/IH9i1FIzze3SIsOmcZGg8App/ZPc2s0Rb6NJE5
ZkeRG1AkgGFlczOYXrTxYi0jY8ecbm2B+fZZumcodENbDS+BkX6i5mx4Mbe+keS2
lp/QGKM9SSdCSKZvMbrLe/ovyivmjJhCq0rU66j8azut2uFzX6uFbowEGr5qpUTt
ONgMGp67qBW6DFN8DV6EFLSf67vGMrR037aXeRorsKpPaSx8nDVSFlzKx81q7GGD
7oPmHdEW+JhqjTLHLqi5+MP0v1Y3/mfy7oza+eUeLkHUA4WgDYfhUBj0OfwFH/O5
UQ==
tip

U kunt de Resultatenbouwer zo vaak toevoegen als nodig is.

Zie ook: Resultatenbouwer

Voeg een filter toe en kies in de vervolgkeuzelijst: $serp.$i.link - Link. Kies als type: Contain string. Vervolgens moet u bij String het filterkenmerk invullen.

Voorbeeld downloaden

Hoe u een preset in A-Parser importeert

eJx9VE1v2kAQ/StoxSGVEIJDL74RVKpWNKSBnBCHDR5bG9Y72901DbL83zuzNrZJ
qtw8H+/Nm491JYL0J//owEPwItlXwsZvkYjttyT5jphrGK2UDuCUyUcvl5EP8UuZ
kVbmJCbCSufBMXo/AFEghUyWOohJJcLFAnHiGZxTKQdVSrZ1+HZxQIzgyXeWuuS0
+Ww2E/UnMJnDEUsTesz8k3TW6S04hg0QswEkix1SkLpnycleUE+WHLHJw6TN2DXp
RzRBKjOQPD1iQSbaoNCQ7cF4UR8OV0a/QldInuvYzqftkLvgVp5hh40O6N00d3iQ
BfOPUxmAo9MsEt19mYY3ZpBpqrim1E0F3kNf9dmoP1GfQcqlT570ypHWRASIBOy8
XNXtxTja3HEZsb8bjEgyqT1MhCepK0lC0vcRRfORAd0mzoD8lUCz0HoNZ9B9WuS/
L5VO6WgWGYF+tMD/p2w+cNRde8NStPS/jjR0LNG63/zqUSmuMafO05e42EIFsv0y
XlIiZuQ8AdhuZg88swIddGVa5rY6PRsLhi+sX9nC9q6bNm7Wcuuka8pUvmmv9ppZ
mh29zY1ZYmE1cF+m1JrW4uGpP4+Fb9fARi/wPXgZS3Dr1zcpAqL2P7eNVOsUnd9X
FljQJIdVW8qj1Pr5aT2MiP6k4jl5pj3SneZIF0Rd1Ifu79D9YqrhPyKpalrLq39s
krgHTiEfDcPHlzSv/wHtZp3U
tip

Zie ook: Resultaatfilters

Mogelijke instellingen​

opmerking

Algemene instellingen voor alle scrapers

Regionale parameters​

  • Google domain - het gebruikte Google-domein, standaard google.com

  • Results language - zoeken naar pagina's in de geselecteerde taal; in de browser komt dit overeen met de optie Geavanceerd zoeken -> Aanvullende instellingen -> Zoeken in (url-parameter lr). Standaard niet ingesteld, wat automatische detectie op basis van IP betekent

    Spoiler: Screenshot
    Results language

  • Interface language - de taal van Google-producten; in de browser is dit Talen -> Interfacetaal (url-parameter hl). Standaard is Engels geselecteerd

    Spoiler: Screenshot
    Interface language

  • Search from country - keuze van de zoekregio; in de browser is dit Talen -> Zoekregio (url-parameter gl). Standaard niet ingesteld, wat automatische detectie op basis van IP betekent

    Spoiler: Screenshot
    Search from country

  • Narrow results by region - zoeken naar pagina's die in een specifiek land zijn gemaakt; in de browser is dit Geavanceerd zoeken -> Aanvullende instellingen -> Land (url-parameter cr). Standaard niet ingesteld, wat betekent dat deze optie is uitgeschakeld

    Spoiler: Screenshot
    Narrow results by region

  • Location (city) - exacte zoeklocatie; in de browser wordt dit automatisch bepaald op basis van de locatie van de gebruiker. Standaard niet ingesteld, wat automatische detectie op basis van het IP van de aanvraag betekent

    Spoiler: Screenshot
    Location (city)

Alle regionale parameters beïnvloeden in meer of mindere mate de zoekresultaten.

Naam parameterStandaardwaardeBeschrijving
DeviceDesktopKeuze tussen desktop- of mobiele resultaten: Desktop / Mobile
Pages count5Aantal pagina's voor gegevensextractie (van 1 tot 100)
Parse pages links from first page☑Verzamelt vanaf de eerste resultatenpagina links naar alle beschikbare pagineringspagina's. Alleen van toepassing bij Device: Desktop; werkt niet voor mobiele resultaten
Serp typeDefault (All)Bepaalt of er moet worden gescraped van de hoofdpagina, nieuws of blogs (Books, News, Videos)
Hide omitted results☑Bepaalt of weggelaten resultaten moeten worden verborgen (parameter filter=)
Serp timeAnytimeTijd van de SERP (tijdsafhankelijk zoeken, parameter tbs=, mogelijke waarden: Past 1 hour, Past 24 hours, Past week, Past month, Past year)
Parse not found☑Bepaalt of de resultaten moeten worden gescraped als Google meldt dat er niets is gevonden voor de opgegeven zoekopdracht en resultaten voor een andere zoekopdracht voorstelt
Disable autocorrect☐Maakt het mogelijk om de autocorrectie van Google uit te schakelen en de resultaten voor precies de opgegeven zoekopdracht te scrapen
Exact match☐Komt overeen met de optie "Exact match" in de zoekmachine. Let op, deze optie overschrijft de waarde van de parameter Serp time (vergelijkbaar met de werking van deze opties in de browser).
Safe searchBlurMogelijkheid om "Safe search" in te schakelen
Google domainwww.google.comGoogle-domein voor gegevensextractie, alle domeinen worden ondersteund (www.google.ac, www.google.com.af, www.google.co.ck enz.)
Narrow results by regionAny region Mogelijkheid om de zoekopdracht te beperken tot een specifiek land
Results languageAuto (Based on IP)Keuze van de taal van de resultaten (parameter lr=)
Search from countryAuto (Based on IP)Keuze van het land van waaruit de zoekopdracht wordt uitgevoerd (geografisch afhankelijk zoeken, parameter gl=)
Interface languageEnglishMogelijkheid om de interfacetaal van Google te kiezen, voor maximale identiteit van de resultaten in de scraper en in de browser
Location (city)Zoeken op stad, regio. Steden kunnen worden opgegeven als novosibirsk, russia; de volledige lijst met locaties is te vinden in Geotargets (kopie - gebruik de waarde uit de kolom Canonical Name). Ook moet het juiste Google-domein worden ingesteld
Util::ReCaptcha2 presetdefaultBepaalt of Util::ReCaptcha2Util::ReCaptcha2 moet worden gebruikt voor het omzeilen van reCAPTCHA's
Util::AntiGate presetdefaultBepaalt of Util::AntiGateUtil::AntiGate moet worden gebruikt voor het omzeilen van grafische captcha's
ReCaptcha2 retries3Aantal pogingen om een antwoord voor de reCAPTCHA te verzenden gedurende het opgegeven aantal keren, zonder de proxy te wijzigen
ReCaptcha2 pass proxy☐Maakt het mogelijk om proxy's (gebruikt in de aanvraag naar Google) en cookies (ontvangen in het antwoord van Google) door te geven aan de ReCaptcha-herkenningsdienst
Use sessions☑Slaat goede sessies op, wat het mogelijk maakt om nog sneller te scrapen met minder fouten.
Don't take session☐Mogelijkheid om opgeslagen goede sessies niet te gebruiken
Additional headersMaakt het mogelijk om eigen headers op te geven
PAA questions count0Maximaal aantal vragen en antwoorden (People also ask) per zoekopdracht dat de scraper moet verzamelen
Empty totalcount is error☐Bij het inschakelen van deze parameter wordt de zoekopdracht als mislukt beschouwd als er geen waarde voor $totalcount is, en zullen er dienovereenkomstig herhaalde pogingen worden gedaan
Count of retries when result is empty10Aantal herhaalde pogingen voor de zoekopdracht als de resultatenpagina volledig leeg is
Redirect browser max pages10Aantal browserpagina's dat wordt gebruikt om beveiliging in de vorm van een JavaScript-controle te omzeilen
Single redirect browser for task☑Als er meerdere Google scrapers in de taak staan — gebruik dan slechts één browser voor alle subtaken; het maximale aantal pagina's en de overige instellingen worden overgenomen van de eerste Google scraper in de taak