SE::Google::KeywordPlanner::SearchVolume - schatting van het aantal zoekopdrachten en andere zoekwoordstatistieken uit Google Keyword Planner

Overzicht van de scraper

SE::Google::KeywordPlanner::SearchVolume – scraper voor het schatten van zoekvolumes van zoekwoorden met Google Keyword Planner. Er is een grote hoeveelheid gegevens beschikbaar voor gebruik: gemiddeld aantal maandelijkse zoekopdrachten, wijzigingen in volumes per kwartaal en per jaar, minimale en maximale biedingen, en het concurrentieniveau. In de instellingen voor gegevensextractie kunt u de taal, locatie, het advertentienetwerk en de periode voor gegevensselectie opgeven. Ook is er een batchmodus beschikbaar, waardoor u met één verzoek aan de service gegevens voor 10.000 zoekwoorden tegelijk kunt ophalen, wat de gegevensextractie aanzienlijk versnelt.

Dankzij de multithreading-werking van A-Parser in combinatie met de batchmodus, kan de snelheid van de verwerking van aanvragen oplopen tot enkele tienduizenden aanvragen per minuut.

De functionaliteit van A-Parser maakt het mogelijk om instellingen voor de scraper SE::Google::KeywordPlanner::SearchVolume op te slaan voor toekomstig gebruik (presets), een schema voor gegevensextractie in te stellen en nog veel meer.

Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.

Ga naar DEMOKoop A-Parser Pro ($299)

Verzamelde gegevens

• Gemiddeld aantal zoekopdrachten per maand voor het gezochte zoekwoord
• Wijziging per kwartaal
• Wijziging per jaar
• Concurrentieniveau
• Minimale en maximale biedingen
• Trends in zoekvolumes voor de geselecteerde periode
  • Maand en jaar
  • Totaal aantal zoekopdrachten
  • Aantal zoekopdrachten alleen vanaf mobiele apparaten (niet beschikbaar in batchmodus)

Mogelijkheden

• Ondersteuning voor autorisatie via login-wachtwoord of via het invoegen van cookies en headers
• Bepaling van de nauwkeurigheid van $volume - exacte/afgeronde waarde
• Batchmodus wordt ondersteund en is standaard ingeschakeld
• Ondersteuning voor multi-accounts (om het juiste account te selecteren moet de ocid(uscid) ervan worden opgegeven)

Toepassingen

• Verzamelen van het gemiddelde aantal zoekopdrachten per maand, minimale en maximale biedingen, concurrentieanalyse
• Trendanalyse

Instelling

Er zijn twee opties om de scraper in te stellen:

• e-mailadres\wachtwoord van het Keyword Planner-account opgeven
• inloggen in de browser en de benodigde waarden kopiëren

waarschuwing

Wees voorzichtig met het aantal threads. Het wordt aanbevolen om een klein aantal threads op te geven, waarbij gegevensextractie zonder proxy heel goed mogelijk is.

Autorisatie via e-mail en wachtwoord

U moet de opties E-mail en Password overschrijven door de gegevens van uw Keyword Planner-account op te geven. Er moet verplicht een campagne zijn aangemaakt op het account.

Spoiler: (Oplossing) Login failed TypeError: Cannot read property '1' of null

In het geval dat deze fout optreedt, moet u uw Google-account uit de browser verwijderen en opnieuw inloggen.

Autorisatie in de browser en headers invoegen in de scraper

U moet inloggen in de browser via de link https://ads.google.com/aw/keywordplanner/home, de eerste campagne aanmaken als deze er nog niet was, de volgende gegevens ophalen en deze in de instellingen van de scraper opgeven:

Cookies kunnen op twee manieren worden opgegeven:

• Alle cookies opgeven in de optie All cookies
• Waarden uit de cookies opgeven voor de opties __Secure-3PSID, __Secure-3PSIDTS (__Secure-3PSIDTS moet worden opgegeven als authuser op het account gelijk is aan 0)

Overige headers:

• Waarde van de header x-framework-xsrf-token
• Waarde van de parameter ocid of uscid uit de URL
• Waarde van de parameter authuser uit de URL

Spoiler: Hoe de benodigde parameters te vinden

Zoekopdrachten

Als zoekopdrachten moeten zoekwoorden worden opgegeven, één zoekwoord per regel. Voorbeeld van zoekopdrachten:

coca-cola
parsing
peace
starlink
test

De batchmodus wordt ondersteund, deze wordt geactiveerd door de optie Bulk (packet) mode. In deze modus verzendt de scraper pakketten van 10000 zoekwoorden in een aanvraag naar de service. In deze modus worden geen gegevens verzameld over het aantal zoekopdrachten vanaf mobiele apparaten ($trends.$i.mobile). De batchmodus is standaard ingeschakeld.

Zoekopdracht-substituties

U kunt ingebouwde macro's gebruiken voor automatische substitutie van subquery's uit bestanden. Bijvoorbeeld, we willen aan elke zoekopdracht een bepaalde lijst met andere woorden toevoegen, we geven enkele hoofdzoekopdrachten op:

fantasy
tower defense
rpg

In het formaat van de zoekopdrachten geven we de macro op voor de substitutie van extra woorden uit het bestand keywords.txt, deze methode maakt het mogelijk om de variatie van zoekopdrachten aanzienlijk te vergroten:

{subs:keywords} $query 

Deze macro maakt evenveel extra zoekopdrachten aan als er in het bestand staan voor elke oorspronkelijke zoekopdracht, wat in totaal resulteert in [aantal oorspronkelijke zoekopdrachten] x [aantal zoekopdrachten in het bestand Keywords] = [totaal aantal zoekopdrachten] als resultaat van de macro.

Bijvoorbeeld, als het bestand keywords.txt het volgende bevat:

free
online

Uiteindelijk zal de substitutie-macro de 3 hoofdzoekopdrachten veranderen in 6:

free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg

Voorbeelden van resultaatuitvoer

A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een willekeurige vorm kunnen worden uitgevoerd, evenals in een gestructureerde vorm zoals CSV of JSON

Standaarduitvoer

Resultaatformaat:

$query: $volume\n

Voorbeeld van resultaat met uitvoer van het zoekwoord en het gemiddelde aantal zoekopdrachten per maand:

coca-cola: 3350000
parsing: 165000
peace: 673000
starlink: 1830000
test: 7480000

Uitvoer naar CSV-tabel

Algemeen resultaatformaat:

[% tools.CSVline(query, p1.volume, p1.min_bid, p1.max_bid) %]

Bestandsnaam:

$datefile.format().csv

Begintekst:

Keyword,Volume,"Min bid","Max bid"

tip

In het Algemeen resultaatformaat wordt de sjabloon-engine Template Toolkit en de tool tools.CSVline gebruikt voor de gegevensuitvoer.

In de bestandsnaam van de resultaten hoeft u alleen de bestandsextensie te wijzigen naar csv.

Om de optie "Prepend text" beschikbaar te maken in de Taak-editor, moet u "More options" activeren. In de "Prepend text" schrijven we de kolomnamen gescheiden door komma's en maken we de tweede regel leeg.

Opslaan in SQL-formaat

Resultaatformaat:

[% "INSERT INTO volumes VALUES('" _ query _ "', '" _ volume _ "')\n" %]

Voorbeeld van resultaat:

INSERT INTO volumes VALUES('parfum', '50000')
INSERT INTO volumes VALUES('eyfel perfume', '5000')
INSERT INTO volumes VALUES('memo marfa', '5000')

Resultaten dumpen naar JSON

Algemeen resultaatformaat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.keyword = query;
obj.volume = p1.volume;

obj.json %]

Begintekst:

[

Eindtekst:

]

Voorbeeld van resultaat:

[{"keyword":"parfum","volume":"50000"},
{"keyword":"eyfel perfume","volume":"5000"},
{"keyword":"memo marfa","volume":"5000"}]

tip

Meer details over de uitvoer van resultaten in JSON worden beschreven in dit artikel.

Mogelijke instellingen

opmerking

Algemene instellingen voor alle scrapers

Parameter	Standaardwaarde	Beschrijving
All cookies		Alle cookies opgeven
Cookie "__Secure-3PSID"		Cookie "__Secure-3PSID"
Cookie "__Secure-3PSIDTS"		Cookie "__Secure-3PSIDTS"
Header "x-framework-xsrf-token"		Header "x-framework-xsrf-token"
Url parameter "ocid"("uscid")		Parameter "ocid"("uscid")
Url parameter "authuser"	0	Parameter "authuser"
E-mail		E-mail voor autorisatie in Keyword Planner
Password		Wachtwoord voor autorisatie in Keyword Planner
Recovery e-mail		E-mail voor herstel van toegang
Browser headless (debug auth)	☑	Headless-modus voor de browser die wordt gebruikt voor autorisatie via login-wachtwoord
Log Login Screenshot (debug auth)	☐	Screenshot maken van de autorisatiepagina en deze uitvoeren in het taaklogboek
Date from	Last 12 months	Datum vanaf
Date to	Last 12 months	Datum tot
Language	English	Taal
Search networks	Google	Zoeknetwerk
Location code		Locatie (hier moet de locatie-id worden opgegeven, deze is te vinden in de eerste kolom van deze tabel (kopie))
Delete created plan	☑	Gemaakt plan verwijderen
Bulk (packet) mode	☑	Inschakelen van batchmodus