SE::Google::Trends - Scraper voor trending zoekwoorden volgens Google
Overzicht van de scraper
Scraper voor zoekopdrachten van Google Trends. De Google Trends scraper kan automatisch een lijst ophalen van alle categorieën waartoe een zoekopdracht behoort, evenals een lijst met interesses per regio en tijd.
U kunt automatische query-expansie gebruiken, subquery's uit bestanden invoegen, alfanumerieke combinaties doorlopen en lijsten gebruiken om het maximaal mogelijke aantal resultaten te verkrijgen. Met behulp van resultaatfiltering kunt u het resultaat direct opschonen door alle ongewenste ruis te verwijderen (met behulp van uitsluitingswoorden).
De functionaliteit van A-Parser maakt het mogelijk om de instellingen van de SE::Google::Trends scraper op te slaan voor toekomstig gebruik (presets), een schema voor gegevensextractie in te stellen en nog veel meer.
Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit, waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.
Toepassingen van de scraper
🔗 Datumformattering
Een manier om deze om te zetten naar een leesbaarder formaat
Verzamelde gegevens
- Lijst van alle categorieën waartoe de zoekopdracht behoort, in het formaat (zoekopdracht, categorie, populariteitspercentage)
- Lijst van interesses in de loop van de tijd in het formaat: tijdstip van interesse (in unix-formaat), populariteitspercentage
- Lijst van interesses per regio in het formaat: regio, populariteitspercentage
- Lijst met gerelateerde populaire zoekopdrachten (leaders)
- Lijst met gerelateerde trending zoekopdrachten (rising)
Mogelijkheden
- Mogelijkheid om gegevens voor meerdere zoekwoorden te vergelijken, hiervoor moeten ze gescheiden door een komma worden opgegeven
- Mogelijkheid om een land te kiezen voor de evaluatie van het zoekwoord
- Keuze voor welke periode de resultaten moeten worden weergegeven
- Keuze van de eigenschap voor gegevensextractie (Web Search, Image Search, News Search, etc.)
- Keuze van de Google Trends categorie (u kunt de lijst met categorieën vinden met de scraper JS::GoogleTrendsCat)
- Mogelijkheid om een aangepast datumbereik op te geven
- Zoeken op categorie
Gebruiksscenario's
- Schatting van de hoeveelheid verkeer per zoekwoord
- Zoeken naar nieuwe zoekwoorden in een vergelijkbaar thema
- Om aangepaste datums in te stellen, moet u bij Search time kiezen voor Custom time en bij Custom time range het datumbereik opgeven in het formaat YYYY-MM-DD YYYY-MM-DD
- Zoeken op categorie negeert de zoekopdracht die naar de scraper wordt gestuurd (optie Use empty queries(ignore query value))
Spoiler: Voorbeeld
Zoekopdrachten
Als zoekopdrachten moeten trefwoorden worden opgegeven, precies zoals u ze rechtstreeks in het Google-zoekformulier zou invoeren, bijvoorbeeld:
write essay
Football
Waterfall
Speak in english
Cats and dogs
forex
cheap essay
Query-substituties
U kunt ingebouwde macro's gebruiken voor het automatisch invoegen van subquery's uit bestanden. Als we bijvoorbeeld aan elke zoekopdracht een lijst met andere woorden willen toevoegen, geven we enkele basiszoekopdrachten op:
essay
article
thesis
In het query-formaat geven we de macro op voor het invoegen van extra woorden uit het bestand Keywords.txt. Deze methode maakt het mogelijk om de variatie van zoekopdrachten aanzienlijk te vergroten:
{subs:Keywords} $query
Deze macro maakt voor elke oorspronkelijke zoekopdracht evenveel extra zoekopdrachten aan als er in het bestand staan, wat resulteert in [aantal oorspronkelijke zoekopdrachten] x [aantal woorden in bestand Keywords] = [totaal aantal zoekopdrachten] als resultaat van de macro.
Bijvoorbeeld, als het bestand Keywords.txt het volgende bevat:
buy
cheap
Dan zal de substitutie-macro de 3 basiszoekopdrachten veranderen in 6:
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Voorbeelden van resultaatuitvoer
A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in elke gewenste vorm kunnen worden uitgevoerd, inclusief gestructureerde formaten zoals CSV of JSON.
Export van de lijst met gerelateerde trending zoekopdrachten
Export van de lijst met gerelateerde trending zoekopdrachten in het formaat: oorspronkelijke zoekopdracht, gerelateerd trefwoord, populariteit.
Resultaatformaat:
$query:\n$related_queries_rising.format('$key,$rquery,$interest\n')
Voorbeeld resultaat:
write essay:
write essay,write my essay 4 me,6550
write essay,write essay on globalization and 21st century,1450
write essay,grammarly,1100
write essay,how to write a hook for an argumentative essay,1000
write essay,write my essay for me cheap,1000
write essay,pay someone to write my essay,550
write essay,write that essay login,550
write essay,write my essay cheap,500
write essay,google docs,350
write essay,docs,300
write essay,how to write an argumentative essay step by step,250
write essay,someone write my essay,200
write essay,how long does it take to write a 1000 word essay,200
write essay,how long does it take to write a 2000 word essay,200
write essay,how to write a synthesis essay ap lang,200
write essay,pay to write essay,190
write essay,write essay on my school,180
write essay,how to write essay in hindi,170
write essay,write an essay on my school,170
write essay,help me write an essay,150
write essay,write my essay for me,130
write essay,help me write my essay,120
write essay,write my paper for me,120
write essay,how to write a hook for a persuasive essay,110
write essay,write essay for me,100
Uitvoer van de lijst met gerelateerde zoekopdrachten naar een CSV-tabel
De ingebouwde utility $tools.CSVLine maakt het mogelijk om correcte tabeldocumenten te maken, klaar voor import in Excel of Google Sheets.
Algemeen resultaatformaat:
[% FOREACH i IN p1.related_queries_rising;
tools.CSVline(i.key, i.rquery, i.interest);
END %]
Bestandsnaam:
$datefile.format().csv
Begintekst:
Oorspronkelijke zoekopdracht,Gerelateerd trefwoord,Populariteit
In het Algemeen resultaatformaat wordt de sjabloon-engine Template Toolkit gebruikt om de array $related_queries_rising in een FOREACH-lus uit te voeren.
In de bestandsnaam van de resultaten hoeft u alleen de extensie te wijzigen naar csv.
Om de optie "Prepend text" beschikbaar te maken in de Taak-editor, moet u "More options" activeren. In "Prepend text" vullen we de kolomnamen in gescheiden door een komma en maken we de tweede regel leeg.
Opslaan in SQL-formaat
Resultaatformaat:
[% FOREACH related_queries_rising; "INSERT INTO serp VALUES('" _ key _ "', '"; rquery _ "', '"; interest _ "')\n"; END %]
Voorbeeld resultaat:
INSERT INTO serp VALUES('write essay', 'write my essay 4 me', '6550')
INSERT INTO serp VALUES('write essay', 'write essay on globalization and 21st century', '1450')
INSERT INTO serp VALUES('write essay', 'grammarly', '1100')
INSERT INTO serp VALUES('write essay', 'how to write a hook for an argumentative essay', '1000')
INSERT INTO serp VALUES('write essay', 'write my essay for me cheap', '1000')
INSERT INTO serp VALUES('write essay', 'pay someone to write my essay', '550')
INSERT INTO serp VALUES('write essay', 'write that essay login', '550')
INSERT INTO serp VALUES('write essay', 'write my essay cheap', '500')
INSERT INTO serp VALUES('write essay', 'google docs', '350')
INSERT INTO serp VALUES('write essay', 'docs', '300')
INSERT INTO serp VALUES('write essay', 'how to write an argumentative essay step by step', '250')
INSERT INTO serp VALUES('write essay', 'someone write my essay', '200')
INSERT INTO serp VALUES('write essay', 'how long does it take to write a 1000 word essay', '200')
INSERT INTO serp VALUES('write essay', 'how long does it take to write a 2000 word essay', '200')
INSERT INTO serp VALUES('write essay', 'how to write a synthesis essay ap lang', '200')
INSERT INTO serp VALUES('write essay', 'pay to write essay', '190')
INSERT INTO serp VALUES('write essay', 'write essay on my school', '180')
INSERT INTO serp VALUES('write essay', 'how to write essay in hindi', '170')
INSERT INTO serp VALUES('write essay', 'write an essay on my school', '170')
INSERT INTO serp VALUES('write essay', 'help me write an essay', '150')
INSERT INTO serp VALUES('write essay', 'write my essay for me', '130')
INSERT INTO serp VALUES('write essay', 'help me write my essay', '120')
INSERT INTO serp VALUES('write essay', 'write my paper for me', '120')
INSERT INTO serp VALUES('write essay', 'how to write a hook for a persuasive essay', '110')
INSERT INTO serp VALUES('write essay', 'write essay for me', '100')
...
Dump van resultaten naar JSON
Resultaatformaat:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.related_queries_rising.key = [];
obj.related_queries_rising.rquery = [];
obj.related_queries_rising.interest = [];
FOREACH item IN p1.related_queries_rising;
obj.related_queries_rising.key.push(item.key);
obj.related_queries_rising.rquery.push(item.key);
obj.related_queries_rising.interest.push(item.key);
END;
obj.json %]
Begintekst:
[
Eindtekst:
]
Voorbeeld resultaat:
[{"related_queries_rising":{"rquery":["write my essay 4 me","write essay on globalization and 21st century","grammarly","how to write a hook for an argumentative essay","write my essay for me cheap","pay someone to write my essay","write that essay login","write my essay cheap","google docs","docs","how to write an argumentative essay step by step","someone write my essay","how long does it take to write a 1000 word essay","how long does it take to write a 2000 word essay","how to write a synthesis essay ap lang","pay to write essay","write essay on my school","how to write essay in hindi","write an essay on my school","help me write an essay","write my essay for me","help me write my essay","write my paper for me","how to write a hook for a persuasive essay","write essay for me"],"interest":[6550,1450,1100,1000,1000,550,550,500,350,300,250,200,200,200,200,190,180,170,170,150,130,120,120,110,100],"key":["write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay"]}}]
Om de opties "Prepend text" en "Append text" beschikbaar te maken in de Taak-editor, moet u "More options" activeren.
Verwerking van resultaten
A-Parser maakt het mogelijk om resultaten direct tijdens de gegevensextractie te verwerken. In dit gedeelte hebben we de meest populaire scenario's voor de SE::Google::Trends scraper verzameld.
Gebruik van een aangepaste datum
Om aangepaste datums in te stellen, moet u bij Search time kiezen voor Custom time en bij Custom time range het datumbereik opgeven in het formaat YYYY-MM-DD YYYY-MM-DD.
Voorbeeld downloaden
Hoe een voorbeeld te importeren in A-Parser
eJx1U1GP2jAM/iuVxcNN4hDctJe+cWhMm9j1dsATQqeIuCy7NMmSlA1V/e9z0tIC
46RKjZ3vsz/HdgWeuTf3bNGhd5BuKjDxDCksP6fpF633EtN0ZVFxl9wna4fJrnRe
FwlnHmEIhlmHNnA3NygE4JizUnoYVuCPBimyPqC1gge24GQ7ZHb389WLIrgOTJYB
1aSB+n1eg7jmPYwfxvfjCX0JHen/kY5Qb7dDoNJIiZtrW7BQ4sBMRm293eWSHXCl
6TIXEnv3nKwnVoQEg1B5uB3lMdDdh5H/GyIwzoUXWjHZZAiP0mddK/E7ClSasHS0
At3cUokpeIwBgvN4UreBQbSBQpSR+6PhQJoz6XAIjqTOGQnh1zfCo2Ve28wEPeSv
QKuplAs8oOxhMf5jKSSnDk5zIn1tibch2X8x6q6881TUpz+WNHRRovWYfe9ZXC/0
/vQYUhTCk+1mulShMWNyviGa7s2eAqzQFrs0beQ2O02woXkjZN+yqeldF2VctOXS
udMqF/usHbQTslQrWpNMzXRhJIa6VCkltcXhSz8eU9e2IRi9wGvyLKYgWd1igNda
um/LRqqxgsbvUxBY0EueZ21D7piU65fF+Q30I0VGfO4EnWNHCHCPe02DRMXU225j
u6Wvbu1tWtXUpV/uuQGHkqKT9oxMagGkk/ofqyh6IQ==
Resultaatfiltering
Voorbeeld van het exporteren van een lijst met gerelateerde trending zoekopdrachten waarvan de populariteit lager is dan een opgegeven waarde.
Voorbeeld downloaden
Hoe een voorbeeld te importeren in A-Parser
eJxtVMFu2zAM/ZVACNAVcIP20IsPA9JgKTpkddekpzQohIoOtMiSK8pZA8P/PkqW
7aTLzaRIvsdH0jVzHHf4ZAHBIUvXNSvDN0vZ8kea3huzVZCmKwta4OhqNJfKgR3B
Jy9KBSxhJbcI1qeuz2RQgICcV8qxpGbuUAIVNnuwVgqfLQXZubEFdwQbwtieq8qH
jT8qsIf09VWPLSjuQLx5jwR8sxKl3k7axG8X4x0ckrEN8clYamII6Cjx4pI1A24e
uBNChErX7HxhTywWYZsk5q3aIt+PGN5eX5NlSieNJhNBI2s2mw4A54Gfb6W8mURd
+8cl38PKtLRgcJPA8MiLIIAgbv61a/Ry4j59BS6E9JhctQhe/QH1RcuPQE8bio2d
za0pyOUgFAhKdezWUWnfahVyf7c5LM25QkgYEtU5JyLi64skYbgzNgsakL9mRk+V
WsAe1BAW6t9VUglalWlOSQ8x8XxI9l+Npm/vGIoW6a8lDn2VYN1lv4YsYRZm24mh
ZCEd2TgzlfaD8fPbAZS9Zo8+rDAWephYOaLTpZS02BQ5jGxaDq6TNk7Gcup8NzqX
2yxeQhdZ6RWdY6Znxl+X70tXStFYEJ6H9ZhiHIM3BoJfk2cBgmj1F8icMQp/Lluq
pZW0freeYEFKHqPGku9cqZfnxfELG1aKjCD3CBD5gflwB1tDi0TNNJv+19D/XOpz
P4i0bmhKf/CpDfYtBSddGZnhsG6af/TaovA=
Zie ook: Resultaatfilters
Mogelijke instellingen
| Naam parameter | Standaardwaarde | Beschrijving |
|---|---|---|
| Search region | Worldwide | Regio selecteren |
| Language | English | Taal selecteren |
| Search time | Default(Past 5 years) | Periode selecteren voor resultaatweergave |
| Custom time range | Lege regel | Invoer van aangepast datumbereik bij Search time = Custom time (formaat YYYY-MM-DD YYYY-MM-DD) |
| Search category id | 0 | Categorie selecteren |
| Search property | Default(Web Search) | Eigenschap voor gegevensextractie selecteren (Web Search / Image Search / News Search / Google Shopping / YouTube Search) |
| Use empty queries(ignore query value) | ☐ | Negeert de waarde van de zoekopdracht die naar de scraper wordt gestuurd en zoekt op categorie |