SE::Google::Suggest - Scraper voor Google-zoeksuggesties
Overzicht van de scraper
Scraper voor zoekwoordsuggesties in Google. Dankzij de SE::Google::Suggest scraper kunt u automatisch databases met zoekwoorden verzamelen uit de suggesties van de zoekmachine Google op basis van een zoekopdracht. Met de SE::Google::Suggest scraper kunt u eenvoudig en snel Google-suggesties scrapen op basis van het geselecteerde land, de taal of het domein.
De Google suggestie-scraper lost een van de belangrijkste SEO-taken op, namelijk het snel en geautomatiseerd verkrijgen van een uitgebreide zoekwoordenlijst. Google-zoeksuggesties maken het mogelijk om een maximaal aantal frases te dekken, en in combinatie met de Google Keyword Planner-scraper - 
SE::Google::KeywordPlanner krijgt u een uiterst volledige semantiek die helpt om meer organisch verkeer aan te trekken.
Dankzij de multithreading van A-Parser kan de verwerkingssnelheid oplopen tot 6000 zoekopdrachten per minuut, wat gemiddeld tot 45000-46000 resultaten per minuut oplevert.
U kunt automatische query-vermenigvuldiging, substitutie van sub-queries uit bestanden, permutaties van alfanumerieke combinaties en lijsten gebruiken om het maximaal mogelijke aantal resultaten te verkrijgen. Door gebruik te maken van resultaatfiltering kunt u het resultaat direct opschonen door alle ongewenste ruis te verwijderen (met behulp van uitsluitingswoorden).
De functionaliteit van A-Parser maakt het mogelijk om de instellingen voor gegevensextractie van de SE::Google::Suggest scraper op te slaan voor toekomstig gebruik (presets), extractieschema's in te stellen en nog veel meer.
Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit, waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt exporteren, waaronder JSON, SQL en CSV.
Toepassingen van de scraper
🔗 JS::Google::FromSnippets
Voorbeeld van het werken in JS-scrapers met ingebouwde scrapers
Verzamelde gegevens
- Aantal resultaten per zoekopdracht
- Suggesties bij de zoekopdracht
- Type suggestie (0 - menselijk, 1 - kunstmatig)
Mogelijkheden
- Ondersteunt keuze van zoekland, domein en taal van de resultaten
- Mogelijkheid om de bron te kiezen die moet worden gebruikt voor het verzamelen van suggesties (optie Client)
- Mogelijkheid om HTML-tags te verwijderen uit de resultaten (optie Remove HTML tags)
Gebruiksscenario's
- Verzamelen van zoekwoorddatabases
Zoekopdrachten
Als zoekopdrachten moeten zoekfrasen worden opgegeven, bijvoorbeeld:
write essay
Football
Waterfall
Speak in english
Cats and dogs
forex
cheap essay
Query-substituties
U kunt ingebouwde macro's gebruiken voor automatische substitutie van sub-queries uit bestanden. Als we bijvoorbeeld aan elke zoekopdracht een lijst met andere woorden willen toevoegen, geven we enkele basiszoekopdrachten op:
essay
article
thesis
In het query-formaat geven we de macro op voor de substitutie van extra woorden uit het bestand Keywords.txt. Deze methode vergroot de variatie van zoekopdrachten aanzienlijk:
{subs:Keywords} $query
Deze macro maakt voor elke oorspronkelijke zoekopdracht evenveel extra zoekopdrachten aan als er in het bestand staan, wat resulteert in [aantal oorspronkelijke zoekopdrachten] x [aantal zoekopdrachten in bestand Keywords] = [totaal aantal zoekopdrachten] als resultaat van de macro.
Bijvoorbeeld, als het bestand Keywords.txt het volgende bevat:
buy
cheap
Dan zal de substitutie-macro de 3 basiszoekopdrachten veranderen in 6:
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Voorbeelden van resultaatuitvoer
A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een vrije vorm of gestructureerd zoals CSV of JSON kunnen worden uitgevoerd.
Export van een lijst met suggesties
Resultaatformaat:
$results.format('$suggest\n')
Voorbeeld van resultaat:
buy essays online
buy essay cheap
buy essay uk
buy essays online no plagiarism
buy essay papers
buy essay online reviews
buy essays reddit
buy essay friend
Uitvoer van query, suggesties per query + type suggestie
Resultaatformaat:
$query:\n$results.format('$suggest - $type\n')
Voorbeeld van resultaat:
cheap essay:
cheap essay writing service - 1
cheap essay writing service uk - 1
cheap essay writing service canada - 1
cheap essay writing 24 - 1
cheap essays online - 1
cheap essay writing service reddit - 1
cheap essay writing service australia - 1
cheap essay writing service review - 1
buy essay:
buy essay online - 1
buy essay cheap - 1
buy essay uk - 1
buy essay papers - 1
buy essay online reviews - 1
buy essays reddit - 1
buy essay friend - 1
buy essay online uk - 1
Uitvoer naar een CSV-tabel
De ingebouwde utility $tools.CSVLine maakt het mogelijk om correcte tabeldocumenten te maken, klaar voor import in Excel of Google Sheets.
Algemeen resultaatformaat:
[% FOREACH i IN p1.results;
tools.CSVline(i.suggest);
END %]
Bestandsnaam:
$datefile.format().csv
Koptekst:
Suggesties
In het Algemeen resultaatformaat wordt de sjabloon-engine Template Toolkit gebruikt om elementen van de array $results in een FOREACH-loop weer te geven.
In de bestandsnaam van de resultaten hoeft u alleen de extensie naar csv te veranderen.
Om de optie "Prepend text" beschikbaar te maken in de Taak-editor, moet u "More options" activeren. In de "Prepend text" schrijven we de kolomnamen gescheiden door een komma en maken we de tweede regel leeg.
Zoekwoordconcurrentie
Opslaan in SQL-formaat
Resultaatformaat:
[% FOREACH results; "INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "', '"; type _ "')\n"; END %]
Voorbeeld van resultaat:
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service uk', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service canada', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing 24', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay online', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay cheap', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay uk', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay papers', '1')
...
Dump van resultaten naar JSON
Algemeen resultaatformaat:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.totalcount = p1.totalcount;
obj.suggests = [];
FOREACH item IN p1.results;
obj.suggests.push(item.suggest);
END;
obj.json %]
Begintekst:
[
Eindtekst:
]
Voorbeeld van resultaat:
[{"suggests":["buy essay online","buy essay cheap","buy essay uk","buy essays online no plagiarism","buy essay papers","buy essay online reviews","buy essays reddit","buy essay friend"],"totalcount":8}]
Om de opties "Prepend text" en "Append text" beschikbaar te maken in de Taak-editor, moet u "More options" activeren.
Verwerking van resultaten
A-Parser maakt het mogelijk om resultaten direct tijdens de gegevensextractie te verwerken. In dit gedeelte hebben we de meest populaire scenario's voor de SE::Google::Suggest scraper verzameld.
Optie Scrapen tot niveau (Parse to level)
Deze optie geeft de scraper de opdracht om de verkregen resultaten in de diepte aan de query-wachtrij toe te voegen tot het opgegeven niveau, bijvoorbeeld:
- Als niveau 1 is opgegeven, voegt de scraper alle resultaten van de oorspronkelijke zoekopdracht toe aan de zoekopdrachten.
- Als niveau 2 is opgegeven, voegt de scraper alle resultaten van de oorspronkelijke zoekopdracht toe + alle resultaten van de zoekopdrachten uit niveau 1.
- enzovoort.
Eenvoudig gezegd is dit het toevoegen van de verkregen resultaten aan de query-wachtrij, wat op zijn beurt toelaat om meer resultaten te scrapen. Aangezien er waarschijnlijk duplicaten in de resultaten zullen zitten, wordt aanbevolen om query-deduplicatie (Unique queries) in te schakelen, zodat de scraper geen overbodig werk doet (niet hetzelfde opnieuw scrapet).
Voorbeeld downloaden
Hoe een voorbeeld te importeren in A-Parser
eJx9VE1v2zAM/SsGkcMGZEF72MW3NFiGDlmd1c0pyEGIaVerLHmSnDQw/N9HKo7t
bEFvpvj4+PFIN+CFe3Nriw69g3jbQBW+IYb0Wxx/N6ZQGMdpXRTofPQlWgvrMPIm
UnhAFeG7KCuFMIWKHZY5trdCCZFhLmpFXw34U4WUwlReGu3IJzMyA8WKeenlIFRN
mPu7doQ/oLUyw0tAZkoh9QCG4/E4K0Li2d6U8EFoMcoBm/Qj6OsYihra3W4KNCXq
xS2NLQVPa1Ldz7rR9c5UHPDFkDOXYUSXGLKeRMlsk0x4ZO8sD0SfPs/8OzOILJM8
G6HOGXiuQ9aNln9CNc5bqQvCk2kluqWlrmPwGEj48XSpcAuTYAPR1CH+1zkGYm9r
nIKjapeCasl6Ry6UI4/0aIU3Nunkihsweq5UkGqABfqHWqqM9mCeU9BjF3gbkvzH
0fYdjlORHEdLNfQswXpIfg5RmVmZghrXhtpWspSebLcwtWZt7ujxDbHqx/bEsNJY
7NN0zF12uocKNWs/qDavhqerNq6UuX7cG53LIun26YKs9QsdXaIXhk+H+9K1UqSK
w+dhQ+auk4GNocB/gxchBd/C5brAG6Pcj/RcamUlbeBXLrCkSY6zdpR7odTmeTX2
wLBRfFQ87gidEydguMfC0B5RM+2uv/v+F9LcvP64aUmm3259RnNPjKU3Go4jDejS
27/f2JZm
Resultaatfiltering (gebruik van uitsluitingswoorden)
Door uitsluitingswoorden te gebruiken, is het mogelijk om direct resultaten te verwijderen die u niet nodig heeft. Op dezelfde manier kunt u met een filter alleen die resultaten overhouden die de gewenste woorden bevatten.
Voorbeeld downloaden
Hoe een voorbeeld te importeren in A-Parser
eJx9VE1vGjEQ/SvIQkojpSgcetkbQaFqRUMa4EQ4WOywceO1tx4vFBH+e2e83g9a
xG1n5r2ZNx/ro/AS3/HZAYJHkayOogjfIhHzxyT5am2mIUnmZZYB+t7n3hKhlytT
Ym9vXYriThTSITgmry5xCJHCVpaavo7CHwqg3Lbwyhpmq5TMkGIKO9Dk2UldEmZ4
f+rgd+CcSqEmpDaXyrRgsd/vB1koPNjYXFyhZp0aYjm/Bn3rQsF0oVulPTgK07S4
tWQVv7gnjJ2v7yJuUZEcGOtz6TdvnbwO0lT5D6U1ZFJ/YCGNQgZUMyLENYlb6yhh
FNEm7Ucxgyr+6aYfNb2+mptbcVqva+U4CQjmFMNBXH4TnMsdLGzVL7TuCVlPMg+V
UumBo3Wp24H/wxkkt0UNSF1V4ANpqy6N+h2UonfKZIQn0ynAiaP1JcJDSMLOQ61w
JfrB5rmWgf+z4ojEuxJo7qR2IklL2gS2UiNFFC1Beutm8e6So7BmpHW4uRYW0j+U
Sqd00KMtkb5F4mXI7L8cp6bDbila2t6RhlpoMB5mP1pSaqc2o76Npa61ypUnG8e2
NLyae3K+AxTN1J4YllsHTZUoLxanH7oAwwfSLm1UtK6zLs4Wc+7cWLNV2SweXY0s
zYJejZkZ27zQwG2ZUmtaCsJLeyAjjFtgoxX4L3kcSvA/Xb8Swlur8fu8klo4RQf4
hQXmNMhu1ZhyI7Vevky7EdEeFD8OPO4eIMqDYLiHzNIZUTOndfN+NW/g8eIrlhxP
tKZf+FyhuSfGko+Gg+FHHZ7+As4s2Yc=
Zie ook: Resultaatfilters
Mogelijke instellingen
| Parameternaam | Standaardwaarde | Beschrijving |
|---|---|---|
| Client | Chrome omnibox | Keuze van de bron die moet worden gebruikt voor het verzamelen van suggesties (Search page / Chrome omnibox) |
| Follow suggests | Human | Keuze van het type suggesties dat in de zoekopdrachten moet worden gesubstitueerd bij gebruik van Parser to level (All / Synthetic / Human) |
| Google domain | www.google.com | Keuze van het domein |
| Search from country | Global | Keuze van het land van waaruit de zoekopdracht wordt uitgevoerd |
| Interface language | English | Keuze van de interfacetaal |
| Remove HTML tags | ☑ | HTML-tags verwijderen |