SE::Yandex::Suggest - Scraper voor Yandex-zoeksuggesties
Overzicht van de scraper
Scraper voor zoekmachine-suggesties op basis van trefwoorden in Yandex. Dankzij de SE::Yandex::Suggest scraper kunt u automatisch databases met zoekwoorden verzamelen uit de suggesties van de Yandex-zoekmachine op basis van een query. Met de SE::Yandex::Suggest scraper kunt u eenvoudig en snel Yandex-suggesties scrapen voor een query op basis van de regio.
De Yandex suggestie-scraper lost een van de belangrijkste SEO-taken op, namelijk het snel en geautomatiseerd verkrijgen van een uitgebreide zoekwoordensemantiek. Google-zoeksuggesties maken het mogelijk om een maximaal aantal frases te dekken, en in combinatie met de Yandex Keyword-scraper - 
SE::Yandex::WordStat krijgt u een maximaal volledige semantiek die helpt om meer organisch verkeer aan te trekken.
Dankzij de multithreading-werking van A-Parser kan de verwerkingssnelheid van query's oplopen tot 5700 query's per minuut, wat gemiddeld tot 17000-18000 resultaten per minuut oplevert.
U kunt automatische query-vermenigvuldiging gebruiken, subquery's uit bestanden invoegen, alfanumerieke combinaties doorlopen en lijsten gebruiken om het maximaal mogelijke aantal resultaten te verkrijgen. Met behulp van resultaatfiltering kunt u het resultaat direct opschonen door alle onnodige ruis te verwijderen (met behulp van uitsluitingswoorden).
De functionaliteit van A-Parser maakt het mogelijk om de instellingen voor gegevensextractie van de SE::Yandex::Suggest scraper op te slaan voor toekomstig gebruik (presets), extractieschema's in te stellen en nog veel meer.
Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.
Verzamelde gegevens
- Aantal resultaten per query
- Suggesties bij de query
- Bij het kiezen van de 2e query-methode worden ook aanvullende gegevens en het type suggesties verzameld
Toepassingen
- Verzamelen van trefwoorddatabases
Query's
Als query's moeten zoekfrasen worden opgegeven, bijvoorbeeld:
forex
een scriptie schrijven
scripties online
auto kopen in Moskou
nieuws
Query-substituties
U kunt ingebouwde macro's gebruiken voor automatische substitutie van subquery's uit bestanden. Als we bijvoorbeeld aan elke query een lijst met andere woorden willen toevoegen, geven we enkele basisquery's op:
essay
article
thesis
In het query-formaat geven we de macro op voor de substitutie van extra woorden uit het bestand Keywords.txt. Deze methode maakt het mogelijk om de variatie van query's aanzienlijk te vergroten:
{subs:Keywords} $query
Deze macro creëert voor elke oorspronkelijke zoekquery evenveel extra query's als er in het bestand staan, wat resulteert in [aantal oorspronkelijke query's (domeinen)] x [aantal query's in het bestand Keywords] = [totaal aantal query's] als resultaat van de macro.
Bijvoorbeeld, als het bestand Keywords.txt het volgende bevat:
buy
cheap
Uiteindelijk zal de substitutie-macro de 3 basisquery's omzetten in 6:
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Voorbeelden van resultaatuitvoer
A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een vrije vorm of gestructureerd kunnen worden uitgevoerd, zoals CSV of JSON.
Export van de lijst met suggesties
Resultaatformaat:
$results.format('$suggest\n')
Voorbeeld van resultaat:
scripties online gratis
scripties online bestellen
scripties online gratis downloaden
scripties online downloaden
scripties online maken
scripties online doen
scripties online vinden
scripties online gratis maken
scripties online bestellen
Uitvoer van query, totaal aantal gevonden suggesties, suggesties per query
Resultaatformaat:
$query - $totalcount:\n$results.format('$suggest\n')
Voorbeeld van resultaat:
scripties online - 10:
scripties online
scripties online gratis
scripties online bestellen
scripties online gratis downloaden
scripties online downloaden
scripties online maken
scripties online doen
scripties online vinden
scripties online gratis maken
scripties online bestellen
Uitvoer naar CSV-tabel
De ingebouwde utility $tools.CSVLine maakt het mogelijk om correcte tabeldocumenten te maken, klaar voor import in Excel of Google Sheets.
Resultaatformaat:
[% FOREACH i IN results;
tools.CSVline(i.suggest);
END %]
Bestandsnaam:
$datefile.format().csv
Begintekst:
Suggesties
In het Algemeen resultaatformaat wordt de sjabloon-engine Template Toolkit gebruikt om de suggest elementen van de results array in een FOREACH-lus uit te voeren.
In de bestandsnaam van de resultaten hoeft u alleen de bestandsextensie te wijzigen naar csv.
Om de optie "Prepend text" beschikbaar te maken in de Taak-editor, moet u "More options" activeren. In "Prepend text" schrijven we de kolomnamen gescheiden door een komma en maken we de tweede regel leeg.
Concurrentie van trefwoorden
Opslaan in SQL-formaat
Resultaatformaat:
[% FOREACH results;
"INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "')\n";
END %]
Voorbeeld van resultaat:
INSERT INTO serp VALUES('scripties online', 'scripties online')
INSERT INTO serp VALUES('scripties online', 'scripties online gratis')
INSERT INTO serp VALUES('scripties online', 'scripties online bestellen')
INSERT INTO serp VALUES('scripties online', 'scripties online gratis downloaden')
INSERT INTO serp VALUES('scripties online', 'scripties online downloaden')
INSERT INTO serp VALUES('scripties online', 'scripties online maken')
INSERT INTO serp VALUES('scripties online', 'scripties online doen')
INSERT INTO serp VALUES('scripties online', 'scripties online vinden')
...
Dump van resultaten naar JSON
Algemeen resultaatformaat:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.totalcount = p1.totalcount;
obj.suggests = [];
FOREACH item IN p1.serp;
obj.suggests.push(item.suggest);
END;
obj.json %]
Begintekst:
[
Eindtekst:
]
Voorbeeld van resultaat:
[{"suggests":["scripties online","scripties online gratis","scripties online bestellen","scripties online gratis downloaden","scripties online downloaden","scripties online maken","scripties online doen","scripties online vinden","scripties online gratis maken","scripties online bestellen"],"totalcount":10}]
Om de opties "Prepend text" en "Append text" beschikbaar te maken in de Taak-editor, moet u "More options" activeren.
Verwerking van resultaten
A-Parser maakt het mogelijk om resultaten direct tijdens de gegevensextractie te verwerken. In deze sectie hebben we de meest populaire use-cases voor de SE::Yandex::Suggest scraper verzameld.
Optie Scrapen tot niveau (Parse to level)
Deze optie geeft de scraper de opdracht om de verkregen resultaten in de diepte aan de query-wachtrij toe te voegen tot het opgegeven niveau, bijvoorbeeld:
- Als niveau 1 is opgegeven, voegt de scraper alle resultaten die uit de oorspronkelijke query zijn verkregen toe aan de query's.
- Als niveau 2 is opgegeven, voegt de scraper alle resultaten toe die uit de oorspronkelijke query zijn verkregen + alle resultaten verkregen uit de query's van niveau 1.
- enzovoort.
In eenvoudige bewoordingen is dit het toevoegen van de verkregen resultaten aan de query-wachtrij, wat op zijn beurt toestaat om meer resultaten te scrapen. Aangezien er waarschijnlijk duplicaten in de resultaten zullen zitten, wordt aanbevolen om query-deduplicatie (Unique queries) in te schakelen, zodat de scraper geen overbodig werk doet (niet hetzelfde opnieuw scrapet).
Voorbeeld downloaden
Hoe een preset te importeren in A-Parser
eJx1VFtv2jAU/iuVhdRVQggKfVjeKCrSJtZ0pX2YgAe3Pom8OrZnO6woyn/vsRPi
wLoXy+f2nct37Io4at/sgwELzpJkUxEd7iQhDDJaCkeGRFNjwXjzhqzvkuQXlQze
k2Rd5jlY79H5VsQdNGC02oMxnAEaOUM5U6agDrEbyD0VpXcbNBo7auxfLge2Ad1u
5eUVqXuA2nEl7REv1LSCPYiINhnX/y9AmOh4PZnWu92QtMmXIbevRk9Gbf+dcU33
8KR8B1xAVC9RuqdF6IFRB956bOJq5N49AmWM+6KpaDL4Ccasz5L/CTOQCn3xajjY
pVEFqhwEAK88HKvbkEGQCUKUIfZnE0OSjAoLQ2Kx1CXFQti5hTsw1CmTtkNMKqLk
XIgwwOgW8G9LLhjSPc8w6Fsb+LlL+g9G3bXXT4VU/DVYQ4cSpNv0R4xiaqXy4zAE
L7hD2S5UKT0xY1S+AehuZvferVAGujQtcpsdN1qD9LxHyuY6qk7aOKHlVPmqZMbz
tN2lo2cpn/DZpHKhCi3A9yVLIZAWC49xPea2pcELscDz4EVIcfLgnFLCfl83pWrD
cf1ufIEFTrKftYV8pUI8P676Fh9ondKpvDPmjL6wGGRbjmezsT+nN+E+690bfThn
1+F8uQgqCCcL50t0mn5t9TIwewHW0gPxlTnIFe4szq3edT9J999Un/4nSVXjRvy2
D423H5/3RR3yYJFufOr1Bxh5omw=
Resultaatfiltering (gebruik van uitsluitingswoorden)
Door uitsluitingswoorden te gebruiken, is het mogelijk om direct resultaten te verwijderen die u niet nodig heeft. Op dezelfde manier kunt u met een filter alleen die resultaten overhouden die de gewenste woorden bevatten.
Voorbeeld downloaden
Hoe een preset te importeren in A-Parser
eJx1VN9vGjEM/leqCKmrVCEoIG33RlGRNrHSFfowAQ+BMyxrLrklOVbE7n+f44S7
g3UvUWx/tr/4R47McftqnwxYcJYliyPL6c4SlsKWF9KxW5ZzY8F484LNHpLkO1cp
vCXJrNjtwHpEhT0yd8gBvfUejBEpoFGkKG+1ybjD2CHknsvCw1pBY9vB/uG6ZUPQ
5VJd37CyETB3Qit7ikecJrAHWUfrdsr/E5CmBt51ew3kVkgH3hrZJYt488kiHba6
jbh5cDKgtEPGmx+N1yyLTr/f92fvI51r0mzovvlDQpeEAd07DWi4rwnUu2sY+rVD
z78mFAKzsXK1OpG2Y6qfr2jebcceVsYZ38Nch6dCrR6j9Mgz6kPKHXjrqRE3bffm
I/A0FT4flyGDn4I664sSv+jlSiMWr0aAHRudocoBBfDKw4ndgrVI9uUsyPdb8GHJ
lksLWG+kOuZIJL20CCw+d9pM4yAkR6bVUEoaghpG8e8LIVMc2eEWnT5Hx/ch039i
lNXzmqlwnH4b5FBFIel++rX2SvVE707FkCITDmU70oXyjemg8hUgr2r26GGZNlCl
iZFjdtzKHJSf3bplw7xWnT3jrC3nyo1WW7Gbxn04IQs1x9WfqpHOcgn+XaqQEtti
4bkej6GNbfBCTfDSeUQpzj4Np7W0X2aBam4Ejt/AE8ywks2sMeSGS/nyPGlavKN1
Op+qB2Mu2keDwRpLNGjsXnO56OzTPvXXV2GJ6EzrBY279ynqFXX2CqzlB+aZOdhp
nFmsW7mqfsPqzzy++ycmxxIn4qd9CmhfPo9FHfbB0gJ3y7/kMN7o
Zie ook: Resultaatfilters
Mogelijke instellingen
| Parameter-naam | Standaardwaarde | Beschrijving |
|---|---|---|
| Region | Rusland | Keuze van de regio van waaruit de zoekopdracht wordt uitgevoerd |
| Request method | Method 1 | Query-methode: Method 1 - de oude methode, zoals deze voorheen was; Method 2 - de nieuwe methode, maakt het mogelijk om alle uitgebreide suggesties te verzamelen (advertenties, feiten, links naar websites) |