SE::Yandex::WordStat - WordStat Scraper. Insamling av sökord och statistik över visningar
Översikt av scrapern
Wordstat (Vordstat) är en tjänst från Yandex som är utformad för att utvärdera användarnas intresse för olika ämnen och välja sökord för SEO-optimering och kontextuell reklam. Dessutom kan man med hjälp av Wordstat Yandex utvärdera säsongsvariationer och det geografiska beroendet av sökfrågor.
Sökordsscrapern Yandex WordStat stöder automatisk multiplikation av frågor, så du kan vara säker på att du får maximalt antal resultat från sökresultaten. A-Parser kan också automatiskt följa relaterade frågor till ett angivet djup.
Funktionaliteten i A-Parser gör det möjligt att spara inställningar för dataskrapning för framtida bruk (förinställningar), ställa in scheman för dataskrapning och mycket mer. Du kan använda automatisk multiplikation av frågor, infogning av underfrågor från filer, genomgång av alfanumeriska kombinationer och listor för att få största möjliga antal resultat vid dataskrapning av Yandex Wordstat.
Resultaten kan sparas i den form och struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.
Användningsfall för scrapern
🔗 Dataskrapning av Wordstat på djupet
Användning av scrapern Yandex WordStat för dataskrapning på djupet.
🔗 Bedömning av sökfrekvens via WordStat
Bedömning av sökfrekvens via WordStat
Konton
För att scrapern 
SE::Yandex::WordStat ska fungera krävs Yandex-konton. Konton kan registreras med hjälp av scrapern 
SE::Yandex::Register eller helt enkelt genom att lägga till befintliga konton i filen files/SE-Yandex/accounts.txt i formatet som stöds.
Alternativt kan man aktivera registrering av konton "i farten".
För att använda auktorisering via session krävs att dataraden är i följande format:
[email protected];MAQT78Z31Rinx4H;{"answer":"qmfhsxdcrk","proxy":"185.104.120.45:3128","session_id":"3:1748440908.5.0.1748440867459:ZXBxpg:47e4.1.2:1|2191075974.41.2.2:41.3:1748440908|3:10308131.797655.5pfkoRZWgLJGntKTlcUhYdysNfk"}
Insamlade data
- Antal visningar för den angivna frågan
- Datum för uppdatering av statistiken
- Lista över alla sökord relaterade till det angivna och deras antal visningar per månad
- Lista över alla ytterligare sökord som användare har sökt efter och deras antal visningar per månad
Funktioner
- Skrapar det maximala antalet resultat som Wordstat tillhandahåller - 40 sidor med 50 element per sida
- Stöder val av sökregion (med undergrupper)
- Kan automatiskt infoga hittade sökord som nya frågor (alternativet Parse to level)
- Möjlighet att välja flera regioner samtidigt för utvärdering
- Stöd för automatisk kringgång av Smart captcha och möjlighet att kringgå grafisk captcha med hjälp av tjänsten AntiCaptcha eller någon annan tjänst som stöder deras API
- Val av enhetstyp
- Möjlighet att välja auktoriseringsmetod
- Möjlighet att registrera konton "i farten"
- Stöder arbete med utökat kontoformat och kan svara på hemliga frågor (om svaret finns i
info). Den använder även sparad proxy för auktorisering (om den finns iinfo).
Användningsområden
- Uppskattning av trafikmängd per sökord (frekvens)
- Sökning efter nya sökord inom liknande ämnen
- Insamling av stora databaser med sökord för olika ämnen
- Alla andra scenarier som innebär dataskrapning av Yandex.Wordstat i någon form
Frågor
Som frågor ska sökord anges, precis som om de matades in direkt i Wordstats sökformulär, till exempel:
fönster stockholm
"fönster stockholm"
!fönster !stockholm
Alternativ för resultatvisning
A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör att den kan visa resultat i valfri form, samt i strukturerad form, till exempel CSV eller JSON
Standardvisning
Resultatformat:
$query - $totalcount, updated: $updatedate\nkeywords:\n$keys.format('$key: $count\n')\nadditional keywords:\n$search.format('$key: $count\n')
Resultatet visar den ursprungliga frågan, dess antal visningar, datum för statistikuppdatering, lista över relaterade sökord och deras visningar per månad, samt lista över ytterligare sökord och deras visningar per månad:
!fönster !stockholm - 10368, uppdaterad: 16/05/2013
keywords:
fönster stockholm: 32367
plastfönster stockholm: 8994
pvc fönster stockholm: 4813
köpa fönster stockholm: 2561
fönster priser stockholm: 1706
stockholm arbete fönster: 1547
lediga jobb fönster stockholm: 1187
träfönster stockholm: 1087
tjänst +ett fönster stockholm: 1021
...
additional keywords:
produktion av pvc fönster: 8512
fönster rehau: 15686
fönster salamander: 1576
fönster kbe: 3798
fönster kbe: 6089
fönster kve: 3227
inglasning av balkonger: 83216
lusthus: 471213
inglasning av loggior: 26366
kontorsväggar: 18740
montering av fönster: 26223
Export till CSV-tabell
Resultatformat:
[% FOREACH i IN keys;
tools.CSVline(query, i. key, i.count);
END %]
Exempel på resultat:
webbplatsscraper, webbplatsscraper, 8055
webbplatsscraper, gratis webbplatsscraper, 1122
webbplatsscraper, scraper officiell webbplats, 666
webbplatsscraper, webbplatser molnscraper, 507
webbplatsscraper, scraper email +från webbplats, 477
webbplatsscraper, ladda ner webbplatsscraper, 434
webbplatsscraper, scraper webbadresser, 390
webbplatsscraper, webbplatsscraper online, 366
webbplatsscraper, turbo webbplatsscraper, 342
webbplatsscraper, turbo scraper officiell webbplats, 309
webbplats-scraper, officiell webbplats för molnbaserad scraper, 308
webbplatsscraper, webbplatsscraper excel, 276
webbplatsscraper, sliza scraper webbplats, 259
Spara i SQL-format
Resultatformat:
[% FOREACH i IN keys;
"INSERT INTO keys VALUES('" _ query _ "', '"; i.key _ "', '"; i.count _ "')\n";
END %]
Exempel på resultat:
INSERT INTO serp VALUES('test', 'test', '10837937')
INSERT INTO serp VALUES('test', 'testkörning', '1164338')
INSERT INTO serp VALUES('test', 'deg +för test', '879980')
INSERT INTO serp VALUES('test', 'tester online', '792560')
INSERT INTO serp VALUES('test', 'testkörning video', '550164')
INSERT INTO serp VALUES('test', 'recept på deg', '484489')
INSERT INTO serp VALUES('test', 'tester +med svar', '449401')
INSERT INTO serp VALUES('test', 'test 2014', '427602')
INSERT INTO serp VALUES('test', 'tester gratis', '315144')
INSERT INTO serp VALUES('test', 'gratis tester', '315096')
INSERT INTO serp VALUES('test', 'tester +för tjejer', '309355')
INSERT INTO serp VALUES('test', 'tester +per ämne', '293917')
INSERT INTO serp VALUES('test', 'spel tester', '288989')
Dumpa resultat till JSON
Allmänt resultatformat:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.updatedate = p1.updatedate;
obj.totalcount = p1.totalcount;
obj.keys = [];
FOREACH item IN p1.keys;
obj.keys.push({
key = item.key
count = item.count
});
END;
obj.json %]
Starttext:
[
Sluttext:
]
Exempel på resultat:
[{
"updatedate": "12.03.2014",
"totalcount": "10837937",
"keys": [
{
"count": "10837937",
"key": "test"
},
{
"count": "1164338",
"key": "testkörning"
},
{
"count": "879980",
"key": "deg +för test"
},
{
"count": "792560",
"key": "tester online"
},
]
}]
Se även: Resultatfilter
Möjliga inställningar
| Parameter | Standardvärde | Beskrivning |
|---|---|---|
| Pages count | 10 | Antal sidor att skrapa |
| Region | All | Sökregion |
| Remove + from keywords | ☐ | Ta bort plustecknet (+) från hittade frågor |
| AntiGate preset | default | Det är nödvändigt att först konfigurera scrapern  Util::AntiGate - ange din åtkomstnyckel och andra parametrar, och välj sedan den skapade förinställningen här |
| AntiGate preset for Login | default | AntiGate-förinställning för inloggning. Det är nödvändigt att först konfigurera scrapern Util::AntiGate med parametrar, och välj sedan den skapade förinställningen här |
| Type | All | Val av enhetstyp |
| Accounts | Only from "accounts.txt" | Val av metod för att arbeta med konton: Always auto register - registrera alltid konton automatiskt "i farten", kräver att en konfigurerad förinställning väljs i parametern SE::Yandex::Register preset. Auto register if no more in "accounts.txt" - först används befintliga konton från accounts.txt, och om de tar slut används automatisk registrering "i farten", för vilken en konfigurerad förinställning måste väljas i parametern SE::Yandex::Register preset. Only from "accounts.txt" - använd endast befintliga konton från accounts.txt, och om de tar slut - vänta den angivna tiden (parametern Wait new accounts in "accounts.txt") på att nya ska dyka upp. Only by session_id from "accounts.txt" - auktorisering via cookies. |
| Wait new accounts in "accounts.txt" | 0 | Väntetid för att nya konton ska dyka upp i accounts.txt |
| Remove bad accounts | Always, except wrong login/password | Automatisk borttagning av "dåliga" konton: Always - ta alltid bort. Always, except wrong login/password - ta alltid bort, utom när Yandex meddelat att felaktigt användarnamn/lösenord angetts. Faktum är att Yandex kan ge ett sådant meddelande vid IP-blockering för ett fullt fungerande konto, så man kan valfritt behålla sådana konton för återanvändning. Never - ta aldrig bort. Oavsett valt alternativ tas konton inte bort vid proxy-/webbläsarfel |
| SE::Yandex::Register preset | default | Val av förinställning för SE::Yandex::Register |
| Authorization method | HTTP | Auktoriseringsmetod: HTTP - snabbt, inte resurskrävande. Chrome - långsamt, resurskrävande, kan teoretiskt förlänga kontonas livslängd |
| Chrome headless | ☑ | Om alternativet är aktiverat kommer webbläsaren inte att visas |
| Use sessions | ☑ | Användning av sessioner |
| Do not reset session if authorization passed | ☑ | Återställ inte sessionen vid fel om scrapern redan har auktoriserats |
| Use Wordstat 2 | ☐ | Användning av Wordstat 2 |
| Wordstat 2 parse all table data | ☑ | Gör det möjligt att direkt ladda ner alla 2000 resultat för en fråga utan att gå igenom paginering |
