SE::Yandex::WordStat::ByDate - Scraper för Yandex WordStat-visningsstatistik per månad eller vecka

Översikt av scrapern

Wordstat är en tjänst från Yandex som är utformad för att utvärdera användarintresse för olika ämnen och välja sökord för SEO-optimering och kontextuell reklam. Dessutom kan man med Wordstat Yandex utvärdera säsongsvariationer och det geografiska beroendet av sökfrågor.

Scrapern Yandex WordStat by date stöder automatisk multiplikation av frågor, vilket säkerställer att du får maximalt antal resultat från sökresultaten. A-Parser kan också automatiskt navigera genom relaterade frågor till ett angivet djup.

Funktionaliteten i A-Parser gör det möjligt att spara inställningar för dataskrapning för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer. Du kan använda automatisk multiplikation av frågor, substitution av underfrågor från filer, kombinationer av siffror och bokstäver samt listor för att få största möjliga mängd resultat.

Resultaten kan sparas i det format och den struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.

Gå till DEMO Köp A-Parser Pro ($299)

Användningsfall för scrapern

🔗 Automatisering av Wordstat bydate

Används för att lagra aktuell information i databasen, och skapar en csv med färska data vid varje körning

Konton

För att scrapers SE::Yandex::WordStat::ByDate ska fungera krävs Yandex-konton. Konton kan registreras med hjälp av scrapers SE::Yandex::Register eller genom att helt enkelt lägga till befintliga konton i filen files/SE-Yandex/accounts.txt i formatet som stöds.

Alternativt kan du aktivera registrering av konton "i farten".

Insamlade data

Sökordsstatistik per månad eller vecka
Datum
Absolut värde
Relativt värde

Funktioner

Stöder val av sökregion (med undergrupper)
Möjlighet att välja flera regioner samtidigt för utvärdering
Stöd för automatisk hantering av Smart captcha och möjlighet att lösa grafisk captcha med tjänsten AntiCaptcha eller någon annan tjänst som stöder deras API
Val av enhetstyp
Möjlighet att välja auktoriseringsmetod
Möjlighet att registrera konton "i farten"
Stöder arbete med utökat kontoformat och kan svara på hemliga frågor (om svaret finns i info). Den använder även sparad proxy för auktorisering (om den finns i info).

Användningsområden

Uppskattning av trafikmängd per sökord
Identifiering av säsongsbetonade sökord

Frågor

Som frågor måste du ange sökord, precis som om de matades in direkt i Wordstats sökformulär, till exempel:

test

Exempel på resultatutdata

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör det möjligt att visa resultat i valfri form, såväl som i strukturerad form, till exempel CSV eller JSON

Standardutdata

Resultatformat:

Views:\n$views.format('$date $count $relcount\n')

Resultatet visar sökordsstatistik per månad och per vecka:

Monthly:  
2011-09-30 3010832 0.0008903808  
2011-10-31 681432 0.0001825883  
2011-11-30 628532 0.0001575008  
2011-12-31 629072 0.0001495699  
2012-01-31 561206 0.0001300651  
2012-02-29 572039 0.0001290000  
2012-03-31 614897 0.0001225754  
2012-04-30 520433 0.0001185340  
2012-05-31 521967 0.0001235327  
2012-06-30 502568 0.0001299958  
...  
Weekly:  
2012-09-16 118715 0.0001222877  
2012-09-23 120799 0.0001211773  
2012-09-30 137809 0.0001365837  
2012-10-07 133929 0.0001313643  
2012-10-14 140373 0.0001293922  
2012-10-21 136014 0.0001242209  
2012-10-28 148350 0.0001293328  
2012-11-04 139556 0.0001232566  
2012-11-11 154830 0.0001314057  
2012-11-18 136458 0.0001147489  
2012-11-25 149463 0.0001261401  
2012-12-02 144724 0.0001197564  
2012-12-09 149142 0.0001212195  
2012-12-16 162864 0.0001298181  

Utdata till CSV-tabell

Resultatformat:

[% FOREACH i IN views;
 tools.CSVline(query, i.count, i.date);
END %]

Exempel på resultat:

"test",9661734,2012-03-31
"test",8567243,2012-04-30
"test",9028986,2012-05-31
"test",6082099,2012-06-30
"test",5531950,2012-07-31
"test",5214663,2012-08-31
"test",6603865,2012-09-30
"test",9127457,2012-10-31
"test",9238652,2012-11-30

Spara i SQL-format

Resultatformat:

[% FOREACH i IN views;
  "INSERT INTO views VALUES('" _ query _ "', '";    i.count _ "', '"; i.relcount _ "', '";  i.date _ "')\n";
END %]

Exempel på resultat:

INSERT INTO serp VALUES('test', '9661734', '0.0019259985', '2012-03-31')
INSERT INTO serp VALUES('test', '8567243', '0.0019512785', '2012-04-30')
INSERT INTO serp VALUES('test', '9028986', '0.0021368683', '2012-05-31')
INSERT INTO serp VALUES('test', '6082099', '0.0015732140', '2012-06-30')
INSERT INTO serp VALUES('test', '5531950', '0.0013160071', '2012-07-31')
INSERT INTO serp VALUES('test', '5214663', '0.0013327945', '2012-08-31')
INSERT INTO serp VALUES('test', '6603865', '0.0015936909', '2012-09-30')
INSERT INTO serp VALUES('test', '9127457', '0.0018740506', '2012-10-31')
INSERT INTO serp VALUES('test', '9238652', '0.0018308715', '2012-11-30')

Dumpa resultat i JSON

Allmänt resultatformat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.views = [];

FOREACH item IN p1.views;
    obj.views.push({
        date = item.date
        relcount = item.relcount
        count = item.count
    });
END;

obj.json %]

Starttext:

Sluttext:

Exempel på resultat:

[{
    "views": [
        {
            "count": "9661734",
            "date": "2012-03-31",
            "relcount": "0.0019259985"
        },
        {
            "count": "8567243",
            "date": "2012-04-30",
            "relcount": "0.0019512785"
        },
        {
            "count": "9028986",
            "date": "2012-05-31",
            "relcount": "0.0021368683"
        }
    ]
}]

tips

Se även: Resultatfilter

Möjliga inställningar

anteckning

Allmänna inställningar för alla scrapers

Parameter	Standardvärde	Beskrivning
Period	`Monthly`	Val av period (Monthly/Weekly/Daily, Daily fungerar endast med alternativet Use Wordstat 2 aktiverat)
Start date		Anger från vilket datum sökningen ska utföras. Fungerar endast med alternativet Use Wordstat 2 aktiverat. Det är obligatoriskt att följa reglerna för datumangivelse
End date		Anger till vilket datum sökningen ska utföras. Fungerar endast med alternativet Use Wordstat 2 aktiverat. Det är obligatoriskt att följa reglerna för datumangivelse
Region	`All`	Sökregion
AntiGate preset	`default`	Du måste först konfigurera scrapern Util::AntiGate - ange din åtkomstnyckel och andra parametrar, och välj sedan den skapade förinställningen här
AntiGate preset for Login	`default`	AntiGate-förinställning för inloggning. Du måste först konfigurera scrapern Util::AntiGate med parametrar och sedan välja den skapade förinställningen här
Type	`All`	Val av enhetstyp
Accounts	`Only from "accounts.txt"`	Val av metod för att arbeta med konton: `Always auto register` - registrera alltid konton automatiskt "i farten", kräver att en konfigurerad förinställning väljs i parametern SE::Yandex::Register preset. `Auto register if no more in "accounts.txt"` - först används befintliga konton från accounts.txt, och om de tar slut används automatisk registrering "i farten", för vilken en konfigurerad förinställning måste väljas i parametern SE::Yandex::Register preset. `Only from "accounts.txt"` - använd endast befintliga konton från accounts.txt, och om de tar slut - vänta den angivna tiden (parametern Wait new accounts in "accounts.txt") på att nya ska dyka upp
Wait new accounts in "accounts.txt"	`0`	Väntetid för att nya konton ska dyka upp i accounts.txt
Remove bad accounts	`Always, except wrong login/password`	Automatisk borttagning av "dåliga" konton: `Always` - ta alltid bort. `Always, except wrong login/password` - ta alltid bort, utom när Yandex meddelat att felaktigt användarnamn/lösenord angivits. Faktum är att Yandex kan ge ett sådant meddelande vid IP-blockering för ett helt fungerande konto, så man kan valfritt behålla sådana konton för återanvändning. `Never` - ta aldrig bort. Oavsett valt alternativ tas konton inte bort vid proxy-/webbläsarfel
SE::Yandex::Register preset	`default`	Val av inställningsförinställning för SE::Yandex::Register
Authorization method	`HTTP`	Auktoriseringsmetod: `HTTP` - snabb, inte resurskrävande. `Chrome` - långsam, resurskrävande, kan teoretiskt förlänga kontons livslängd
Chrome headless	`☑`	Om alternativet är aktiverat kommer webbläsaren inte att visas
Use sessions	`☑`	Användning av sessioner
Do not reset session if authorization passed	`☑`	Återställ inte sessionen vid fel om scrapern redan har auktoriserats
Use Wordstat 2	`☐`	Användning av Wordstat 2
Wordstat 2 parse all table data	`☑`	Gör det möjligt att ladda ner alla 2000 resultat för en fråga direkt utan att gå igenom paginering

Översikt av scrapern​

Användningsfall för scrapern​

🔗 Automatisering av Wordstat bydate

Konton​

Insamlade data​

Funktioner​

Användningsområden​

Frågor​

Exempel på resultatutdata​

Standardutdata​

Utdata till CSV-tabell​

Spara i SQL-format​

Dumpa resultat i JSON​

Möjliga inställningar​

Översikt av scrapern

Användningsfall för scrapern

Konton

Insamlade data

Funktioner

Användningsområden

Frågor

Exempel på resultatutdata

Standardutdata

Utdata till CSV-tabell

Spara i SQL-format

Dumpa resultat i JSON

Möjliga inställningar