SE::Yandex::WordStat::ByDate - Scraper statystyk wyświetleń Yandex WordStat według miesięcy lub tygodni
Przegląd scrapera
Wordstat to usługa Yandex przeznaczona do oceny zainteresowania użytkowników różnymi tematami oraz doboru słów kluczowych dla optymalizacji SEO i reklamy kontekstowej. Ponadto, za pomocą Wordstat Yandex można ocenić sezonowość i zależność geograficzną zapytań wyszukiwania.
Scraper Yandex WordStat by date obsługuje automatyczne powielanie zapytań, dzięki czemu możesz mieć pewność, że otrzymasz maksymalną liczbę wyników z wydania. A-Parser może również automatycznie przechodzić przez powiązane zapytania na określoną głębokość.
Funkcjonalność A-Parser pozwala na zapisywanie ustawień scrapowania do późniejszego wykorzystania (presety), ustawianie harmonogramu scrapowania i wiele więcej. Możesz korzystać z automatycznego powielania zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych i list w celu uzyskania maksymalnej możliwej liczby wyników.
Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala na stosowanie dodatkowej logiki do wyników i wyprowadzanie danych w różnych formatach, w tym JSON, SQL i CSV.
Przypadki użycia scrapera
🔗 Automatyzacja Wordstat bydate
Służy do przechowywania aktualnych informacji w bazie danych i przy każdym uruchomieniu generuje plik csv ze świeżymi danymi
Konta
Do działania scrapera 
SE::Yandex::WordStat::ByDate wymagane są konta Yandex. Konta można zarejestrować za pomocą scrapera 
SE::Yandex::Register lub po prostu dodać istniejące konta do pliku files/SE-Yandex/accounts.txt w obsługiwanym formacie.
Można również włączyć rejestrację kont "w locie".
Zbierane dane
- Statystyki słów kluczowych według miesięcy lub tygodni
- Data
- Wartość bezwzględna
- Wartość względna
Możliwości
- Obsługuje wybór regionu wyszukiwania (z podgrupami)
- Możliwość wyboru wielu regionów do oceny jednocześnie
- Obsługa automatycznego omijania Smart captcha oraz możliwość omijania captcha graficznej za pomocą usługi AntiCaptcha lub dowolnej innej obsługującej ich API
- Wybór typu urządzenia
- Możliwość wyboru metody autoryzacji
- Możliwość rejestracji kont "w locie"
- Obsługuje pracę z rozszerzonym formatem kont i potrafi odpowiadać na pytanie pomocnicze (jeśli odpowiedź znajduje się w
info). Używa również zapisanego proxy do autoryzacji (jeśli znajduje się winfo).
Warianty użycia
- Ocena ilości ruchu dla słowa kluczowego
- Identyfikacja sezonowych słów kluczowych
Zapytania
Jako zapytania należy podawać słowa kluczowe, dokładnie tak samo, jak gdyby były wpisywane bezpośrednio w formularzu wyszukiwania Wordstat, na przykład:
test
Warianty wyprowadzania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala na wyprowadzanie wyników w dowolnej formie, a także w formie strukturalnej, np. CSV lub JSON
Wynik domyślny
Format wyniku:
Views:\n$views.format('$date $count $relcount\n')
W wyniku wyświetlane są statystyki słów kluczowych za miesiąc i za tydzień:
Monthly:
2011-09-30 3010832 0.0008903808
2011-10-31 681432 0.0001825883
2011-11-30 628532 0.0001575008
2011-12-31 629072 0.0001495699
2012-01-31 561206 0.0001300651
2012-02-29 572039 0.0001290000
2012-03-31 614897 0.0001225754
2012-04-30 520433 0.0001185340
2012-05-31 521967 0.0001235327
2012-06-30 502568 0.0001299958
...
Weekly:
2012-09-16 118715 0.0001222877
2012-09-23 120799 0.0001211773
2012-09-30 137809 0.0001365837
2012-10-07 133929 0.0001313643
2012-10-14 140373 0.0001293922
2012-10-21 136014 0.0001242209
2012-10-28 148350 0.0001293328
2012-11-04 139556 0.0001232566
2012-11-11 154830 0.0001314057
2012-11-18 136458 0.0001147489
2012-11-25 149463 0.0001261401
2012-12-02 144724 0.0001197564
2012-12-09 149142 0.0001212195
2012-12-16 162864 0.0001298181
Wynik w tabeli CSV
Format wyniku:
[% FOREACH i IN views;
tools.CSVline(query, i.count, i.date);
END %]
Przykład wyniku:
"test",9661734,2012-03-31
"test",8567243,2012-04-30
"test",9028986,2012-05-31
"test",6082099,2012-06-30
"test",5531950,2012-07-31
"test",5214663,2012-08-31
"test",6603865,2012-09-30
"test",9127457,2012-10-31
"test",9238652,2012-11-30
Zapisywanie w formacie SQL
Format wyniku:
[% FOREACH i IN views;
"INSERT INTO views VALUES('" _ query _ "', '"; i.count _ "', '"; i.relcount _ "', '"; i.date _ "')\n";
END %]
Przykład wyniku:
INSERT INTO serp VALUES('test', '9661734', '0.0019259985', '2012-03-31')
INSERT INTO serp VALUES('test', '8567243', '0.0019512785', '2012-04-30')
INSERT INTO serp VALUES('test', '9028986', '0.0021368683', '2012-05-31')
INSERT INTO serp VALUES('test', '6082099', '0.0015732140', '2012-06-30')
INSERT INTO serp VALUES('test', '5531950', '0.0013160071', '2012-07-31')
INSERT INTO serp VALUES('test', '5214663', '0.0013327945', '2012-08-31')
INSERT INTO serp VALUES('test', '6603865', '0.0015936909', '2012-09-30')
INSERT INTO serp VALUES('test', '9127457', '0.0018740506', '2012-10-31')
INSERT INTO serp VALUES('test', '9238652', '0.0018308715', '2012-11-30')
Zrzut wyników do JSON
Ogólny format wyniku:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.views = [];
FOREACH item IN p1.views;
obj.views.push({
date = item.date
relcount = item.relcount
count = item.count
});
END;
obj.json %]
Tekst początkowy:
[
Tekst końcowy:
]
Przykład wyniku:
[{
"views": [
{
"count": "9661734",
"date": "2012-03-31",
"relcount": "0.0019259985"
},
{
"count": "8567243",
"date": "2012-04-30",
"relcount": "0.0019512785"
},
{
"count": "9028986",
"date": "2012-05-31",
"relcount": "0.0021368683"
}
]
}]
Zobacz również: Filtry wyników
Możliwe ustawienia
| Parametr | Wartość domyślna | Opis |
|---|---|---|
| Period | Monthly | Wybór okresu (Monthly/Weekly/Daily, Daily działa tylko z włączoną opcją Use Wordstat 2) |
| Start date | | Określenie, od której daty wykonać wyszukiwanie. Działa tylko z włączoną opcją Use Wordstat 2. Należy koniecznie uwzględnić zasady podawania daty |
| End date | | Określenie, do której daty wykonać wyszukiwanie. Działa tylko z włączoną opcją Use Wordstat 2. Należy koniecznie uwzględnić zasady podawania daty |
| Region | All | Region wyszukiwania |
| AntiGate preset | default | Należy wcześniej skonfigurować scraper  Util::AntiGate - podać swój klucz dostępu i inne parametry, a następnie wybrać utworzony preset tutaj |
| AntiGate preset for Login | default | Preset AntiGate dla logowania. Należy wcześniej skonfigurować scraper Util::AntiGate z parametrami, a następnie wybrać utworzony preset tutaj |
| Type | All | Wybór typu urządzenia |
| Accounts | Only from "accounts.txt" | Wybór metody pracy z kontami: Always auto register - zawsze automatycznie rejestruj konta "w locie", wymaga wybrania skonfigurowanego presetu w parametrze SE::Yandex::Register preset. Auto register if no more in "accounts.txt" - najpierw używane są istniejące konta z accounts.txt, a jeśli się skończą - używana jest automatyczna rejestracja "w locie", dla której odpowiednio należy wybrać skonfigurowany preset w parametrze SE::Yandex::Register preset. Only from "accounts.txt" - używaj tylko istniejących kont z accounts.txt, a jeśli się skończą - czekaj określony czas (parametr Wait new accounts in "accounts.txt") na pojawienie się nowych |
| Wait new accounts in "accounts.txt" | 0 | Czas oczekiwania na pojawienie się nowych kont w accounts.txt |
| Remove bad accounts | Always, except wrong login/password | Automatyczne usuwanie "złych" kont: Always - zawsze usuwaj. Always, except wrong login/password - usuwaj zawsze, z wyjątkiem przypadków, gdy Yandex poinformował o błędnym loginie/haśle. Wynika to z faktu, że taki komunikat Yandex może wyświetlać przy banie IP dla całkowicie sprawnego konta, dlatego opcjonalnie można pozostawić takie konta do ponownego użycia. Never - nigdy nie usuwaj. Niezależnie od wybranej opcji, przy błędach proxy/przeglądarki konta nie są usuwane |
| SE::Yandex::Register preset | default | Wybór presetu ustawień dla SE::Yandex::Register |
| Authorization method | HTTP | Metoda autoryzacji: HTTP - szybko, mało wymagające zasobowo. Chrome - wolno, wymagające zasobowo, teoretycznie może przedłużać żywotność kont |
| Chrome headless | ☑ | Jeśli opcja jest włączona, przeglądarka nie będzie wyświetlana |
| Use sessions | ☑ | Używanie sesji |
| Do not reset session if authorization passed | ☑ | Nie resetuj sesji przy błędach, jeśli scraper już się autoryzował |
| Use Wordstat 2 | ☐ | Używanie Wordstat 2 |
| Wordstat 2 parse all table data | ☑ | Pozwala na natychmiastowe pobranie wszystkich 2000 wyników dla zapytania bez przechodzenia przez paginację |