SE::Yandex::WordStat::ByRegion -
Przegląd scrapera
Wordstat to usługa Yandex, przeznaczona do oceny zainteresowania użytkowników różnymi tematami oraz doboru słów kluczowych dla optymalizacji SEO i reklamy kontekstowej. Ponadto, za pomocą Wordstat Yandex można ocenić sezonowość i zależność geograficzną zapytań wyszukiwania.
Scraper Yandex WordStat by region obsługuje automatyczne powielanie zapytań, dzięki czemu możesz mieć pewność, że otrzymasz maksymalną liczbę wyników z wydania. A-Parser może również automatycznie przechodzić przez powiązane zapytania na określoną głębokość.
Funkcjonalność A-Parser pozwala na zapisywanie ustawień scrapowania do późniejszego wykorzystania (presety), ustawianie harmonogramu scrapowania i wiele więcej. Możesz korzystać z automatycznego powielania zapytań, podstawiania podzapytań z plików, iteracji kombinacji alfanumerycznych i list, aby uzyskać maksymalną możliwą liczbę wyników.
Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala na stosowanie dodatkowej logiki do wyników i wyprowadzanie danych w różnych formatach, w tym JSON, SQL i CSV.
Konta
Do działania scrapera 
SE::Yandex::WordStat::ByRegion wymagane są konta Yandex. Konta można zarejestrować za pomocą scrapera 
SE::Yandex::Register lub po prostu dodać istniejące konta do pliku files/SE-Yandex/accounts.txt w obsługiwanym formacie.
Można również włączyć rejestrację kont "w locie".
Zbierane dane
- Całkowita liczba wyświetleń dla zapytania
- Statystyki słów kluczowych według regionów i miast:
- Region/Miasto
- Liczba wyświetleń miesięcznie
- Popularność regionalna w %
Możliwości
- Obsługa automatycznego omijania Smart captcha oraz możliwość omijania captcha graficznej za pomocą serwisu AntiCaptcha lub dowolnego innego obsługującego ich API
- Wybór typu urządzenia
- Możliwość wyboru metody autoryzacji
- Możliwość rejestracji kont "w locie"
- Obsługuje pracę z rozszerzonym formatem kont i potrafi odpowiadać na pytanie pomocnicze (jeśli odpowiedź znajduje się w
info). Używa również zapisanego proxy do autoryzacji (jeśli znajduje się winfo).
Warianty wykorzystania
- Ocena ilości ruchu dla słowa kluczowego w podziale na regiony
Zapytania
Jako zapytania należy podawać słowa kluczowe, dokładnie tak samo, jak gdyby były wpisywane bezpośrednio w formularzu wyszukiwania Wordstat, na przykład:
test
Warianty wyprowadzania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu na wyprowadzanie wyników w dowolnej formie, a także w formie ustrukturyzowanej, na przykład CSV lub JSON
Wynik domyślny
Format wyniku:
$query - Total views: $totalcount\nViews by regions:\n$regions.format('$region $count, $popularity%\n')\nViews by cities:\n$cities.format('$city $count, $popularity%\n')
W wyniku wyświetlana jest liczba wyświetleń dla zapytania, statystyki słów kluczowych według regionów i miast, liczba wyświetleń miesięcznie oraz popularność regionalna:
test - Total views: 872855
Views by regions:
Moskwa i obwód moskiewski 147107, 85%
Centrum 194716, 77%
Północny Zachód 55815, 70%
Południe 31759, 67%
Nadwołże 86006, 66%
...
Views by cities:
Czyta 2937, 113%
Sankt Petersburg 35713, 73%
Biełgorod 2737, 58%
Iwanowo 1773, 55%
Kaługa 2196, 64%
Kostroma 1166, 49%
Wynik w tabeli CSV
Format wyniku:
[% FOREACH i IN regions;
tools.CSVline(query, i.popularity, i.region, i.count);
END %]
Przykład wyniku:
"test",88,"Moskwa i obwód moskiewski",1902795
"test",96,"Centrum",2992864
"test",95,"Północny Zachód",926138
"test",112,Południe,647140
"test",124,"Nadwołże",1927873
"test",64,"Zachód",60975
"test",86,"Wschód",427304
Zapisywanie w formacie SQL
Format wyniku:
[% FOREACH i IN regions;
"INSERT INTO regions VALUES('" _ query _ "', '"; i.popularity _ "', '"; i.count _ "', '"; i.region _ "')\n";
END %]
Przykład wyniku:
INSERT INTO regions VALUES('test', '88', '1902795', 'Moskwa i obwód moskiewski')
INSERT INTO regions VALUES('test', '96', '2992864', 'Centrum')
INSERT INTO regions VALUES('test', '95', '926138', 'Północny Zachód')
INSERT INTO regions VALUES('test', '112', '647140', 'Południe')
INSERT INTO regions VALUES('test', '124', '1927873', 'Nadwołże')
INSERT INTO regions VALUES('test', '64', '60975', 'Zachód')
INSERT INTO regions VALUES('test', '86', '427304', 'Wschód')
INSERT INTO regions VALUES('test', '80', '89569', 'Południe')
INSERT INTO regions VALUES('test', '75', '356560', 'Centrum')
INSERT INTO regions VALUES('test', '77', '34894', 'Północ')
Zrzut wyników do JSON
Ogólny format wyniku:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.totalcount = p1.totalcount;
obj.regions = [];
FOREACH item IN p1.regions;
obj.regions.push({
popularity = item.popularity
region = item.region
count = item.count
});
END;
obj.json %]
Tekst początkowy:
[
Tekst końcowy:
]
Przykład wyniku:
[
{
"regions": [
{
"count": "1902795",
"popularity": 88,
"region": "Moskwa i obwód moskiewski"
},
{
"count": "2992864",
"popularity": 96,
"region": "Centrum"
},
{
"count": "926138",
"popularity": 95,
"region": "Północny Zachód"
},
{
"count": "647140",
"popularity": 112,
"region": "Południe"
},
{
"count": "34894",
"popularity": 77,
"region": "Północ"
},
],
"totalcount": "10837937"
}
]
Zobacz również: Filtry wyników
Możliwe ustawienia
| Parametr | Wartość domyślna | Opis |
|---|---|---|
| AntiGate preset | default | Należy wcześniej skonfigurować scraper  Util::AntiGate - podać swój klucz dostępu i inne parametry, a następnie wybrać utworzony preset tutaj |
| AntiGate preset for Login | default | Preset AntiGate dla logowania. Należy wcześniej skonfigurować scraper Util::AntiGate z parametrami, a następnie wybrać utworzony preset tutaj |
| Type | All | Wybór typu urządzenia |
| Accounts | Only from "accounts.txt" | Wybór metody pracy z kontami: Always auto register - zawsze automatycznie rejestruj konta "w locie", wymaga wybrania skonfigurowanego presetu w parametrze SE::Yandex::Register preset. Auto register if no more in "accounts.txt" - najpierw używane są istniejące konta z accounts.txt, a jeśli się skończą - używana jest automatyczna rejestracja "w locie", dla której odpowiednio należy wybrać skonfigurowany preset w parametrze SE::Yandex::Register preset. Only from "accounts.txt" - używaj tylko istniejących kont z accounts.txt, a jeśli się skończą - czekaj określony czas (parametr Wait new accounts in "accounts.txt") na pojawienie się nowych |
| Wait new accounts in "accounts.txt" | 0 | Czas oczekiwania na pojawienie się nowych kont w accounts.txt |
| Remove bad accounts | Always, except wrong login/password | Automatyczne usuwanie "złych" kont: Always - zawsze usuwaj. Always, except wrong login/password - usuwaj zawsze, z wyjątkiem przypadków, gdy Yandex poinformował o błędnym loginie/haśle. Wynika to z faktu, że taki komunikat Yandex może wyświetlać przy banie IP dla całkowicie sprawnego konta, dlatego opcjonalnie można pozostawiać takie konta do ponownego użycia. Never - nigdy nie usuwaj. Niezależnie od wybranej opcji, przy błędach proxy/przeglądarki konta nie są usuwane |
| SE::Yandex::Register preset | default | Wybór presetu ustawień dla SE::Yandex::Register |
| Authorization method | HTTP | Metoda autoryzacji: HTTP - szybko, małe wymagania zasobów. Chrome - wolno, duże wymagania zasobów, teoretycznie może wydłużać żywotność kont |
| Chrome headless | ☑ | Jeśli opcja jest włączona, przeglądarka nie będzie wyświetlana |
| Use sessions | ☑ | Użycie sesji |
| Do not reset session if authorization passed | ☑ | Nie resetuj sesji przy błędach, jeśli scraper już się autoryzował |
| Use Wordstat 2 | ☐ | Użycie Wordstat 2 |
| Wordstat 2 parse all table data | ☑ | Pozwala na natychmiastowe pobranie wszystkich 2000 wyników dla zapytania bez przechodzenia przez paginację |