SE::Yandex::WordCraft - Scraper WordCraft. Dobór zapytań i analiza rynku

Przegląd scrapera
Yandex WordCraft (Wordcraft) to część usługi Yandex Webmaster, za pomocą której możesz dobrać docelowe zapytania do promocji i reklamy, biorąc pod uwagę popularność i środowisko konkurencyjne. Do analizy dostępnych są setki milionów unikalnych zapytań. Popyt, wyświetlenia, kliknięcia, pozycje są podawane jako średnie miesięczne z ubiegłego roku.
Scraper zapytań Yandex WordCraft obsługuje automatyczne powielanie zapytań, dzięki czemu możesz mieć pewność, że otrzymasz maksymalną liczbę wyników z wyników wyszukiwania.
Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania do późniejszego wykorzystania (presety), ustawiać harmonogram scrapowania i wiele więcej. Możesz korzystać z automatycznego powielania zapytań, podstawiania podzapytań z plików, przeszukiwania kombinacji alfanumerycznych i list, aby uzyskać maksymalną możliwą liczbę wyników podczas scrapowania Yandex Wordstat.
Zapisywanie wyników jest możliwe w takiej formie i strukturze, jakiej potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym TXT, JSON, SQL i CSV.
Konta
Do działania scrapera
SE::Yandex::WordCraft wymagane są konta Yandex. Konta można zarejestrować za pomocą scrapera
SE::Yandex::Register lub po prostu dodać istniejące konta do pliku files/SE-Yandex/accounts.txt w obsługiwanym formacie.
Można również włączyć rejestrację kont "w locie".
Aby pracować z autoryzacją przez sesję, konieczne jest, aby ciąg z danymi był w następującym formacie:
[email protected];MAQT78Z31Rinx4H;{"answer":"qmfhsxdcrk","proxy":"185.104.120.45:3128","session_id":"3:1748440908.5.0.1748440867459:ZXBxpg:47e4.1.2:1|2191075974.41.2.2:41.3:1748440908|3:10308131.797655.5pfkoRZWgLJGntKTlcUhYdysNfk"}
Zbierane dane
- Zapytania użytkowników (główne):
- Zapytanie, konkurencyjność, popyt, kliknięcia
- Zapytania użytkowników (dodatkowe):
- Zapytanie, konkurencyjność, popyt, kliknięcia
- Popularne witryny w wyszukiwarce Yandex (witryny):
- Witryna, częstotliwość wyświetleń, średnia pozycja
- Popularne witryny w wyszukiwarce Yandex (strony):
- URL, częstotliwość wyświetleń, średnia pozycja, liczba zapytań, nagłówek
Zastosowania
- Ocena konkurencyjności słowa kluczowego (popyt, kliknięcia)
- Wyszukiwanie nowych słów kluczowych o podobnej tematyce
- Zbieranie dużych baz słów kluczowych o różnej tematyce
- Wszelkie inne warianty zakładające scrapowanie Yandex Webmaster WordCraft w tej czy innej formie
Zapytania
Jako zapytania należy podawać słowa kluczowe, dokładnie tak samo, jak gdyby były wpisywane bezpośrednio w polu wyszukiwania zapytania WordCraft, na przykład:
odkurzacz
seo
Warianty wyprowadzania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w ustrukturyzowanej, na przykład CSV lub JSON
Wynik domyślny
Przykład wyprowadzenia listy zapytań użytkowników (główne). Format wyniku:
User queries general: $uqg.format('$query,$compet,$demand,$clicks\n')
W rezultacie lista:
odkurzacz,HIGH,33190,9248
odkurzacz,HIGH,31204,8768
odkurzacz,HIGH,14097,6082
...
odkurzacz,HIGH,791,656
Aby wyprowadzić wyniki używając Ogólny format wyników należy podać numer scrapera w zadaniu - $p1. (parser 1) lub p1. jeśli używany jest szablon Template Toolkit. Na przykład:
User queries general: $p1.uqg.format('$query,$compet,$demand,$clicks\n')
Co to jest Ogólny format wyników zobacz w Edycja formatu wyniku
Wynik w tabeli CSV
Przykład wyprowadzenia listy zapytań użytkowników (główne) do tabeli CSV. Format wyniku:
[%
FOREACH uqg;
tools.CSVline(query,compet,demand,clicks);
END;
%]
Przykład wyprowadzenia listy zapytań użytkowników (dodatkowe) do tabeli CSV. Format wyniku:
[%
FOREACH uqa;
tools.CSVline(query,compet,demand,clicks);
END;
%]
Przykład wyprowadzenia listy popularnych witryn w wyszukiwarce Yandex (witryny) do tabeli CSV. Format wyniku:
[%
FOREACH rs;
tools.CSVline(site,popul,position);
END;
%]
Przykład wyprowadzenia listy popularnych witryn w wyszukiwarce Yandex (strony) do tabeli CSV. Format wyniku:
[%
FOREACH rp;
tools.CSVline(url,popul,position,queries,title);
END
%]
Zobacz również: Filtry wyników
Opcje
- Parse queries for Rivals pages - po włączeniu tej opcji zbierane są popularne zapytania dla każdego z linków w Rivals pages. Zebrane dane są zapisywane jako obiekt JSON w zmiennej
$rp.$i.queries_json. Włączenie tej opcji znacznie wydłuża czas scrapowania, ponieważ scraper wykonuje wiele dodatkowych podzapytań.
Możliwe ustawienia
| Parametr | Wartość domyślna | Opis |
|---|---|---|
| AntiGate preset | default | Należy wstępnie skonfigurować scraper Util::AntiGate - podać swój klucz dostępu i inne parametry, a następnie wybrać utworzony preset tutaj |
| AntiGate preset for Login | default | Preset AntiGate dla logowania. Należy wstępnie skonfigurować scraper Util::AntiGate z parametrami, a następnie wybrać utworzony preset tutaj |
| Accounts | Only from "accounts.txt" | Wybór metody pracy z kontami: Always auto register - zawsze automatycznie rejestruj konta "w locie", wymagane jest wybranie skonfigurowanego presetu w parametrze SE::Yandex::Register preset. Auto register if no more in "accounts.txt" - najpierw używane są istniejące konta z accounts.txt, a jeśli się skończą - używana jest automatyczna rejestracja "w locie", dla której odpowiednio należy wybrać skonfigurowany preset w parametrze SE::Yandex::Register preset. Only from "accounts.txt" - używaj tylko istniejących kont z accounts.txt, a jeśli się skończą - czekaj określony czas (parametr Wait new accounts in "accounts.txt") na pojawienie się nowych. Only by session_id from "accounts.txt" - autoryzacja przez ciasteczka. |
| Wait new accounts in "accounts.txt" | 0 | Czas oczekiwania na pojawienie się nowych kont w accounts.txt |
| Remove bad accounts | Always, except wrong login/password | Automatyczne usuwanie "złych" kont: Always - zawsze usuwaj. Always, except wrong login/password - usuwaj zawsze, z wyjątkiem przypadków, gdy Yandex poinformował o błędnym loginie/haśle. Wynika to z faktu, że taki komunikat Yandex może zwracać przy blokadzie IP dla całkowicie sprawnego konta, dlatego opcjonalnie można zostawiać takie konta do ponownego użycia. Never - nigdy nie usuwaj. Niezależnie od wybranego wariantu, przy błędach proxy/przeglądarki konta nie są usuwane |
| SE::Yandex::Register preset | default | Wybór presetu ustawień dla SE::Yandex::Register |
| Use sessions | ☑ | Użycie sesji |
| Do not reset session if authorization passed | ☑ | Nie resetuj sesji przy błędach, jeśli scraper już się autoryzował |
| SE::Yandex::Register preset | default | Wybór presetu ustawień dla SE::Yandex::Register |
