Przejdź do treści głównej

SE::Yandex::WordCraft - Scraper WordCraft. Dobór zapytań i analiza rynku

img

Przegląd scrapera

Yandex WordCraft (Wordcraft) to część usługi Yandex Webmaster, za pomocą której możesz dobrać docelowe zapytania do promocji i reklamy, biorąc pod uwagę popularność i środowisko konkurencyjne. Do analizy dostępnych są setki milionów unikalnych zapytań. Popyt, wyświetlenia, kliknięcia, pozycje są podawane jako średnie miesięczne z ubiegłego roku.

Scraper zapytań Yandex WordCraft obsługuje automatyczne powielanie zapytań, dzięki czemu możesz mieć pewność, że otrzymasz maksymalną liczbę wyników z wyników wyszukiwania.

Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania do późniejszego wykorzystania (presety), ustawiać harmonogram scrapowania i wiele więcej. Możesz korzystać z automatycznego powielania zapytań, podstawiania podzapytań z plików, przeszukiwania kombinacji alfanumerycznych i list, aby uzyskać maksymalną możliwą liczbę wyników podczas scrapowania Yandex Wordstat.

Zapisywanie wyników jest możliwe w takiej formie i strukturze, jakiej potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym TXT, JSON, SQL i CSV.

Konta

Do działania scrapera SE::Yandex::WordCraftSE::Yandex::WordCraft wymagane są konta Yandex. Konta można zarejestrować za pomocą scrapera SE::Yandex::RegisterSE::Yandex::Register lub po prostu dodać istniejące konta do pliku files/SE-Yandex/accounts.txt w obsługiwanym formacie.

Można również włączyć rejestrację kont "w locie".

Aby pracować z autoryzacją przez sesję, konieczne jest, aby ciąg z danymi był w następującym formacie: [email protected];MAQT78Z31Rinx4H;{"answer":"qmfhsxdcrk","proxy":"185.104.120.45:3128","session_id":"3:1748440908.5.0.1748440867459:ZXBxpg:47e4.1.2:1|2191075974.41.2.2:41.3:1748440908|3:10308131.797655.5pfkoRZWgLJGntKTlcUhYdysNfk"}

Zbierane dane

  • Zapytania użytkowników (główne):
    • Zapytanie, konkurencyjność, popyt, kliknięcia
  • Zapytania użytkowników (dodatkowe):
    • Zapytanie, konkurencyjność, popyt, kliknięcia
  • Popularne witryny w wyszukiwarce Yandex (witryny):
    • Witryna, częstotliwość wyświetleń, średnia pozycja
  • Popularne witryny w wyszukiwarce Yandex (strony):
    • URL, częstotliwość wyświetleń, średnia pozycja, liczba zapytań, nagłówek

Zastosowania

  • Ocena konkurencyjności słowa kluczowego (popyt, kliknięcia)
  • Wyszukiwanie nowych słów kluczowych o podobnej tematyce
  • Zbieranie dużych baz słów kluczowych o różnej tematyce
  • Wszelkie inne warianty zakładające scrapowanie Yandex Webmaster WordCraft w tej czy innej formie

Zapytania

Jako zapytania należy podawać słowa kluczowe, dokładnie tak samo, jak gdyby były wpisywane bezpośrednio w polu wyszukiwania zapytania WordCraft, na przykład:

odkurzacz
seo

Warianty wyprowadzania wyników

A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w ustrukturyzowanej, na przykład CSV lub JSON

Wynik domyślny

Przykład wyprowadzenia listy zapytań użytkowników (główne). Format wyniku:

User queries general: $uqg.format('$query,$compet,$demand,$clicks\n')

W rezultacie lista:

odkurzacz,HIGH,33190,9248
odkurzacz,HIGH,31204,8768
odkurzacz,HIGH,14097,6082
...
odkurzacz,HIGH,791,656
notatka

Aby wyprowadzić wyniki używając Ogólny format wyników należy podać numer scrapera w zadaniu - $p1. (parser 1) lub p1. jeśli używany jest szablon Template Toolkit. Na przykład:

User queries general: $p1.uqg.format('$query,$compet,$demand,$clicks\n')

Co to jest Ogólny format wyników zobacz w Edycja formatu wyniku

Wynik w tabeli CSV

Przykład wyprowadzenia listy zapytań użytkowników (główne) do tabeli CSV. Format wyniku:

[%  
FOREACH uqg;
tools.CSVline(query,compet,demand,clicks);
END;
%]

Przykład wyprowadzenia listy zapytań użytkowników (dodatkowe) do tabeli CSV. Format wyniku:

[%  
FOREACH uqa;
tools.CSVline(query,compet,demand,clicks);
END;
%]

Przykład wyprowadzenia listy popularnych witryn w wyszukiwarce Yandex (witryny) do tabeli CSV. Format wyniku:

[%  
FOREACH rs;
tools.CSVline(site,popul,position);
END;
%]

Przykład wyprowadzenia listy popularnych witryn w wyszukiwarce Yandex (strony) do tabeli CSV. Format wyniku:

[%  
FOREACH rp;
tools.CSVline(url,popul,position,queries,title);
END
%]
wskazówka

Zobacz również: Filtry wyników

Opcje

  • Parse queries for Rivals pages - po włączeniu tej opcji zbierane są popularne zapytania dla każdego z linków w Rivals pages. Zebrane dane są zapisywane jako obiekt JSON w zmiennej $rp.$i.queries_json. Włączenie tej opcji znacznie wydłuża czas scrapowania, ponieważ scraper wykonuje wiele dodatkowych podzapytań.

Możliwe ustawienia

ParametrWartość domyślnaOpis
AntiGate presetdefaultNależy wstępnie skonfigurować scraper Util::AntiGateUtil::AntiGate - podać swój klucz dostępu i inne parametry, a następnie wybrać utworzony preset tutaj
AntiGate preset for LogindefaultPreset AntiGate dla logowania. Należy wstępnie skonfigurować scraper Util::AntiGateUtil::AntiGate z parametrami, a następnie wybrać utworzony preset tutaj
AccountsOnly from "accounts.txt"Wybór metody pracy z kontami: Always auto register - zawsze automatycznie rejestruj konta "w locie", wymagane jest wybranie skonfigurowanego presetu w parametrze SE::Yandex::Register preset. Auto register if no more in "accounts.txt" - najpierw używane są istniejące konta z accounts.txt, a jeśli się skończą - używana jest automatyczna rejestracja "w locie", dla której odpowiednio należy wybrać skonfigurowany preset w parametrze SE::Yandex::Register preset. Only from "accounts.txt" - używaj tylko istniejących kont z accounts.txt, a jeśli się skończą - czekaj określony czas (parametr Wait new accounts in "accounts.txt") na pojawienie się nowych. Only by session_id from "accounts.txt" - autoryzacja przez ciasteczka.
Wait new accounts in "accounts.txt"0Czas oczekiwania na pojawienie się nowych kont w accounts.txt
Remove bad accountsAlways, except wrong login/passwordAutomatyczne usuwanie "złych" kont: Always - zawsze usuwaj. Always, except wrong login/password - usuwaj zawsze, z wyjątkiem przypadków, gdy Yandex poinformował o błędnym loginie/haśle. Wynika to z faktu, że taki komunikat Yandex może zwracać przy blokadzie IP dla całkowicie sprawnego konta, dlatego opcjonalnie można zostawiać takie konta do ponownego użycia. Never - nigdy nie usuwaj. Niezależnie od wybranego wariantu, przy błędach proxy/przeglądarki konta nie są usuwane
SE::Yandex::Register presetdefaultWybór presetu ustawień dla SE::Yandex::RegisterSE::Yandex::Register
Use sessionsUżycie sesji
Do not reset session if authorization passedNie resetuj sesji przy błędach, jeśli scraper już się autoryzował
SE::Yandex::Register presetdefaultWybór presetu ustawień dla SE::Yandex::RegisterSE::Yandex::Register