SE::Yandex::Suggest - Scraper podpowiedzi wyszukiwania Yandex
Przegląd scrapera
Scraper podpowiedzi wyszukiwania według słów kluczowych w Yandex. Dzięki scraperowi SE::Yandex::Suggest będziesz mógł automatycznie zbierać bazy kluczy z podpowiedzi wyszukiwarki Yandex na zapytanie. Używając scrapera SE::Yandex::Suggest można łatwo i szybko scrapować podpowiedzi Yandex na zapytanie w oparciu o region.
Scraper podpowiedzi Yandex rozwiązuje jedno z głównych zadań SEO, a mianowicie szybkie, zautomatyzowane pozyskiwanie rozszerzonego jądra semantycznego. Podpowiedzi wyszukiwania Google pozwalają objąć maksymalną liczbę fraz, a w połączeniu ze scraperem słów kluczowych Yandex - 
SE::Yandex::WordStat otrzymasz maksymalnie spójną semantykę, która pomoże przyciągnąć więcej ruchu organicznego.
Dzięki wielowątkowej pracy A-Parser, prędkość przetwarzania zapytań może osiągać 5700 zapytań na minutę, co średnio pozwala uzyskiwać do 17000-18000 wyników na minutę.
Możesz korzystać z automatycznego rozmnażania zapytań, podstawiania podzapytań z plików, iteracji kombinacji alfanumerycznych i list w celu uzyskania maksymalnej możliwej liczby wyników. Używając filtrowania wyników możesz od razu wyczyścić wynik, usuwając wszystkie niepotrzebne śmieci (używając słów wykluczających).
Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera SE::Yandex::Suggest do dalszego wykorzystania (presety), ustawiać harmonogram scrapowania i wiele więcej.
Zapisywanie wyników jest możliwe w takiej formie i strukturze, jakiej potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.
Zbierane dane
- Liczba wyników na zapytanie
- Podpowiedzi do zapytania
- Przy wyborze 2. sposobu zapytania zbierane są również dodatkowe dane i typ podpowiedzi
Warianty użycia
- Zbieranie baz słów kluczowych
Zapytania
Jako zapytania należy podawać frazy wyszukiwania, na przykład:
forex
napisać referat
referaty online
kupić samochód w Moskwie
wiadomości
Podstawienia zapytań
Możesz używać wbudowanych makr do automatycznego podstawiania podzapytań z plików, na przykład chcemy do każdego zapytania dodać jakąś listę innych słów, wskażemy kilka głównych zapytań:
essay
article
thesis
W formacie zapytań wskażemy makro podstawiania dodatkowych słów z pliku Keywords.txt, ta metoda pozwala wielokrotnie zwiększyć wariatywność zapytań:
{subs:Keywords} $query
To makro utworzy tyle samo dodatkowych zapytań, ile znajduje się w pliku dla każdego wyjściowego zapytania wyszukiwania, co w sumie da [liczba wyjściowych zapytań(domeny)] x [liczba zapytań w pliku Keywords] = [całkowita liczba zapytań] w wyniku działania makra.
Na przykład, jeśli plik Keywords.txt będzie zawierał:
buy
cheap
W rezultacie makro podstawień zamieni 3 główne zapytania w 6:
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Warianty wyprowadzania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w ustrukturyzowanej, na przykład CSV lub JSON
Eksport listy podpowiedzi
Format wyniku:
$results.format('$suggest\n')
Przykład wyniku:
referaty online za darmo
referaty online zamówienie
referaty online pobierz za darmo
referaty online pobierz
referaty online zrób
referaty online robić
referaty online znajdź
referaty online za darmo zrobić
referaty online zamówić
Wyprowadzanie zapytania, liczby znalezionych podpowiedzi, podpowiedzi według zapytania
Format wyniku:
$query - $totalcount:\n$results.format('$suggest\n')
Przykład wyniku:
referaty online - 10:
referaty online
referaty online za darmo
referaty online zamówienie
referaty online pobierz za darmo
referaty online pobierz
referaty online zrób
referaty online robić
referaty online znajdź
referaty online za darmo zrobić
referaty online zamówić
Wyprowadzanie do tabeli CSV
Wbudowane narzędzie $tools.CSVLine pozwala tworzyć poprawne dokumenty tabelaryczne, gotowe do importu do Excela lub Google Sheets.
Format wyniku:
[% FOREACH i IN results;
tools.CSVline(i.suggest);
END %]
Nazwa pliku:
$datefile.format().csv
Tekst początkowy:
Podpowiedzi
W Ogólnym formacie wyników stosowany jest silnik szablonów Template Toolkit do wyprowadzania elementów suggest tablicy results w pętli FOREACH.
W nazwie pliku wyników wystarczy zmienić rozszerzenie pliku na csv.
Aby opcja "Prepend text" była dostępna w Edytorze zadań, należy aktywować "More options". W "Prepend text" wpisujemy nazwy kolumn oddzielone przecinkami, a drugą linię pozostawiamy pustą.
Konkurencja słów kluczowych
Analogicznie jak w SE::Yandex.
Zapisywanie w formacie SQL
Format wyniku:
[% FOREACH results;
"INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "')\n";
END %]
Przykład wyniku:
INSERT INTO serp VALUES('referaty online', 'referaty online')
INSERT INTO serp VALUES('referaty online', 'referaty online za darmo')
INSERT INTO serp VALUES('referaty online', 'referaty online na zamówienie')
INSERT INTO serp VALUES('referaty online', 'referaty online pobierz za darmo')
INSERT INTO serp VALUES('referaty online', 'referaty online pobierz')
INSERT INTO serp VALUES('referaty online', 'referaty online zrób')
INSERT INTO serp VALUES('referaty online', 'referaty online robić')
INSERT INTO serp VALUES('referaty online', 'referaty online znajdź')
...
Zrzut wyników do JSON
Ogólny format wyniku:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.totalcount = p1.totalcount;
obj.suggests = [];
FOREACH item IN p1.serp;
obj.suggests.push(item.suggest);
END;
obj.json %]
Tekst początkowy:
[
Tekst końcowy:
]
Przykład wyniku:
[{"suggests":["referaty online","referaty online za darmo","referaty online zamówienie","referaty online pobierz za darmo","referaty online pobierz","referaty online zrób","referaty online robić","referaty online znajdź","referaty online za darmo zrobić","referaty online zamówić"],"totalcount":10}]
Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".
Przetwarzanie wyników
A-Parser pozwala przetwarzać wyniki bezpośrednio podczas scrapowania, w tej sekcji przedstawiliśmy najpopularniejsze przypadki dla scrapera SE::Yandex::Suggest
Opcja Scrapuj do poziomu (Parse to level)
Opcja wskazuje scraperowi, aby podstawiał otrzymane wyniki do kolejki zapytań w głąb do określonego poziomu, na przykład:
- Jeśli wskazano 1. poziom, scraper doda do zapytań wszystkie wyniki otrzymane z wyjściowego zapytania
- Jeśli wskazano 2. poziom, scraper doda do zapytań wszystkie wyniki otrzymane z wyjściowego zapytania + wszystkie wyniki otrzymane z zapytań z 1. poziomu
- itd.
Mówiąc prościej - jest to podstawianie otrzymywanych wyników do kolejki zapytań, co z kolei pozwala zeskrapować więcej wyników. Ponieważ w wynikach najprawdopodobniej będą duplikaty, aby scraper nie wykonywał niepotrzebnej pracy (nie scrapował tego samego), zaleca się włączenie unikalności zapytań (Unique queries)
Pobierz przykład
Jak zaimportować przykład do A-Parser
eJx1VFtv2jAU/iuVhdRVQggKfVjeKCrSJtZ0pX2YgAe3Pom8OrZnO6woyn/vsRPi
wLoXy+f2nct37Io4at/sgwELzpJkUxEd7iQhDDJaCkeGRFNjwXjzhqzvkuQXlQze
k2Rd5jlY79H5VsQdNGC02oMxnAEaOUM5U6agDrEbyD0VpXcbNBo7auxfLge2Ad1u
5eUVqXuA2nEl7REv1LSCPYiINhnX/y9AmOh4PZnWu92QtMmXIbevRk9Gbf+dcU33
8KR8B1xAVC9RuqdF6IFRB956bOJq5N49AmWM+6KpaDL4Ccasz5L/CTOQCn3xajjY
pVEFqhwEAK88HKvbkEGQCUKUIfZnE0OSjAoLQ2Kx1CXFQti5hTsw1CmTtkNMKqLk
XIgwwOgW8G9LLhjSPc8w6Fsb+LlL+g9G3bXXT4VU/DVYQ4cSpNv0R4xiaqXy4zAE
L7hD2S5UKT0xY1S+AehuZvferVAGujQtcpsdN1qD9LxHyuY6qk7aOKHlVPmqZMbz
tN2lo2cpn/DZpHKhCi3A9yVLIZAWC49xPea2pcELscDz4EVIcfLgnFLCfl83pWrD
cf1ufIEFTrKftYV8pUI8P676Fh9ondKpvDPmjL6wGGRbjmezsT+nN+E+690bfThn
1+F8uQgqCCcL50t0mn5t9TIwewHW0gPxlTnIFe4szq3edT9J999Un/4nSVXjRvy2
D423H5/3RR3yYJFufOr1Bxh5omw=
Filtrowanie wyników (użycie słów wykluczających)
Używając słów wykluczających, można od razu usuwać wyniki, których nie potrzebujesz. Podobnie używając filtra można pozostawiać tylko te wyniki, które zawierają potrzebne słowa.
Pobierz przykład
Jak zaimportować przykład do A-Parser
eJx1VN9vGjEM/leqCKmrVCEoIG33RlGRNrHSFfowAQ+BMyxrLrklOVbE7n+f44S7
g3UvUWx/tr/4R47McftqnwxYcJYliyPL6c4SlsKWF9KxW5ZzY8F484LNHpLkO1cp
vCXJrNjtwHpEhT0yd8gBvfUejBEpoFGkKG+1ybjD2CHknsvCw1pBY9vB/uG6ZUPQ
5VJd37CyETB3Qit7ikecJrAHWUfrdsr/E5CmBt51ew3kVkgH3hrZJYt488kiHba6
jbh5cDKgtEPGmx+N1yyLTr/f92fvI51r0mzovvlDQpeEAd07DWi4rwnUu2sY+rVD
z78mFAKzsXK1OpG2Y6qfr2jebcceVsYZ38Nch6dCrR6j9Mgz6kPKHXjrqRE3bffm
I/A0FT4flyGDn4I664sSv+jlSiMWr0aAHRudocoBBfDKw4ndgrVI9uUsyPdb8GHJ
lksLWG+kOuZIJL20CCw+d9pM4yAkR6bVUEoaghpG8e8LIVMc2eEWnT5Hx/ch039i
lNXzmqlwnH4b5FBFIel++rX2SvVE707FkCITDmU70oXyjemg8hUgr2r26GGZNlCl
iZFjdtzKHJSf3bplw7xWnT3jrC3nyo1WW7Gbxn04IQs1x9WfqpHOcgn+XaqQEtti
4bkej6GNbfBCTfDSeUQpzj4Np7W0X2aBam4Ejt/AE8ywks2sMeSGS/nyPGlavKN1
Op+qB2Mu2keDwRpLNGjsXnO56OzTPvXXV2GJ6EzrBY279ynqFXX2CqzlB+aZOdhp
nFmsW7mqfsPqzzy++ycmxxIn4qd9CmhfPo9FHfbB0gJ3y7/kMN7o
Zobacz również: Filtry wyników
Możliwe ustawienia
| Nazwa parametru | Wartość domyślna | Opis |
|---|---|---|
| Region | Rosja | Wybór regionu, z którego przeprowadzane jest wyszukiwanie |
| Request method | Method 1 | Sposób zapytania: Method 1 - stara metoda, taka sama jak wcześniej; Method 2 - nowa metoda, pozwala zbierać wszystkie rozszerzone podpowiedzi (reklamy, fakty, linki do stron) |