SE::Rambler - scraper wyników wyszukiwania Rambler
Przegląd scrapera
Scraper wyników wyszukiwania Rambler. Dzięki scraperowi Rambler będziesz mógł uzyskiwać duże bazy linków, gotowych do dalszego wykorzystania. Możesz używać zapytań w takiej samej formie, w jakiej wpisujesz je w pasek wyszukiwania Rambler, włączając w to operatory wyszukiwania (site itp.).
Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera Rambler do dalszego wykorzystania (presety), ustalać harmonogram scrapowania i wiele więcej. Możesz korzystać z automatycznego mnożenia zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych i list w celu uzyskania maksymalnej możliwej liczby wyników.
Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.
Zbierane dane
$totalcount— liczba wyników w wyszukiwarce. Tylko z pierwszej strony; jeśli brak liczby — puste$serp.$i.link,$serp.$i.anchor,$serp.$i.snippet— link, anchor, snippet$hints.$i.hint— powiązane słowa kluczowe. Tylko z pierwszej strony; jeśli brak podpowiedzi — puste
Możliwości
- Wsparcie dla operatorów wyszukiwania Rambler (url:, site:, inurl:, host:, rhost:, domain:)
- Do 25 stron, nie więcej niż ~250 wyników
- Powiązane słowa kluczowe (
$hints.$i.hint) - Rodzaj wyników: desktop, mobilny Android lub mobilny iOS
Warianty użycia
- Zbieranie baz linków
- Ocena konkurencji dla słów kluczowych
- Wyszukiwanie backlinków (wspomnień) o stronach
- Wszystkie przypadki, gdy trzeba scrapować wyniki wyszukiwania Rambler
Zapytania
Wprowadzaj zapytania tak samo, jak w wyszukiwarce Rambler. Załóżmy, że potrzebne są tylko linki z jednej strony. Wpisujemy w pole zapytań:
"kupić drzwi" site:http://kp.ru
Podstawienia zapytań
Możesz użyć wbudowanych makr do mnożenia zapytań, na przykład chcemy uzyskać bardzo dużą bazę forów, podamy kilka głównych zapytań w różnych językach:
forum
forum
foro
论坛
W formacie zapytań wskażemy generowanie znaków od a do zzzz, ta metoda pozwala maksymalnie rotować wyniki wyszukiwania i uzyskiwać mnóstwo nowych unikalnych wyników:
$query {az:a:zzzz}
To makro utworzy 475254 dodatkowych zapytań na każde początkowe zapytanie, co w sumie da 4 x 475254 = 1901016 zapytań do wyszukiwarki, liczba imponująca, ale nie stanowi to żadnego problemu dla A-Parser. Przy prędkości 2000 zapytań na minutę takie zadanie zostanie przetworzone w zaledwie 16 godzin.
Użycie operatorów
Możesz używać operatorów wyszukiwania w formacie zapytania, dzięki czemu zostaną one automatycznie dodane do każdego zapytania z Twojej listy:
site:$query
Warianty wyprowadzania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w ustrukturyzowanej, np. CSV lub JSON
Eksport listy linków
Analogicznie jak w SE::Google.
Linki + anchory + snippety z wyprowadzeniem pozycji
Analogicznie jak w SE::Google.
Wyprowadzanie linków, anchorów i snippetów do tabeli CSV
Analogicznie jak w SE::Google.
Zapisywanie powiązanych słów kluczowych
Format wyniku:
$hints.format('$hint\n')
Przykład wyniku:
habrahabr
habr
habrahabr ru
xabra
livebusiness
eureka
elektroniczny księgowy
wyspa elba
elba elektroniczny księgowy
habrahabr
...
Zapisywanie w formacie SQL
Analogicznie jak w SE::Google.
Dump wyników do JSON
Analogicznie jak w SE::Google.
Przetwarzanie wyników
A-Parser pozwala przetwarzać wyniki bezpośrednio podczas scrapowania, w tej sekcji przedstawiliśmy najpopularniejsze przypadki dla scrapera Rambler
Usuwanie duplikatów linków
Analogicznie jak w SE::Google.
Usuwanie duplikatów linków według domeny
Analogicznie jak w SE::Google.
Wyodrębnianie domen
Analogicznie jak w SE::Google.
Usuwanie tagów z anchorów i snippetów
Analogicznie jak w SE::Google.
Filtrowanie linków według występowania
Analogicznie jak w SE::Google.
Możliwe ustawienia
| Nazwa parametru | Wartość domyślna | Opis |
|---|---|---|
| Device | Desktop | Urządzenie wyników: desktop, mobilny Android lub mobilny iOS |
| Wait for soft captcha, sec (0 = ban) | 25 | Ile sekund czekać na rozwiązanie soft-captcha. 0 — natychmiastowe banowanie proxy |
| Page load timeout, sec | 20 | Limit czasu ładowania strony |
| Pages count | 5 | Ile stron scrapować, 1–25. Rambler zwraca nie więcej niż ~250 wyników, dlatego maksymalna liczba stron zależy od Links per page: 10 wyników → 25 str., 15 → 17 str., 30 → 8 str., 50 → 5 str. |
| Links per page | 10 | Wyników na stronie: 10 / 15 / 30 / 50 |
| Rambler region ID | ID regionu. IP spoza WNP — Moskwa. IP z WNP — wyniki według IP lub według tego ID, jeśli jest podane. Jak sprawdzić ID — tutaj | |
| Sort | Sites by relevance | Sortowanie: Pages by relevance, Pages by date, Sites by relevance, Sites by date |
| Results filtering | Moderate | Filtr: Unrestricted, Moderate, Family search |
| Results language | Any language | Język wyników: dowolny lub Belarusian, English, German, French, Kazakh, Russian, Tatar, Turkish, Ukrainian |
| Serp time | Anytime | Okres: Anytime, Past 24 hours, Past week, Past month |
| Results type | Any format | Typ dokumentów: dowolny lub pdf, doc, rtf, xls, ppt, swf, odt, ods, odp, odg |
| Exact match | ☐ | Ścisłe dopasowanie do zapytania |
| Disable autocorrect | ☐ | Wyłącza autokorektę, scrapuje wyniki dla podanego zapytania |
| Max concurrent browser pages | 10 | Ile kart przeglądarki scraper utrzymuje jednocześnie. Przy dużej liczbie wątków zwiększać ostrożnie — rośnie obciążenie pamięci i CPU |
| Use sessions | ☑ | Zapisuje dobre sesje, mniej błędów, szybsze scrapowanie |
| Headless browser | ☑ | Przeglądarka bez okna. W celu debugowania odznacz pole |