SE::Rambler - scraper wyników wyszukiwania Rambler
Przegląd scrapera
Scraper wyników wyszukiwania Rambler. Dzięki scraperowi Rambler będziesz mógł pozyskiwać duże bazy linków, gotowych do dalszego wykorzystania. Możesz używać zapytań w takiej samej formie, w jakiej wpisujesz je w pasek wyszukiwania Rambler, włączając w to operatory wyszukiwania (site, ip itp.).
Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera Rambler do dalszego wykorzystania (presety), ustalać harmonogram scrapowania i wiele więcej. Możesz korzystać z automatycznego mnożenia zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych i list w celu uzyskania maksymalnej możliwej liczby wyników.
Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.
Zbierane dane
- Liczba wyników w wyszukiwarce
- Linki, anchory i snippety z wyników wyszukiwania
- Lista powiązanych słów kluczowych (hints)
Możliwości
- Obsługa operatorów wyszukiwania Rambler (url:, site:, inurl:, host:, rhost:, domain:.)
- Scrapuje do 25 stron, od 10 do 50 wyników na stronę
- Scrapuje powiązane słowa kluczowe ($hints)
- Możliwość korzystania z serwisów rozwiązywania dla omijania captch
- Wybór urządzenia wynikowego: zwykły desktop, mobilny Android lub mobilny iOS
Warianty użycia
- Zbieranie baz linków
- Ocena konkurencji dla słów kluczowych
- Wyszukiwanie backlinków (wspomnień) o stronach
- Wszystkie przypadki, gdy trzeba scrapować wyniki wyszukiwania Rambler
Zapytania
Wprowadzaj zapytania tak samo, jak w wyszukiwarce Rambler. Załóżmy, że potrzebne są tylko linki z jednej strony. Wpisujemy w pole zapytań:
"kupić drzwi" site:http://kp.ru
Podstawienia zapytań
Możesz użyć wbudowanych makr do mnożenia zapytań, na przykład chcemy uzyskać bardzo dużą bazę forów, podamy kilka głównych zapytań w różnych językach:
forum
forum
foro
论坛
W formacie zapytań wskażemy generowanie znaków od a do zzzz, ta metoda pozwala maksymalnie rotować wyniki wyszukiwania i uzyskiwać mnóstwo nowych unikalnych wyników:
$query {az:a:zzzz}
To makro utworzy 475254 dodatkowych zapytań na każde początkowe zapytanie, co w sumie da 4 x 475254 = 1901016 zapytań do wyszukiwarki, liczba imponująca, ale nie stanowi to żadnego problemu dla A-Parser. Przy prędkości 2000 zapytań na minutę takie zadanie zostanie przetworzone w zaledwie 16 godzin.
Użycie operatorów
Możesz używać operatorów wyszukiwania w formacie zapytania, dzięki czemu zostaną one automatycznie dodane do każdego zapytania z Twojej listy:
site:$query
Warianty wyprowadzania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w ustrukturyzowanej, np. CSV lub JSON
Eksport listy linków
Analogicznie jak w SE::Google.
Linki + anchory + snippety z wyprowadzeniem pozycji
Analogicznie jak w SE::Google.
Wyprowadzanie linków, anchorów i snippetów do tabeli CSV
Analogicznie jak w SE::Google.
Zapisywanie powiązanych słów kluczowych
Format wyniku:
$hints.format('$hint\n')
Przykład wyniku:
habrahabr
habr
habrahabr ru
xabra
livebusiness
eureka
elektroniczny księgowy
wyspa elba
elba elektroniczny księgowy
habrahabr
...
Zapisywanie w formacie SQL
Analogicznie jak w SE::Google.
Dump wyników do JSON
Analogicznie jak w SE::Google.
Przetwarzanie wyników
A-Parser pozwala przetwarzać wyniki bezpośrednio podczas scrapowania, w tej sekcji przedstawiliśmy najpopularniejsze przypadki dla scrapera Rambler
Usuwanie duplikatów linków
Analogicznie jak w SE::Google.
Usuwanie duplikatów linków według domeny
Analogicznie jak w SE::Google.
Wyodrębnianie domen
Analogicznie jak w SE::Google.
Usuwanie tagów z anchorów i snippetów
Analogicznie jak w SE::Google.
Filtrowanie linków według występowania
Analogicznie jak w SE::Google.
Możliwe ustawienia
| Nazwa parametru | Wartość domyślna | Opis |
|---|---|---|
| Device | Desktop | Wybór urządzenia wynikowego: zwykły desktop, mobilny Android lub mobilny iOS |
| Pages count | 5 | Liczba stron do scrapowania (od 1 do 25) |
| Links per page | 10 | Liczba wyników na stronę (10/15/30/50) |
| Rambler region ID | Możliwość ustawienia regionu. Należy podać ID regionu. Jak sprawdzić ID potrzebnego regionu - opisano tutaj | |
| Sort | Sites by relevance | Wybór opcji sortowania wyników |
| Results filtering | Moderate | Wybór opcji filtrowania wyników |
| Results language | Any language | Wybór języka wyszukiwania wyników |
| Serp time | Anytime | Wybór okresu wyników |
| Results type | Any format | Wybór typu wyników (mime type) |
| Exact match | ☐ | Ścisłe dopasowanie do zapytania |
| Disable autocorrect | ☐ | Wyłącza autokorektę, pozwala scrapować wyniki dokładnie według podanego zapytania |
| Use sessions | ☑ | Zapisuje dobre sesje, co pozwala scrapować jeszcze szybciej, otrzymując mniejszą liczbę błędów |
| AntiGate preset | default | Określa, czy używać  Util::AntiGate do omijania captch |