SE::Yahoo - Scraper wyników wyszukiwania Yahoo
Przegląd scrapera
Scraper wyników wyszukiwania Yahoo. Dzięki scraperowi Yahoo będziesz mógł pozyskiwać duże bazy linków, gotowych do dalszego wykorzystania. Możesz używać zapytań w takiej samej formie, w jakiej wpisujesz je w wyszukiwarkę Yahoo, w tym operatorów wyszukiwania (site, ip itp.).
Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera Yahoo do późniejszego wykorzystania (presety), ustalać harmonogram scrapowania i wiele więcej. Możesz korzystać z automatycznego mnożenia zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych i list w celu uzyskania maksymalnej możliwej liczby wyników.
Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.
Zbierane dane
- Linki, anchory i snippety z wyników wyszukiwania
- Lista powiązanych słów kluczowych (Related keywords)
- Wyniki reklamowe
Możliwości
- Obsługa wszystkich operatorów wyszukiwania Yahoo (site:, ip: itp.)
- Scrapuje maksymalną liczbę wyników udostępnianą przez Yahoo - 50 stron po 100 elementów w wynikach
- Może automatycznie scrapować ponad 1000 wyników na zapytanie - podstawia dodatkowe znaki (opcja Parse all results)
- Możliwość scrapowania w głąb według powiązanych słów kluczowych (Parse related to level)
- Możliwość wyszukiwania powiązanych słów kluczowych
- Obsługuje określanie zakresu czasu wyników
Warianty zastosowania
- Zbieranie baz linków - dla A-Poster, XRumer, AllSubmitter itp.
- Ocena konkurencji dla słów kluczowych
- Wyszukiwanie linków zwrotnych (wspomnień) o stronach
- Sprawdzanie indeksacji stron
- Wyszukiwanie stron na jednym adresie IP
- Wyszukiwanie podatnych stron
- Wszelkie inne warianty zakładające scrapowanie Yahoo w tej czy innej formie
Zapytania
Jako zapytania należy podawać frazy wyszukiwania dokładnie tak samo, jakby były wpisywane bezpośrednio w formularz wyszukiwania Yahoo, na przykład:
test
okna Warszawa
site:http://lenta.ru
ip:222.36.12.12
Podstawianie zapytań
Możesz używać wbudowanych makr do mnożenia zapytań, na przykład chcemy uzyskać bardzo dużą bazę forów, podajemy kilka głównych zapytań w różnych językach:
forum
forum
foro
论坛
W formacie zapytań wskażemy generowanie znaków od a do zzzz, ta metoda pozwala maksymalnie rotować wyniki wyszukiwania i uzyskiwać mnóstwo nowych unikalnych wyników:
$query {az:a:zzzz}
To makro utworzy 475254 dodatkowych zapytań dla każdego bazowego zapytania, co w sumie da 4 x 475254 = 1901016 zapytań, liczba imponująca, ale nie stanowi to żadnego problemu dla A-Parser. Przy prędkości 2000 zapytań na minutę takie zadanie zostanie przetworzone w zaledwie 16 godzin.
Użycie operatorów
Możesz używać operatorów wyszukiwania w formacie zapytania, dzięki czemu zostaną one automatycznie dodane do każdego zapytania z Twojej listy:
site:$query
Warianty wyprowadzania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w strukturyzowanej, np. CSV lub JSON
Eksport listy linków
Analogicznie jak w SE::Google.
Linki + anchory + snippety z wyprowadzeniem pozycji
Analogicznie jak w SE::Google.
Wyprowadzanie linków, anchorów i snippetów do tabeli CSV
Analogicznie jak w SE::Google.
Zapisywanie powiązanych słów kluczowych
Analogicznie jak w SE::Google.
Konkurencja słów kluczowych
Analogicznie jak w SE::Google.
Sprawdzanie indeksacji linków
Analogicznie jak w SE::Google.
Zapisywanie w formacie SQL
Analogicznie jak w SE::Google.
Zrzut wyników do JSON
Analogicznie jak w SE::Google.
Przetwarzanie wyników
A-Parser pozwala przetwarzać wyniki bezpośrednio podczas scrapowania, w tej sekcji przedstawiliśmy najpopularniejsze przypadki dla scrapera Yahoo
Usuwanie duplikatów linków
Analogicznie jak w SE::Google.
Usuwanie duplikatów linków według domeny
Analogicznie jak w SE::Google.
Wyodrębnianie domen
Analogicznie jak w SE::Google.
Usuwanie tagów z anchorów i snippetów
Analogicznie jak w SE::Google.
Filtrowanie linków według występowania
Analogicznie jak w SE::Google.
Możliwe ustawienia
| Nazwa parametru | Wartość domyślna | Opis |
|---|---|---|
| Pages count | 5 | Liczba stron do scrapowania (od 1 do 50) |
| Serp time | All time | Czas SERP (wyszukiwanie zależne od czasu, parametr "tbs=": All time / Past 24 hours / Past week / Past month) |
| Safe Search | Moderate | Wybór opcji bezpiecznego wyszukiwania (Off / Moderate / Strict) |
| Yahoo domain | United States (English) | Wybór domeny Yahoo |
| Yahoo language | Any | Wybór języka Yahoo, pozwala wybrać język wyszukiwania |
| Yahoo country | Any | Wybór kraju, pozwala wybrać kraj, dla którego będzie prowadzone wyszukiwanie |
| Not found is error | ☐ | Czy traktować brak wyników jako błąd |