Przejdź do treści głównej

SE::Dogpile - Scraper wyników wyszukiwania Dogpile

img

Przegląd scrapera​

Scraper wyników wyszukiwania Dogpile. Dzięki scraperowi SE::Dogpile będziesz mógł otrzymywać duże bazy linków, gotowych do dalszego wykorzystania. Możesz używać zapytań w takiej samej formie, w jakiej wpisujesz je w pasek wyszukiwania Dogpile, włączając w to operatory wyszukiwania (url, language, site itp.).

Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera Dogpile do dalszego wykorzystania (presety), ustawiać harmonogram scrapowania i wiele więcej. Możesz używać automatycznego mnożenia zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych i list w celu uzyskania maksymalnej możliwej liczby wyników.

Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyświetlać dane w różnych formatach, w tym JSON, SQL i CSV.

Zbierane dane​

  • Linki, anchory i snippety z wyników wyszukiwania
  • Lista powiązanych słów kluczowych (Related keywords)
Zbierane dane

Możliwości​

  • Scrapuje maksymalną oddawaną przez Dogpile liczbę wyników - 50 stron po 10 elementów w wynikach
  • Całkowita liczba wyników - 500
  • Możliwość wyszukiwania powiązanych słów kluczowych

Warianty wykorzystania​

  • Zbieranie baz linków - dla A-Poster, XRumer, AllSubmitter itp.
  • Ocena konkurencji dla słów kluczowych
  • Wyszukiwanie backlinków (wspomnień) o stronach
  • Sprawdzanie indeksacji stron
  • Wyszukiwanie podatnych stron
  • Wszelkie inne warianty zakładające scrapowanie Dogpile w tej czy innej formie

Zapytania​

Jako zapytania należy podawać frazy wyszukiwania dokładnie tak samo, jak gdyby były wpisywane bezpośrednio w formularz wyszukiwania Dogpile, na przykład:

test
parser language: ru
site: a-parser.com
site: slideshare.net Java Developer gmail.com resume -sample -samples -example -templates

Podstawianie zapytań​

Możesz użyć wbudowanych makr do mnożenia zapytań, na przykład chcemy uzyskać bardzo dużą bazę forów, podajmy kilka głównych zapytań w różnych językach:

forum
forum
foro
论坛

W formacie zapytań wskażemy generowanie znaków od a do zzzz, ta metoda pozwala maksymalnie rotować wyniki wyszukiwania i uzyskiwać mnóstwo nowych unikalnych wyników:

$query {az:a:zzzz}

To makro utworzy 475254 dodatkowych zapytań dla każdego wyjściowego zapytania wyszukiwania, co w sumie da 4 x 475254 = 1901016 zapytań, liczba imponująca, ale nie stanowi to żadnego problemu dla A-Parser. Przy prędkości 2000 zapytań na minutę takie zadanie zostanie przetworzone w zaledwie 16 godzin.

Użycie operatorów​

Możesz używać operatorów wyszukiwania w formacie zapytania, dzięki czemu zostaną one automatycznie dodane do każdego zapytania z Twojej listy:

site:$query

Warianty wyświetlania wyników​

A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyświetlać wyniki w dowolnej formie, a także w ustrukturyzowanej, np. CSV lub JSON

Eksport listy linków​

Analogicznie jak w SE::Google.

Analogicznie jak w SE::Google.

Analogicznie jak w SE::Google.

Analogicznie jak w SE::Google.

Sprawdzanie indeksacji linków​

Analogicznie jak w SE::Google.

Zapisywanie w formacie SQL​

Analogicznie jak w SE::Google.

Zrzut wyników do JSON​

Analogicznie jak w SE::Google.

Obróbka wyników​

A-Parser pozwala przetwarzać wyniki bezpośrednio podczas scrapowania, w tej sekcji przedstawiliśmy najpopularniejsze przypadki dla scrapera Dogpile

Analogicznie jak w SE::Google.

Analogicznie jak w SE::Google.

Wyodrębnianie domen​

Analogicznie jak w SE::Google.

Usuwanie tagów z anchorów i snippetów​

Analogicznie jak w SE::Google.

Analogicznie jak w SE::Google.

Możliwe ustawienia​

notatka

Ogólne ustawienia dla wszystkich scraperów

Nazwa parametruWartość domyślnaOpis
Pages count10Liczba stron do scrapowania (od 1 do 50)
Bypass CloudFlare with Chrome☑Automatyczne omijanie weryfikacji CloudFlare
Bypass CloudFlare with Chrome Max Pages10Maks. liczba stron przy omijaniu CF przez Chrome
Bypass CloudFlare with Chrome Headless☑Jeśli opcja jest włączona, przeglądarka nie będzie wyświetlana podczas omijania CF przez Chrome