Przejdź do treści głównej

SE::Bing - Scraper wyników wyszukiwania Bing

Bing

Przegląd scrapera​

Scraper wyników wyszukiwania Bing. Dzięki scraperowi SE::Bing będziesz mógł pozyskiwać ogromne bazy linków, gotowych do dalszego wykorzystania. Możesz używać zapytań w takiej samej formie, w jakiej wpisujesz je w pasek wyszukiwania Bing, w tym operatorów wyszukiwania (contains, intitle, language, site itp.). Więcej szczegółów na oficjalnej stronie Advanced search keywords.

Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera Bing do dalszego wykorzystania (presety), ustawiać harmonogram scrapowania i wiele więcej. Możesz korzystać z automatycznego mnożenia zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych i list w celu uzyskania maksymalnej możliwej liczby wyników.

Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.

Przypadki użycia scrapera​

Gromadzone dane​

  • Liczba wyników dla zapytania
  • Linki, anchory i snippety z wyników wyszukiwania
  • Lista powiązanych słów kluczowych (Related keywords)
  • Linki, widoczne linki, anchory, snippety i pozycja reklamy z wyników reklamowych
Gromadzone dane

Możliwości​

  • Wsparcie dla wszystkich operatorów wyszukiwania Bing (site:, ip: itp.). Więcej o operatorach wyszukiwania na oficjalnej stronie Advanced search keywords.
  • Scrapuje maksymalną liczbę wyników udostępnianą przez Bing - do 200 stron wyników
  • Może automatycznie scrapować więcej niż 1000 wyników na zapytanie - podstawia dodatkowe znaki (opcja Parse all results)
  • Możliwość scrapowania w głąb według powiązanych słów kluczowych (Parse related to level)
  • Możliwość wyszukiwania powiązanych słów kluczowych
  • Możliwość scrapowania linków do stron w pamięci podręcznej (cached)
  • Możliwość scrapowania wyników mobilnych
  • Wsparcie dla ładowania danych podczas przewijania w układzie mobilnym

Na bazie scrapera Bing działają następujące scrapery:

  • SE::Bing::PositionSE::Bing::Position - sprawdzanie pozycji dowolnych witryn w wynikach wyszukiwania dla listy zapytań

Warianty użycia​

  • Zbieranie baz linków - dla A-Poster, XRumer, AllSubmitter itp.
  • Ocena konkurencji dla słów kluczowych
  • Wyszukiwanie backlinków (wspomnień) o stronach
  • Sprawdzanie indeksacji stron
  • Wyszukiwanie podatnych stron
  • Wyszukiwanie stron na jednym adresie IP
  • Wszelkie inne warianty zakładające scrapowanie Bing w tej czy innej formie

Zapytania​

Jako zapytania należy podawać frazy wyszukiwania, dokładnie tak samo, jak gdyby były wpisywane bezpośrednio w formularz wyszukiwania Bing, na przykład:

test
okna Warszawa   
site:http://lenta.ru  
ip:222.36.12.12

Podstawienia w zapytaniach​

Możesz używać wbudowanych makr do mnożenia zapytań, na przykład chcemy uzyskać bardzo dużą bazę forów, podajmy kilka głównych zapytań w różnych językach:

forum
forum
foro
论坛

W formacie zapytań określimy iterację znaków od a do zzzz, ta metoda pozwala na maksymalną rotację wyników wyszukiwania i uzyskanie wielu nowych unikalnych wyników:

$query {az:a:zzzz}

To makro utworzy 475254 dodatkowych zapytań dla każdego wyjściowego zapytania, co łącznie da 4 x 475254 = 1901016 zapytań, liczba imponująca, ale to żaden problem dla A-Parsera. Przy prędkości 2000 zapytań na minutę takie zadanie zostanie przetworzone w zaledwie 16 godzin.

Użycie operatorów​

Możesz używać operatorów wyszukiwania w formacie zapytania, dzięki czemu zostaną one automatycznie dodane do każdego zapytania z Twojej listy:

site:$query

Warianty wyprowadzania wyników​

A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w formie ustrukturyzowanej, np. CSV lub JSON

Eksport listy linków​

Analogicznie jak w SE::Google.

Analogicznie jak w SE::Google.

Analogicznie jak w SE::Google.

Analogicznie jak w SE::Google.

Konkurencja słów kluczowych​

Analogicznie jak w SE::Google.

Sprawdzanie indeksacji linków​

Analogicznie jak w SE::Google.

Zapisywanie w formacie SQL​

Analogicznie jak w SE::Google.

Zrzut wyników do JSON​

Analogicznie jak w SE::Google.

Przetwarzanie wyników​

A-Parser pozwala przetwarzać wyniki bezpośrednio podczas scrapowania, w tej sekcji przedstawiliśmy najpopularniejsze przypadki dla scrapera Bing

Analogicznie jak w SE::Google.

Analogicznie jak w SE::Google.

Wyodrębnianie domen​

Analogicznie jak w SE::Google.

Usuwanie tagów z anchorów i snippetów​

Analogicznie jak w SE::Google.

Analogicznie jak w SE::Google.

Możliwe ustawienia​

notatka

Ustawienia ogólne dla wszystkich scraperów

Nazwa parametruWartość domyślnaOpis
Pages count10Liczba stron do scrapowania (od 1 do 200)
RegionBased on IPWybór regionu. Lista regionów.
Interface languageAnyWybór języka interfejsu. Lista języków.
Safe SearchModerateWybór opcji bezpiecznego wyszukiwania (Strict / Moderate / Off)
DeviceDesktopWybór urządzenia wyszukiwania (Desktop / Mobile)
Show inaccessible results☐Pozwala włączyć wyświetlanie ukrytych wyników
Stop pagination by results count0Zatrzymanie przechodzenia po paginacji po osiągnięciu określonej liczby wyników. Działa jako uzupełnienie do Pages count, scrapowanie zatrzymuje się w zależności od tego, co zostanie osiągnięte wcześniej: określona liczba stron czy określona liczba wyników.
Handle captcha max pages10Maksymalna liczba jednocześnie otwartych stron, przez które generowane są pliki cookies niezbędne do pomyślnego przejścia captchy. Ogranicza równoległość na etapie omijania captchy.