Przejdź do treści głównej

SE::Baidu - Scraper wyników wyszukiwania Baidu

img

Przegląd scrapera​

Scraper wyników wyszukiwania Baidu. Dzięki scraperowi Baidu będziesz mógł pozyskiwać ogromne bazy linków, gotowych do dalszego wykorzystania. Możesz używać zapytań w takiej samej formie, w jakiej wpisujesz je w wyszukiwarkę Bing, wliczając w to operatory wyszukiwania (filetype, site, intitle).

Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera Baidu do dalszego wykorzystania (presety), ustalać harmonogram scrapowania i wiele więcej. Możesz korzystać z automatycznego rozmnażania zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych i list w celu uzyskania maksymalnej możliwej liczby wyników.

W scraperze Baidu zapisywanie wyników jest możliwe w takiej formie i strukturze, jakiej potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala na stosowanie dodatkowej logiki do wyników i wyprowadzanie danych w różnych formatach, w tym JSON, SQL i CSV.

Przypadki użycia scrapera​

Zbierane dane​

  • Linki
  • Snippety
  • Kotwice (anchory)
  • Całkowita liczba wyników
  • Lista powiązanych słów
  • Liczba stron wyników
Zbierane dane

Możliwości​

  • Scrapuje do 5000 wyników na zapytanie
  • Wsparcie dla wszystkich operatorów wyszukiwania Baidu (filetype:, site:, intitle:).
  • Zbiera wyniki wyszukiwania oraz powiązane słowa kluczowe
  • Konwersja skróconych linków na pełne (opcja Get full links)

Warianty użycia​

  • Zbieranie baz linków - dla A-Poster, XRumer, AllSubmitter itp.
  • Ocena konkurencji dla słów kluczowych
  • Sprawdzanie indeksacji stron
  • Zbieranie stron zawierających określone słowa kluczowe w tytule strony

Zapytania​

Jako zapytania należy podawać frazy wyszukiwania, na przykład:

test
site:www.baidu.com  
百度产品大全
intitle:scraper

Podstawianie zapytań​

Możesz użyć wbudowanych makr do rozmnażania zapytań, na przykład chcemy uzyskać bardzo dużą bazę forów, podajmy kilka głównych zapytań w różnych językach:

forum
forum
foro
论坛

W formacie zapytań wskażemy generowanie znaków od a do zzzz, ta metoda pozwala maksymalnie rotować wyniki wyszukiwania i uzyskiwać mnóstwo nowych unikalnych wyników:

$query {az:a:zzzz}

To makro utworzy 475254 dodatkowych zapytań dla każdego wyjściowego zapytania, co w sumie da 4 x 475254 = 1901016 zapytań, liczba imponująca, ale to żaden problem dla A-Parser. Przy prędkości 2000 zapytań na minutę takie zadanie zostanie przetworzone w zaledwie 16 godzin.

Użycie operatorów​

Możesz używać operatorów wyszukiwania w formacie zapytania, dzięki czemu zostaną one automatycznie dodane do każdego zapytania z Twojej listy:

site:$query

Warianty wyprowadzania wyników​

A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w ustrukturyzowanej, np. CSV lub JSON

Eksport listy linków​

Analogicznie jak w SE::Google.

Analogicznie jak w SE::Google.

Analogicznie jak w SE::Google.

Analogicznie jak w SE::Google.

Konkurencja słów kluczowych​

Analogicznie jak w SE::Google.

Sprawdzanie indeksacji linków​

Analogicznie jak w SE::Google.

Zapisywanie w formacie SQL​

Analogicznie jak w SE::Google.

Zrzut wyników do JSON​

Analogicznie jak w SE::Google.

Obróbka wyników​

A-Parser pozwala przetwarzać wyniki bezpośrednio podczas scrapowania, w tej sekcji przedstawiliśmy najpopularniejsze przypadki dla scrapera Baidu

Analogicznie jak w SE::Google.

Analogicznie jak w SE::Google.

Wyodrębnianie domen​

Analogicznie jak w SE::Google.

Usuwanie tagów z kotwic i snippetów​

Analogicznie jak w SE::Google.

Analogicznie jak w SE::Google.

Możliwe ustawienia​

notatka

Ustawienia ogólne dla wszystkich scraperów

Nazwa parametruWartość domyślnaOpis
Pages count5Liczba stron do scrapowania (od 1 do 100)
Links per page50Liczba linków w wynikach na każdą stronę (10 / 20 / 50)
Get full links☐Konwersja skróconych linków na pełne (domyślnie wyłączona)