SE::Startpage - scraper wyników wyszukiwania startpage.com
Przegląd scrapera
Scraper wyników wyszukiwania Startpage. Dzięki scraperowi Startpage będziesz mógł uzyskiwać duże bazy linków, gotowych do dalszego wykorzystania. Możesz używać zapytań w takiej samej formie, w jakiej wpisujesz je w wyszukiwarkę Startpage, włączając w to operatory wyszukiwania (site, inurl itp.).
Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera Startpage do dalszego wykorzystania (presety), ustawiać harmonogram scrapowania i wiele więcej. Możesz korzystać z automatycznego mnożenia zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych oraz list w celu uzyskania maksymalnej możliwej liczby wyników.
Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala na stosowanie dodatkowej logiki do wyników i wyprowadzanie danych w różnych formatach, w tym JSON, SQL i CSV.
Zbierane dane
- Linki, anchory i snippety z wyników wyszukiwania
Możliwości
- Obsługuje wybór kraju, języka wyszukiwania oraz języka strony
- Możliwość wyprowadzania razem lub osobno anchorów, linków, snippetów
- Możliwość określenia liczby wyświetlanych wyników
- Określenie rozmiaru wyników(10 lub 20 wyników)
Warianty użycia
- Zbieranie baz linków, anchorów i snippetów
- Uzyskiwanie listy stron, które najczęściej pojawiają się w wyszukiwarkach
- Wszelkie inne warianty użycia w celu pozyskania informacji
Zapytania
Jako zapytania podaje się słowa, frazy, wyrażenia w takiej samej formie, w jakiej wpisuje się je w wyszukiwarkę. Przykład:
test
site:http://test.ru
czerwone róże
Podstawianie zapytań
Możesz używać wbudowanych makr do mnożenia zapytań, na przykład chcemy uzyskać bardzo dużą bazę forów, podamy kilka głównych zapytań w różnych językach:
forum
forum
foro
论坛
W formacie zapytań określimy generowanie znaków od a do zzzz, ta metoda pozwala na maksymalną rotację wyników wyszukiwania i uzyskanie wielu nowych unikalnych wyników:
$query {az:a:zzzz}
To makro utworzy 475254 dodatkowych zapytań dla każdego bazowego zapytania, co łącznie da 4 x 475254 = 1901016 zapytań, liczba jest imponująca, ale nie stanowi to żadnego problemu dla A-Parser. Przy prędkości 2000 zapytań na minutę takie zadanie zostanie przetworzone w zaledwie 16 godzin.
Użycie operatorów
Możesz używać operatorów wyszukiwania w formacie zapytania, dzięki czemu zostaną one automatycznie dodane do każdego zapytania z Twojej listy:
site:$query
Warianty wyprowadzania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w strukturyzowanej, np. CSV lub JSON
Eksport listy linków
Analogicznie jak w SE::Google.
Linki + anchory + snippety z pozycją
Analogicznie jak w SE::Google.
Wyprowadzanie linków, anchorów i snippetów do tabeli CSV
Analogicznie jak w SE::Google.
Zapisywanie w formacie SQL
Analogicznie jak w SE::Google.
Zrzut wyników do JSON
Analogicznie jak w SE::Google.
Obróbka wyników
A-Parser pozwala na obróbkę wyników bezpośrednio podczas scrapowania, w tej sekcji przedstawiliśmy najpopularniejsze przypadki dla scrapera Startpage
Usuwanie duplikatów linków
Analogicznie jak w SE::Google.
Usuwanie duplikatów linków według domeny
Analogicznie jak w SE::Google.
Wyodrębnianie domen
Analogicznie jak w SE::Google.
Usuwanie tagów z anchorów i snippetów
Analogicznie jak w SE::Google.
Filtrowanie linków według występowania
Analogicznie jak w SE::Google.
Możliwe ustawienia
| Nazwa parametru | Wartość domyślna | Opis |
|---|---|---|
| Pages count | 5 | Liczba stron do scrapowania (od 1 do 50) |
| Family filter | Filter depending on search | Wybór poziomu filtrowania (Filter all results / Filter depending on search / Do not filter my results) |
| Period | Any time | Wybór okresu wyników (Any time / Past 24 hours / Past week / Past month / Past year) |
| Links per page | 10 | Rozmiar wyników (10 / 20) |
| Results language | English | Wybór języka wyników |
| Page language | English | Wybór języka strony |
| Search country | All | Wybór kraju, z którego wykonywane jest wyszukiwanie |