SE::DuckDuckGo - Scraper wyników wyszukiwania DuckDuckGo
Przegląd scrapera
Scraper wyników wyszukiwania DuckDuckGo. Dzięki scraperowi DuckDuckGo będziesz mógł otrzymywać duże bazy linków, gotowych do dalszego wykorzystania. Możesz używać zapytań w takiej samej formie, w jakiej wpisujesz je w pasek wyszukiwania, włączając w to operatory wyszukiwania (intitle, inurl, site itp.). Więcej szczegółów na oficjalnej stronie DuckDuckGo Search Syntax.
Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera DuckDuckGo do dalszego wykorzystania (presety), ustawiać harmonogram scrapowania i wiele więcej. Możesz korzystać z automatycznego mnożenia zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych i list w celu uzyskania maksymalnej możliwej liczby wyników.
Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.
Zbierane dane
- Linki, kotwice (anchory) i snippety z wyników wyszukiwania
Możliwości
- Wsparcie dla wszystkich operatorów wyszukiwania DuckDuckGo (intitle:, inurl:, site: itp.). Więcej o operatorach wyszukiwania na oficjalnej stronie DuckDuckGo Search Syntax
- Scrapuje maksymalną liczbę wyników zwracaną przez Bing - 10 stron po 10 elementów w wynikach
- Całkowita liczba wyników - 100
- Możliwość scrapowania według wybranej lokalizacji (opcja Location)
- Możliwość wyboru języka wyników (opcja Language)
Warianty użycia
- Zbieranie baz linków - dla A-Poster, XRumer, AllSubmitter itp.
- Sprawdzanie indeksacji stron
- Wyszukiwanie backlinków (wspomnień) o stronach
- Wszelkie inne warianty zakładające scrapowanie DuckDuckGo w tej czy innej formie
Zapytania
Jako zapytania należy podawać frazy wyszukiwania, na przykład:
Football
test
site:a-parser.com
scraper site:a-parser.com
test -site:tests.com
IoT filetype:pdf
Podstawianie zapytań
Możesz użyć wbudowanych makr do mnożenia zapytań, na przykład chcemy uzyskać bardzo dużą bazę forów, podajmy kilka głównych zapytań w różnych językach:
forum
forum
foro
论坛
W formacie zapytań wskażemy generowanie znaków od a do zzzz, ta metoda pozwala maksymalnie rotować wyniki wyszukiwania i uzyskiwać mnóstwo nowych unikalnych wyników:
$query {az:a:zzzz}
To makro utworzy 475254 dodatkowych zapytań dla każdego wyjściowego zapytania, co w sumie da 4 x 475254 = 1901016 zapytań, liczba imponująca, ale to żaden problem dla A-Parser. Przy prędkości 2000 zapytań na minutę takie zadanie zostanie przetworzone w zaledwie 16 godzin.
Użycie operatorów
Możesz używać operatorów wyszukiwania w formacie zapytania, dzięki czemu zostaną one automatycznie dodane do każdego zapytania z Twojej listy:
site:$query
Warianty wyprowadzania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w ustrukturyzowanej, np. CSV lub JSON
Eksport listy linków
Analogicznie jak w SE::Google.
Linki + kotwice + snippety z wyprowadzeniem pozycji
Analogicznie jak w SE::Google.
Wyprowadzanie linków, kotwic i snippetów do tabeli CSV
Analogicznie jak w SE::Google.
Zapisywanie powiązanych słów kluczowych
Analogicznie jak w SE::Google.
Sprawdzanie indeksacji linków
Analogicznie jak w SE::Google.
Zapisywanie w formacie SQL
Analogicznie jak w SE::Google.
Zrzut wyników do JSON
Analogicznie jak w SE::Google.
Obróbka wyników
A-Parser pozwala przetwarzać wyniki bezpośrednio podczas scrapowania, w tej sekcji przedstawiliśmy najpopularniejsze przypadki dla scrapera DuckDuckGo
Usuwanie duplikatów linków
Analogicznie jak w SE::Google.
Usuwanie duplikatów linków według domeny
Analogicznie jak w SE::Google.
Wyodrębnianie domen
Analogicznie jak w SE::Google.
Usuwanie tagów z kotwic i snippetów
Analogicznie jak w SE::Google.
Filtrowanie linków według występowania
Analogicznie jak w SE::Google.
Możliwe ustawienia
| Nazwa parametru | Wartość domyślna | Opis |
|---|---|---|
| Pages count | 5 | Liczba stron do scrapowania (od 1 do 10) |
| Region | US (English) | Wybór lokalizacji |
| Language | English (United States) | Wybór języka |
| Safe search | Moderate | Możliwość włączenia "Safe search" |
| Serp time | Any time | Okres wyszukiwania |
| Use HTTP/2 | ☐ | Określa, czy używać HTTP/2 zamiast HTTP/1.1 |
| User agent | Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:120.0) Gecko/20100101 Firefox/120.0 | Nagłówek User-Agent przy zapytaniu o strony |