SE::DuckDuckGo - Scraper för DuckDuckGo sökresultat
Översikt över scrapern
Scraper för DuckDuckGo-sökresultat. Tack vare DuckDuckGo-scrapern kan du hämta stora databaser med länkar som är redo för vidare användning. Du kan använda sökfrågor på samma sätt som du skriver in dem i DuckDuckGos sökfält, inklusive sökoperatorer (intitle, inurl, site etc.). Mer information finns på den officiella sidan DuckDuckGo Search Syntax.
Funktionaliteten i A-Parser gör det möjligt att spara inställningar för DuckDuckGo-scrapern för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer. Du kan använda automatisk multiplikation av sökfrågor, infoga undersökfrågor från filer, generera alfanumeriska kombinationer och listor för att få största möjliga antal resultat.
Resultaten kan sparas i det format och den struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.
Insamlade data
- Länkar, ankare och snippets från sökresultaten
Funktioner
- Stöd för alla DuckDuckGo-sökoperatorer (intitle:, inurl:, site: etc.). Mer information om sökoperatorer finns på den officiella sidan DuckDuckGo Search Syntax
- Skrapar det maximala antalet resultat som tillhandahålls - 10 sidor med 10 element per sida
- Totalt antal resultat - 100
- Möjlighet att skrapa baserat på vald plats (alternativet Location)
- Möjlighet att välja språk för sökresultaten (alternativet Language)
Användningsfall
- Insamling av länkdatabaser - för A-Poster, XRumer, AllSubmitter etc.
- Kontroll av webbplatsers indexering
- Sökning efter bakåtlänkar (omnämnanden) av webbplatser
- Alla andra scenarier som innebär dataskrapning av DuckDuckGo i någon form
Sökfrågor
Som sökfrågor ska sökfraser anges, till exempel:
Football
test
site:a-parser.com
scraper site:a-parser.com
test -site:tests.com
IoT filetype:pdf
Ersättningar i sökfrågor
Du kan använda inbyggda makron för att multiplicera sökfrågor. Om vi till exempel vill få en mycket stor databas med forum, anger vi några huvudsökfrågor på olika språk:
forum
forum
foro
论坛
I sökfrågeformatet anger vi en iteration av tecken från a till zzzz. Denna metod gör det möjligt att rotera sökresultaten maximalt och få många nya unika resultat:
$query {az:a:zzzz}
Detta makro kommer att skapa 475254 ytterligare sökfrågor för varje ursprunglig sökfråga, vilket totalt ger 4 x 475254 = 1901016 sökfrågor. Siffran är imponerande, men det är inga problem för A-Parser. Med en hastighet på 2000 sökfrågor per minut kommer en sådan uppgift att bearbetas på bara 16 timmar.
Användning av operatorer
Du kan använda sökoperatorer i sökfrågeformatet, så att de automatiskt läggs till i varje sökfråga från din lista:
site:$query
Alternativ för resultatvisning
A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör det möjligt att visa resultat i valfri form, samt i strukturerad form som CSV eller JSON.
Export av länklista
På samma sätt som i SE::Google.
Länkar + ankare + snippets med positionsvisning
På samma sätt som i SE::Google.
Visning av länkar, ankare och snippets i en CSV-tabell
På samma sätt som i SE::Google.
Spara relaterade sökord
På samma sätt som i SE::Google.
Kontroll av länkindexering
På samma sätt som i SE::Google.
Spara i SQL-format
På samma sätt som i SE::Google.
Dumpa resultat till JSON
På samma sätt som i SE::Google.
Bearbetning av resultat
A-Parser gör det möjligt att bearbeta resultat direkt under dataskrapningen. I det här avsnittet har vi listat de mest populära fallen för DuckDuckGo-scrapern.
Dubblettkontroll av länkar
På samma sätt som i SE::Google.
Dubblettkontroll av länkar per domän
På samma sätt som i SE::Google.
Extrahera domäner
På samma sätt som i SE::Google.
Ta bort taggar från ankare och snippets
På samma sätt som i SE::Google.
Filtrering av länkar baserat på förekomst
På samma sätt som i SE::Google.
Möjliga inställningar
| Namn på parameter | Standardvärde | Beskrivning |
|---|---|---|
| Pages count | 5 | Antal sidor att skrapa (från 1 till 10) |
| Region | US (English) | Val av plats |
| Language | English (United States) | Val av språk |
| Safe search | Moderate | Möjlighet att aktivera "Safe search" |
| Serp time | Any time | Sökperiod |
| Use HTTP/2 | ☐ | Avgör om HTTP/2 ska användas istället för HTTP/1.1 |
| User agent | Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:120.0) Gecko/20100101 Firefox/120.0 | User-Agent-header vid sidförfrågningar |