SE::DuckDuckGo - Scraper för DuckDuckGo sökresultat
Översikt över scrapern
Scraper för DuckDuckGo sökmotorsresultat. Tack vare DuckDuckGo-scrapern kan du få stora databaser med länkar, redo för vidare användning. Du kan använda sökfrågor på samma sätt som du skriver in dem i DuckDuckGo:s sökfält, inklusive sökoperatorer (intitle, inurl, site etc.). Mer information finns på den officiella sidan DuckDuckGo Search Syntax.
Funktionaliteten i A-Parser gör det möjligt att spara inställningar för DuckDuckGo-scrapern för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer. Du kan använda automatisk multiplikation av sökfrågor, infoga undersökfrågor från filer, generera alfanumeriska kombinationer och listor för att få största möjliga antal resultat.
Resultaten kan sparas i det format och den struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.
Insamlade data
- Länkar, ankare och snippets från sökresultaten (
$serp.$i.link,$serp.$i.anchor,$serp.$i.snippet) - Länkar, synliga länkar, ankare, snippets, domän och annonsposition från annonsresultaten (
$ads.$i.domain,$ads.$i.link,$ads.$i.visiblelink,$ads.$i.anchor,$ads.$i.snippet,$ads.$i.position,$ads.$i.page) - Lista över relaterade sökord (
$related.$i.key)
Funktioner
- Stöd för alla DuckDuckGo-sökoperatorer (intitle:, inurl:, site: etc.). Mer information om sökoperatorer finns på den officiella sidan DuckDuckGo Search Syntax
- Angivelse av antal sidor (från 1 till 10)
- Förutom organiska resultat samlas även annonsblock och relaterade sökord in
- Möjlighet att skrapa baserat på vald region (alternativet Region) och ange språk för resultaten (alternativet Language)
- Möjlighet att aktivera säker sökning (alternativet Safe search) och begränsa resultaten efter tid (alternativet Serp time)
- Separat aktivering av HTTP/2 för söksidan och för begäran av resultatdata
- Automatisk växling till den inbyggda webbläsaren om DuckDuckGo inte levererar resultatdata via HTTP
Användningsfall
- Insamling av länkdatabaser - för A-Poster, XRumer, AllSubmitter etc.
- Kontroll av webbplatsers indexering
- Sökning efter bakåtlänkar (omnämnanden) av webbplatser
- Alla andra scenarier som innebär dataskrapning av DuckDuckGo i någon form
Sökfrågor
Som sökfrågor ska sökfraser anges, till exempel:
Football
test
site:a-parser.com
scraper site:a-parser.com
test -site:tests.com
IoT filetype:pdf
Ersättningar i sökfrågor
Du kan använda inbyggda makron för att multiplicera sökfrågor. Om vi till exempel vill få en mycket stor databas med forum, anger vi några huvudsökfrågor på olika språk:
forum
forum
foro
论坛
I sökfrågeformatet anger vi en iteration av tecken från a till zzzz. Denna metod gör det möjligt att rotera sökresultaten maximalt och få många nya unika resultat:
$query {az:a:zzzz}
Detta makro kommer att skapa 475254 ytterligare sökfrågor för varje ursprunglig sökfråga, vilket totalt ger 4 x 475254 = 1901016 sökfrågor. Siffran är imponerande, men det är inga problem för A-Parser. Med en hastighet på 2000 sökfrågor per minut kommer en sådan uppgift att bearbetas på bara 16 timmar.
Användning av operatorer
Du kan använda sökoperatorer i sökfrågeformatet, så att de automatiskt läggs till i varje sökfråga från din lista:
site:$query
Alternativ för resultatvisning
A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör det möjligt att visa resultat i valfri form, samt i strukturerad form som CSV eller JSON.
Export av länklista
På samma sätt som i SE::Google.
Länkar + ankare + snippets med positionsvisning
På samma sätt som i SE::Google.
Visning av länkar, ankare och snippets i en CSV-tabell
På samma sätt som i SE::Google.
Spara relaterade sökord
På samma sätt som i SE::Google.
Export av annonsblock
På samma sätt som i SE::Google.
Spara i SQL-format
På samma sätt som i SE::Google.
Dumpa resultat till JSON
På samma sätt som i SE::Google.
Bearbetning av resultat
A-Parser gör det möjligt att bearbeta resultat direkt under dataskrapningen. I det här avsnittet har vi listat de mest populära fallen för DuckDuckGo-scrapern.
Dubblettkontroll av länkar
På samma sätt som i SE::Google.
Dubblettkontroll av länkar per domän
På samma sätt som i SE::Google.
Extrahera domäner
På samma sätt som i SE::Google.
Ta bort taggar från ankare och snippets
På samma sätt som i SE::Google.
Filtrering av länkar baserat på förekomst
På samma sätt som i SE::Google.
Möjliga inställningar
| Namn på parameter | Standardvärde | Beskrivning |
|---|---|---|
| Pages count | 5 | Antal sidor för dataskrapning (från 1 till 10), dataskrapningen kan avslutas tidigare om sökresultatet inte har någon nästa sida |
| Region | US (English) | Val av region för sökresultat |
| Language | English (United States) | Val av språk för sökresultat |
| Safe search | Moderate | Säker sökning: Strict, Moderate eller Off |
| Serp time | Any time | Sökperiod: senaste dygnet, veckan, månaden, året eller hela tiden |
| Use HTTP/2 | ☐ | Avgör om HTTP/2 ska användas istället för HTTP/1.1 vid begäran av söksidan |
| Use HTTP/2 for links | ☐ | Samma sak för begäran av data i sökresultaten |
| User agent | Chrome 150, Windows | User-Agent-header vid begäran av sidor, används även i webbläsaren. Om fältet lämnas tomt används User-Agent för den senaste versionen av Firefox |
| Get first link with browser pages count | 5 | Hur många sidor i den inbyggda webbläsaren som kan användas samtidigt. Webbläsaren behövs endast för att hämta söksidan: om DuckDuckGo inte returnerade data via HTTP, görs nästa försök via webbläsaren |