SE::Startpage - scraper för startpage.com sökresultat
Översikt av scrapern
Scraper för Startpage sökresultat. Tack vare Startpage-scrapern kan du få stora baser med länkar, redo för vidare användning. Du kan använda sökfrågor på samma sätt som du skriver in dem i Startpages sökfält, inklusive sökoperatorer (site, inurl etc.).
Funktionaliteten i A-Parser gör det möjligt att spara inställningar för Startpage-scrapern för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer. Du kan använda automatisk multiplikation av frågor, ersättning av underfrågor från filer, generering av alfanumeriska kombinationer och listor för att få största möjliga antal resultat.
Resultaten kan sparas i det format och den struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.
Data som samlas in
- Länkar, ankare och snippets från sökresultaten
Funktioner
- Stöder val av land, sökspårk och sidans språk
- Möjlighet att exportera ankare, länkar och snippets tillsammans eller separat
- Möjlighet att ange antalet resultat som ska visas
- Angivelse av resultatstorlek (10 eller 20 resultat)
Användningsfall
- Insamling av baser med länkar, ankare och snippets
- Hämta en lista över webbplatser som oftast nämns i sökmotorer
- Alla andra användningsfall för att inhämta information
Frågor
Som frågor anges ord, fraser eller ordkombinationer på samma sätt som de skrivs i sökmotorn. Exempel:
test
site:http://test.ru
röda rosor
Frågesubstitutioner
Du kan använda inbyggda makron för att multiplicera frågor, till exempel om vi vill få en mycket stor bas av forum och anger några huvudfrågor på olika språk:
forum
forum
foro
论坛
I frågeformatet anger vi en teckenkombination från a till zzzz, denna metod gör det möjligt att rotera sökresultaten maximalt och få många nya unika resultat:
$query {az:a:zzzz}
Detta makro kommer att skapa 475254 extra frågor för varje ursprunglig sökfråga, vilket totalt ger 4 x 475254 = 1901016 sökfrågor. Siffran är imponerande, men det är inga problem för A-Parser. Med en hastighet på 2000 frågor per minut kommer en sådan uppgift att bearbetas på bara 16 timmar.
Användning av operatorer
Du kan använda sökoperatorer i frågeformatet, så att de automatiskt läggs till i varje fråga från din lista:
site:$query
Exempel på resultatutdata
A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör det möjligt att exportera resultat i valfri form, såväl som i strukturerad form som CSV eller JSON
Export av länklista
Länkar + ankare + snippets med position
Export av länkar, ankare och snippets till CSV-tabell
Spara i SQL-format
Dumpa resultat till JSON
Bearbetning av resultat
A-Parser gör det möjligt att bearbeta resultat direkt under dataskrapningen. I det här avsnittet har vi listat de mest populära fallen för Startpage-scrapern
Dubblettkontroll av länkar
Dubblettkontroll av länkar per domän
Extrahera domäner
Ta bort taggar från ankare och snippets
Filtrering av länkar efter förekomst
Möjliga inställningar
| Namn på parameter | Standardvärde | Beskrivning |
|---|---|---|
| Pages count | 5 | Antal sidor att skrapa (från 1 till 50) |
| Family filter | Filter depending on search | Val av filtreringsnivå (Filter all results / Filter depending on search / Do not filter my results) |
| Period | Any time | Val av tidsperiod för resultat (Any time / Past 24 hours / Past week / Past month / Past year) |
| Links per page | 10 | Resultatstorlek (10 / 20) |
| Results language | English | Val av språk för resultat |
| Page language | English | Val av språk för sidan |
| Search country | All | Val av land där sökningen utförs |