Hoppa till huvudinnehåll

SE::Rambler - scraper för Ramblers sökresultat

img

Översikt av scrapern​

Scraper för Ramblers sökresultat. Tack vare Rambler-scrapern kan du hämta stora databaser med länkar, redo för vidare användning. Du kan använda sökfrågor på samma sätt som du skriver in dem i Ramblers sökfält, inklusive sökoperatorer (site etc.).

Funktionaliteten i A-Parser gör det möjligt att spara inställningar för Rambler-dataskrapning för framtida bruk (förinställningar), ställa in scheman för dataskrapning och mycket mer. Du kan använda automatisk multiplicering av frågor, infogning av underfrågor från filer, generering av alfanumeriska kombinationer och listor för att få största möjliga antal resultat.

Resultaten kan sparas i den form och struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa extra logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.

Datapunkter som samlas in​

  • $totalcount — antal resultat i sökningen. Endast från första sidan; om inget antal finns — tomt
  • $serp.$i.link, $serp.$i.anchor, $serp.$i.snippet — länk, ankare, snippet
  • $hints.$i.hint — relaterade sökord. Endast från första sidan; om inga förslag finns — tomt

vilken data samlar scrapern SE::Rambler in

Funktioner​

  • Stöd för Ramblers sökoperatorer (url:, site:, inurl:, host:, rhost:, domain:)
  • Upp till 25 sidor, inte mer än ~250 resultat
  • Relaterade sökord ($hints.$i.hint)
  • Typ av sökresultat: desktop, mobil Android eller mobil iOS

Användningsfall​

  • Insamling av länkdatabaser
  • Bedömning av konkurrens för sökord
  • Sökning efter backlänkar (omnämnanden) av webbplatser
  • Alla fall där du behöver skrapa Ramblers sökresultat

Frågor​

Ange frågor på samma sätt som i Ramblers sökning. Antag att du bara behöver länkar från en specifik webbplats. Ange i frågefältet:

"köpa dörrar" site:http://kp.ru

Frågesubstitutioner​

Du kan använda inbyggda makron för att multiplicera frågor, till exempel om vi vill få en mycket stor bas av forum, anger vi några huvudfrågor på olika språk:

forum
forum
foro
论坛

I frågeformatet anger vi en teckenbläddring från a till zzzz, denna metod gör det möjligt att rotera sökresultaten maximalt och få många nya unika resultat:

$query {az:a:zzzz}

Detta makro kommer att skapa 475254 extra frågor för varje ursprunglig sökfråga, vilket totalt ger 4 x 475254 = 1901016 sökfrågor. Siffran är imponerande, men det är inga problem för A-Parser. Med en hastighet på 2000 frågor per minut kommer en sådan uppgift att bearbetas på bara 16 timmar.

Användning av operatorer​

Du kan använda sökoperatorer i frågeformatet, så att de automatiskt läggs till i varje fråga från din lista:

site:$query

Exempel på resultatutdata​

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör att den kan mata ut resultat i valfri form, såväl som i strukturerad form som CSV eller JSON

Export av länklista​

Samma som i SE::Google.

Samma som i SE::Google.

Samma som i SE::Google.

Resultatformat:

$hints.format('$hint\n')

Exempel på resultat:

habrahabr
habr
habrahabr ru
xabra
livebusiness
eureka
digital bokförare
ön elba
elba digital bokförare
habrahabr
...

Spara i SQL-format​

Samma som i SE::Google.

Dumpa resultat till JSON​

Samma som i SE::Google.

Bearbetning av resultat​

A-Parser gör det möjligt att bearbeta resultat direkt under dataskrapningen. I det här avsnittet har vi listat de mest populära fallen för Rambler-scrapern

Samma som i SE::Google.

Samma som i SE::Google.

Extrahera domäner​

Samma som i SE::Google.

Ta bort taggar från ankare och snippets​

Samma som i SE::Google.

Samma som i SE::Google.

Möjliga inställningar​

anteckning

Allmänna inställningar för alla scrapers

Namn på parameterStandardvärdeBeskrivning
DeviceDesktopEnhet för sökresultat: desktop, mobil Android eller mobil iOS
Wait for soft captcha, sec (0 = ban)25Hur många sekunder man ska vänta på att soft-captcha löses. 0 — banna proxyn omedelbart
Page load timeout, sec20Timeout för sidladdning
Pages count5Hur många sidor som ska skrapas, 1–25. Rambler ger inte mer än ~250 resultat, så maximalt antal sidor beror på Links per page: 10 resultat → 25 sid., 15 → 17 sid., 30 → 8 sid., 50 → 5 sid.
Links per page10Resultat per sida: 10 / 15 / 30 / 50
Rambler region IDRegion-ID. IP utanför OSS — Moskva. IP inom OSS — resultat baserat på IP eller detta ID om det är angivet. Hur man hittar ID — här
SortSites by relevanceSortering: Pages by relevance, Pages by date, Sites by relevance, Sites by date
Results filteringModerateFilter: Unrestricted, Moderate, Family search
Results languageAny languageSpråk för resultat: valfritt eller Belarusian, English, German, French, Kazakh, Russian, Tatar, Turkish, Ukrainian
Serp timeAnytimePeriod: Anytime, Past 24 hours, Past week, Past month
Results typeAny formatDokumenttyp: valfri eller pdf, doc, rtf, xls, ppt, swf, odt, ods, odp, odg
Exact match☐Exakt matchning av sökfrågan
Disable autocorrect☐Inaktiverar autokorrigering, skrapar resultat för den angivna sökfrågan
Max concurrent browser pages10Hur många webbläsarflikar som scrapern håller öppna samtidigt. Vid ett stort antal trådar bör detta ökas försiktigt — belastningen på minne och CPU ökar
Use sessions☑Sparar bra sessioner, färre fel, snabbare dataskrapning
Headless browser☑Webbläsare utan fönster. Avmarkera för felsökning