Hoppa till huvudinnehåll

SE::Yahoo - Scraper för Yahoo sökresultat

Yahoo

Översikt av scrapern​

Scraper för Yahoo sökresultat. Tack vare Yahoo-scrapern kan du samla in stora databaser med länkar, redo för vidare användning. Du kan använda sökfrågor på samma sätt som du skriver in dem i Yahoos sökfält, inklusive sökoperatorer (site, ip osv.).

Funktionaliteten i A-Parser gör det möjligt att spara inställningar för Yahoo-scrapern för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer. Du kan använda automatisk multiplikation av sökfrågor, infogning av undersökfrågor från filer, generering av alfanumeriska kombinationer och listor för att få största möjliga antal resultat.

Resultaten kan sparas i den form och struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.

Data som samlas in​

  • Länkar, ankare och snippets från sökresultaten
  • Lista över relaterade sökord (Related keywords)
  • Annonsresultat
Data som samlas in

Funktioner​

  • Stöd för alla sökoperatorer i Yahoo (site:, ip: osv.)
  • Skrapar det maximala antalet resultat som Yahoo tillhandahåller - 50 sidor med 100 objekt per sökresultat
  • Kan automatiskt skrapa mer än 1000 resultat per sökfråga - lägger till extra tecken (alternativet Parse all results)
  • Möjlighet till djupgående dataskrapning via relaterade sökord (Parse related to level)
  • Möjlighet att söka efter relaterade sökord
  • Stöder angivelse av tidsintervall för sökresultat

Användningsfall​

  • Insamling av länkdatabaser - för A-Poster, XRumer, AllSubmitter osv.
  • Bedömning av konkurrens för sökord
  • Sökning efter backlänkar (omnämnanden) av webbplatser
  • Kontroll av webbplatsers indexering
  • Sökning efter webbplatser på samma IP-adress
  • Sökning efter sårbara webbplatser
  • Alla andra scenarier som innebär dataskrapning av Yahoo i någon form

Sökfrågor​

Som sökfrågor ska sökfraser anges på exakt samma sätt som om de skrevs in direkt i Yahoos sökformulär, till exempel:

test
fönster Stockholm   
site:http://lenta.ru  
ip:222.36.12.12

Substitutioner i sökfrågor​

Du kan använda inbyggda makron för att multiplicera sökfrågor. Om vi till exempel vill få en mycket stor databas med forum, anger vi några grundläggande sökfrågor på olika språk:

forum
forum
foro
论坛

I sökfrågeformatet anger vi en genomgång av tecken från a till zzzz. Denna metod gör det möjligt att rotera sökresultaten maximalt och få många nya unika resultat:

$query {az:a:zzzz}

Detta makro kommer att skapa 475254 ytterligare sökfrågor för varje ursprunglig sökfråga, vilket totalt ger 4 x 475254 = 1901016 sökfrågor. Siffran är imponerande, men det är inga problem för A-Parser. Med en hastighet på 2000 sökfrågor per minut kommer en sådan uppgift att behandlas på bara 16 timmar.

Användning av operatorer​

Du kan använda sökoperatorer i sökfrågeformatet, så att de automatiskt läggs till i varje sökfråga från din lista:

site:$query

Exempel på resultatutmatning​

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör det möjligt att exportera resultat i valfri form, samt i strukturerad form som CSV eller JSON.

Export av länklista​

På samma sätt som i SE::Google.

På samma sätt som i SE::Google.

På samma sätt som i SE::Google.

På samma sätt som i SE::Google.

Sökordskonkurrens​

På samma sätt som i SE::Google.

Kontroll av länkindexering​

På samma sätt som i SE::Google.

Spara i SQL-format​

På samma sätt som i SE::Google.

Dumpa resultat till JSON​

På samma sätt som i SE::Google.

Behandling av resultat​

A-Parser gör det möjligt att behandla resultat direkt under dataskrapningen. I det här avsnittet har vi listat de mest populära fallen för Yahoo-scrapern.

På samma sätt som i SE::Google.

På samma sätt som i SE::Google.

Extrahera domäner​

På samma sätt som i SE::Google.

Ta bort taggar från ankare och snippets​

På samma sätt som i SE::Google.

På samma sätt som i SE::Google.

Möjliga inställningar​

anteckning

Allmänna inställningar för alla scrapers

ParameternamnStandardvärdeBeskrivning
Pages count5Antal sidor att skrapa (från 1 till 50)
Serp timeAll timeSERP-tid (tidsberoende sökning, parameter "tbs=": All time / Past 24 hours / Past week / Past month)
Safe SearchModerateVal av säker sökning (Off / Moderate / Strict)
Yahoo domainUnited States (English)Val av Yahoo-domän
Yahoo languageAnyVal av Yahoo-språk, gör det möjligt att välja sökspråk
Yahoo countryAnyVal av land, gör det möjligt att välja land för sökningen
Not found is error☐Om avsaknad av resultat ska räknas som ett fel