Hoppa till huvudinnehåll

Ytterligare alternativ för vissa scrapers

Vissa scrapers stöder ytterligare alternativ som kan läggas till via inställningarnas kontextmeny.

Ytterligare alternativ för scrapern

Skrapa alla resultat

Detta alternativ är tillgängligt för scrapers SE::GoogleSE::Google, SE::YandexSE::Yandex, SE::BingSE::Bing, SE::YahooSE::Yahoo och gör det möjligt att kringgå begränsningen på 1000 resultat per sökfråga:

  • Vid dataskrapning av frågor utvärderar A-Parser antalet resultat i sökresultaten som visas av Google eller Yandex
  • Beroende på antalet resultat lägger scrapern till många ytterligare frågor, vilket gör det möjligt att skrapa betydligt fler resultat (ofta alla) för en enskild fråga

Skrapa till nivå

Detta alternativ finns för scrapers för sökförslag (till exempel SE::Google::SuggestSE::Google::Suggest), för scrapern SE::Yandex::WordStatSE::Yandex::WordStat och för länkscrapern HTML::LinkExtractorHTML::LinkExtractor:

  • För scrapers av sökförslag och Wordstat infogas skrapade sökord på nytt i frågorna, vilket gör det möjligt att skrapa alla underliggande sökord ner till den angivna nivån
  • För scrapern HTML::LinkExtractorHTML::LinkExtractor läggs alla interna länkar från webbplatsen in som nya sökfrågor, vilket gör det möjligt att skrapa hela webbplatsen och skapa en länkkarta
anteckning

För detta alternativ är det obligatoriskt att aktivera frågedubblettkontroll, annars kan en situation uppstå där scrapern skrapar samma sökord eller länkar om och om igen i en loop

Detta alternativ gör det möjligt att ange möjligheten till dataskrapning på djupet via relaterade sökord. Stöds av scrapers SE::GoogleSE::Google, SE::BingSE::Bing, SE::YahooSE::Yahoo.

Övriga alternativ

Det finns ett antal ytterligare alternativ för olika scrapers, mer information om deras syfte finns i dokumentationen för varje scraper:

  • Use Pages, Check Content, Check Next Page - alternativ för scrapern Net::HTTPNet::HTTP
  • Parse People also ask - alternativ för scrapern SE::GoogleSE::Google