Ga naar de hoofdinhoud

Extra opties voor bepaalde scrapers

Sommige scrapers ondersteunen extra opties die kunnen worden toegevoegd via het contextmenu van de instellingen.

Extra opties voor de scraper

Alle resultaten scrapen / Parse all results

Deze optie is beschikbaar voor de scrapers SE::GoogleSE::Google, SE::YandexSE::Yandex, SE::BingSE::Bing, SE::YahooSE::Yahoo en maakt het mogelijk om de beperking van 1000 resultaten per zoekopdracht te omzeilen:

  • Bij het scrapen van zoekopdrachten schat A-Parser het aantal resultaten in de zoekresultaten in dat Google of Yandex weergeeft
  • Afhankelijk van het aantal resultaten voegt de scraper vele extra zoekopdrachten toe, waardoor het mogelijk wordt om veel meer resultaten (vaak alle) voor één zoekopdracht te extraheren

Scrapen tot niveau / Parse to level

Deze optie is aanwezig voor suggestie-scrapers (bijvoorbeeld SE::Google::SuggestSE::Google::Suggest), voor de scraper SE::Yandex::WordStatSE::Yandex::WordStat en voor de link-scraper HTML::LinkExtractorHTML::LinkExtractor:

  • Voor scrapers van suggesties en Wordstat worden de gescrapte trefwoorden opnieuw in de zoekopdrachten geplaatst, waardoor alle geneste trefwoorden tot het opgegeven niveau kunnen worden geëxtraheerd
  • Voor de scraper HTML::LinkExtractorHTML::LinkExtractor worden alle interne links van de site opnieuw als zoekopdrachten ingevoerd, waardoor de hele site kan worden doorzocht om een sitemap te maken
opmerking

Voor deze optie is het essentieel om query-deduplicatie in te schakelen, anders kan de situatie ontstaan waarin de scraper herhaaldelijk dezelfde trefwoorden of links scrapet

Deze optie maakt het mogelijk om in de diepte te scrapen op basis van gerelateerde zoekwoorden. Ondersteund door de scrapers SE::GoogleSE::Google, SE::BingSE::Bing, SE::YahooSE::Yahoo.

Andere opties

Er bestaat een reeks extra opties voor verschillende scrapers; meer informatie over hun doel is te vinden in de documentatie van elke scraper:

  • Use Pages, Check Content, Check Next Page - opties voor de scraper Net::HTTPNet::HTTP
  • Parse People also ask - optie voor de scraper SE::GoogleSE::Google