Passer au contenu principal

Options supplémentaires pour certains scrapers

Certains scrapers prennent en charge des options supplémentaires qui peuvent être ajoutées via le menu contextuel des paramètres.

Options supplémentaires pour le scraper

Parser tous les résultats / Parse all results

Cette option est disponible pour les scrapers SE::GoogleSE::Google, SE::YandexSE::Yandex, SE::BingSE::Bing, SE::YahooSE::Yahoo et permet de contourner la limite de 1000 résultats par requête :

  • Lors de la collecte de données, A-Parser évalue le nombre de résultats dans la page de résultats affichée par Google ou Yandex
  • En fonction du nombre de résultats, le scraper ajoute de nombreuses requêtes supplémentaires, permettant ainsi de récupérer beaucoup plus de résultats (souvent tous) pour une seule requête

Parser jusqu'au niveau / Parse to level

Cette option est présente pour les scrapers de suggestions (par exemple SE::Google::SuggestSE::Google::Suggest), pour le scraper SE::Yandex::WordStatSE::Yandex::WordStat et pour le scraper de liens HTML::LinkExtractorHTML::LinkExtractor :

  • Pour les scrapers de suggestions et de Wordstat, il réinsère les mots-clés collectés dans les requêtes, permettant ainsi de récupérer tous les mots-clés imbriqués jusqu'au niveau indiqué
  • Pour le scraper HTML::LinkExtractorHTML::LinkExtractor, elle réinsère tous les liens internes du site dans les requêtes, permettant de parcourir l'ensemble du site en créant son plan de liens
note

Pour cette option, il est impératif d'activer la déduplication des requêtes, sinon le scraper pourrait collecter en boucle les mêmes mots-clés ou liens

Cette option permet de spécifier la possibilité de collecter des données en profondeur via des mots-clés associés. Elle est supportée par les scrapers SE::GoogleSE::Google, SE::BingSE::Bing, SE::YahooSE::Yahoo.

Autres options

Il existe un certain nombre d'options supplémentaires pour différents scrapers, vous pouvez en apprendre davantage sur leur utilité dans la documentation de chaque scraper :

  • Use Pages, Check Content, Check Next Page - options pour le scraper Net::HTTPNet::HTTP
  • Parse People also ask - option pour le scraper SE::GoogleSE::Google