Перейти к основному содержимому

Дополнительные опции для некоторых парсеров

Некоторые парсеры поддерживают дополнительные опции, которые можно добавить через контекстное меню настроек: дополнительные опции для парсера

Спарсить все результаты / Parse all results#

Данная опция доступна для парсеров SE::GoogleSE::Google, SE::YandexSE::Yandex, SE::BingSE::Bing, SE::YahooSE::Yahoo и позволяет обходить ограничения выдачи в 1000 результатов на один запрос:

  • При парсинге запросов A-Parser оценивает количество результатов в выдаче которое отображает Google или Яндекс
  • В завимости от количества результатов парсер добавляет множество дополнительных запросов, тем самым позволяя выпарсить намного больше результатов(часто - все) по одному запросу

Парсить до уровня / Parse to level#

Данная опция присутствует для парсеров подсказок(например SE::Google::SuggestSE::Google::Suggest), для парсера SE::Yandex::WordStatSE::Yandex::WordStat и для парсера ссылок HTML::LinkExtractorHTML::LinkExtractor:

  • Для парсеров подсказок и вордстата подставляет заново в запросы спаршенные ключевые слова, позволяя тем самым выпарсить все вложенные ключевые слова до указанного уровня
  • Для парсер HTML::LinkExtractorHTML::LinkExtractor подставляет заново в запросы все внутренние ссылки сайта, позволяя обойти весь сайт, составив его карту ссылок
important

Для данной опции необходимо обязательно включать уникализацию запросов, иначе возможна ситуация когда парсер будет по кругу парсить одни и те же ключевые слова или ссылки

Parse related to level#

Данная опция позволяет указать возможность парсить в глубину по связанным ключевым словам. Поддерживается парсерами SE::GoogleSE::Google, SE::BingSE::Bing, SE::YahooSE::Yahoo.

Другие опции#

Существует ряд дополнительных опций для разных парсеров, подробнее о их назначении можно узнать в документации по каждому парсеру:

  • Use Pages, Check Content, Check Next Page - опции для парсера Net::HTTPNet::HTTP
Последнее обновление