Дополнительные возможности для некоторых парсеров

4 окт 2016


  • Некоторые парсеры поддерживают дополнительные опции, которые можно добавить через контекстное меню настроек:
    [​IMG]

    Parse all results(top)

    Данная опция доступна для парсеров SE::Google SE::Google, SE::Yandex SE::Yandex и позволяет обходить ограничения выдачи в 1000 результатов на один запрос:
    • При парсинге запросов A-Parser оценивает количество результатов в выдаче которое отображает Google или Яндекс
    • В завимости от количества результатов парсер добавляет множество дополнительных запросов, тем самым позволяя выпарсить намного больше результатов(часто - все) по одному запросу

    Parse to level(top)

    Данная опция присутствует для парсеров подсказок(например SE::Google::Suggest SE::Google::Suggest), для парсера SE::Yandex::WordStat SE::Yandex::WordStat и для парсера ссылок HTML::LinkExtractor HTML::LinkExtractor
    • Для парсеров подсказок и вордстата подставляет заново в запросы спаршенные ключевые слова, позволяя тем самым выпарсить все вложенные ключевые слова до указанного уровня
    • Для парсер HTML::LinkExtractor HTML::LinkExtractor подставляет заново в запросы все внутренние ссылки сайта, позволяя обойти весь сайт, составив его карту ссылок
    Для данной опции необходимо обязательно включать уникализацию запросов, иначе возможна ситуация когда парсер будет по кругу парсить одни и те же ключевые слова или ссылки

    Другие опции(top)

    Существует ряд дополнительных опций для разных парсеров, подробнее о их назначении можно узнать в документации по каждому парсеру:
    • Use Pages,
      Check Content,
      Check Next Page - опции для парсера Net::HTTP Net::HTTP
    • Parse Custom - опция дополнительного парсинга результата по регулярному выражению