1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Как объединить проход по сайту с HTML::LinkExtractor + парсинг текст в HTML::TextExtractor

Тема в разделе "Техническая поддержка", создана пользователем AntonR, 19 авг 2018.

  1. AntonR

    AntonR Member

    Регистрация:
    7 дек 2013
    Сообщения:
    84
    Симпатии:
    13
    А можно как-то объединить проход по сайту с HTML::LinkExtractor и параллельно за один запрос к странице вытаскивать текст с помощью HTML::TextExtractor? Чтобы меньше грузить сайт?
     
    #1 AntonR, 19 авг 2018
    Vvtex нравится это.
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Прошу прощения за длительное ожидание ответа.
    Начиная с версии 1.1.566 для парсеров Net::HTTP Net::HTTP, HTML::TextExtractor HTML::TextExtractor, HTML::LinkExtractor HTML::LinkExtractor и Rank::CMS Rank::CMS кэшируются одинаковые HTTP запросы при использовании любой комбинации из этих парсеров в одном задании, что исключает выполнение повторных запросов к одному URL. Главным условием есть то, чтобы все параметры запросов были одинаковые.

    Таким образом, можно использовать в одном задании HTML::TextExtractor HTML::TextExtractor и HTML::LinkExtractor HTML::LinkExtractor, и, если настройки http запроса будут совпадать, то запрос будет сделать только один, а для второго парсера контент будет взят из кеша.
    Для данной пары парсеров по-умолчанию отличаются 3 параметра, поэтому их нужно сделать одинаковыми.
    [​IMG]
    [​IMG]
     
    #2 Support, 4 сен 2018
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей