Как объединить проход по сайту с HTML::LinkExtractor + парсинг текст в HTML::TextExtractor
- Автор темы AntonR
- Дата начала
Прошу прощения за длительное ожидание ответа.
Начиная с версии 1.1.566 для парсеров
Net::HTTP, 
HTML::TextExtractor, 
HTML::LinkExtractor и 
Rank::CMS кэшируются одинаковые HTTP запросы при использовании любой комбинации из этих парсеров в одном задании, что исключает выполнение повторных запросов к одному URL. Главным условием есть то, чтобы все параметры запросов были одинаковые.
Таким образом, можно использовать в одном задании HTML::TextExtractor и HTML::LinkExtractor, и, если настройки http запроса будут совпадать, то запрос будет сделать только один, а для второго парсера контент будет взят из кеша.
Для данной пары парсеров по-умолчанию отличаются 3 параметра, поэтому их нужно сделать одинаковыми.
Начиная с версии 1.1.566 для парсеров
Net::HTTP, HTML::TextExtractor, HTML::LinkExtractor и Rank::CMS кэшируются одинаковые HTTP запросы при использовании любой комбинации из этих парсеров в одном задании, что исключает выполнение повторных запросов к одному URL. Главным условием есть то, чтобы все параметры запросов были одинаковые.Таким образом, можно использовать в одном задании
HTML::TextExtractor и HTML::LinkExtractor, и, если настройки http запроса будут совпадать, то запрос будет сделать только один, а для второго парсера контент будет взят из кеша.Для данной пары парсеров по-умолчанию отличаются 3 параметра, поэтому их нужно сделать одинаковыми.