Как сохранить ссылки на такие страницы?

Сергей 222

A-Parser Pro License
A-Parser Pro
С помощью HTML linkExtractor https://a-parser.com/docs/parsers/html-linkextractor

нужно проходить по ссылкам (есть список сайтов, главные страницы), как внутренним, так и внешним,
парсить до уровня 3
и сохранять ссылки в txt файл (или множество файлов) в папку results

Но сохранять только ссылки на те страницы, в тексте которых содержится одно из слов списка "слова".

Можно ли такое реализовать?


Посмотрел описание фильтрации https://a-parser.com/docs/guides/task-settings/results-filters
но там идет использование https://a-parser.com/docs/parsers/net-http

В итоге немного запутался. Помогите, как это сделать.

Спасибо.
 
Добрый день, порядок парсинга будет такой:
1) парсите ссылки используя HTML::LinkExtractor
2) проверяете страницы, которые спарсили на наличие слов используя Net::HTTP
 
Спасибо. В одном задании это реализуется путем очередности парсеров, верно? Или нужно выполнять в два разных задания друг за другом.
 
Спасибо. В одном задании это реализуется путем очередности парсеров, верно? Или нужно выполнять в два разных задания друг за другом.

используйте запуск второго задания по завершению первого - https://a-parser.com/docs/guides/task-settings/additional-options-of-task-editor#run-on-complete. В одном задании это можно реализовать при помощи JS парсера описав в нем соответствующую логику - https://a-parser.com/docs/javascript-parsers/overview
 
Назад
Верх