Как настроить парс запросов, или как составить правильно запрос, чтобы на выходе были линки со спец символами ? тоесть грубо говоря как в sqlDumper идет парс, так вот чтобы на выходе шли такого вида ссылки типа [t]t%#$&* чтобы типо были спец символы и тд
Нужна помощь с настройкой парса
- Автор темы alex47715
- Дата начала
Если требуется фильтровать получаемые результаты (например вы парсите ссылки и нужно фильтровать их по наличию в них каких-то символов), то для этого нужно использовать фильтры: https://a-parser.com/docs/guides/task-settings/results-filters
Нет, я хочу настроить Парсер стак, тобы он парсил не все подряд а только вид ссылки мой
Вот например, могу ли я как то настроить или составить запрос, чтобы Парсились только такого вида ссылки ?
https://www.tmsc.co.th/newsdetail.php?id
https://www.animalbehaviorandcognition.org/article.php?id=[t]
http://math4all.in/news.php?id=' union all select 1,[t],3,4,5,6 and '1'='1
и тд ?
https://www.tmsc.co.th/newsdetail.php?id
https://www.animalbehaviorandcognition.org/article.php?id=[t]
http://math4all.in/news.php?id=' union all select 1,[t],3,4,5,6 and '1'='1
и тд ?
Вы можете использовать любые запросы, аналогично как вы бы это делали в поисковой строке нужной вам поисковой системы. Это не зависит от А-Парсера.
А вот если требуется отфильтровать собираемые результаты, то это делается с помощью фильтров, как уже было сказано во 2-м сообщении.
А вот если требуется отфильтровать собираемые результаты, то это делается с помощью фильтров, как уже было сказано во 2-м сообщении.
Здравствуйте, подскажите или помогите, можно ли при парсе например с google по ключевым словам или доркам, сделать так, чтобы а-парсер сохранял только те сайты на которых есть авторизация ?нужно отсеить все сайты на которых нет авторизации и на которых она есть, возможно ли это ?
В первую очередь вам нужно определить точные признаки наличия авторизации, скорее всего это будут какие-то теги/классы/атрибуты или строки типа "Log In", "Войти". Имея список признаков задача решается в 2 этапа:
- Парсинг ссылок по нужным запросам (ключевым словам или доркам), используя парсер нужной поисковой системы
- Фильтрация собранных ссылок по наличию в коде страницы признаков наличия авторизации, используя
Net::HTTP и фильтр. Примеры фильтрации есть в Документации (https://a-parser.com/docs/guides/task-settings/results-filters#filter-by-text) или в Каталоге (https://a-parser.com/resources/178/)
thanksВ первую очередь вам нужно определить точные признаки наличия авторизации, скорее всего это будут какие-то теги/классы/атрибуты или строки типа "Log In", "Войти". Имея список признаков задача решается в 2 этапа:
- Парсинг ссылок по нужным запросам (ключевым словам или доркам), используя парсер нужной поисковой системы
- Фильтрация собранных ссылок по наличию в коде страницы признаков наличия авторизации, используя
почему то у меня не работает. загрузил спарсенные ссылки, закинул в парсер списком в виде https://www.viella.it/ и все летит в неудачные запросыВ первую очередь вам нужно определить точные признаки наличия авторизации, скорее всего это будут какие-то теги/классы/атрибуты или строки типа "Log In", "Войти". Имея список признаков задача решается в 2 этапа:
- Парсинг ссылок по нужным запросам (ключевым словам или доркам), используя парсер нужной поисковой системы
- Фильтрация собранных ссылок по наличию в коде страницы признаков наличия авторизации, используя
Напишите в один из чатов Технической поддержки и покажите настройки задания и что именно пишется в логе задания