Пресет Собрать карту сайта + заголовки урлов 1.0

[span4bob]

Добрый день
Я как понимаю, чтобы собрать карту сайта нужно использовать https://a-parser.com/wiki/html-linkextractor/
Возник другой вопрос, реально ли сделать так :
Закинуть в a-parser к примеру домен и чтобы он начал собирать все внутренние ссылки и в отчете, рядом с ссылкой публиковал текст из тега title ?
то есть
url1 - title1
urll2 - title2
url3 - title3

и тд..

Можно отчет не в тхт, а к примеру в csv.

Реально ли такое сделать?

 

[Support Юра]

Пользователь Support Юра разместил новый ресурс:

Карта сайта и заголовки - Пресет собирает карту сайта и её заголовки

Пресет собирает все внутренние ссылки и в результат выводит запрос (ссылку на страницу) и тайтл страницы:
Посмотреть вложение 657
В пресете есть возможность задать "глубину парсинга", через опцию "Parse to level".
В результат получаем карту сайта и заголовки:

https://trello.com ; Trello
https://trello.com/home ; Trello
https://trello.com/signup?returnUrl=/ ; Create a Trello Account
https://trello.com/signup ; Create a Trello Account...

Узнать больше об этом ресурсе...

 

[Alexey Nikitin]

Допустим на входе есть файл со списком сайтов:
site1
site2
.....
siteN
Нужно чтобы карты сайтов собирались по каждому сайту отдельно:
site1.txt
site2.txt
.....
siteN.txt
Подскажите пожалуйста как реализовать данным пресетом

 

[Support Юра]

Здравствуйте.
Для решения Вашей задачи поменяйте содержимое поля "Имя файла" на следующую конструкцию:

[% query.first.match('https?://([^/]+)').0 _ '.txt' %]

Подробнее о форматировании результатов, можно почитать здесь

 

[Alexey Nikitin]

А как сделать чтобы при сохранении в тайтле вырезался знак " | "

 

[Zlodeys]

А как сделать чтобы при сохранении в тайтле вырезался знак " | "

Через конструктор результатов. https://image.prntscr.com/image/FQEn25t1Qs_0_MqQpQL98w.png
Простейший вариант, поиск замена. Поиск | заменить на пусто. https://image.prntscr.com/image/mnayQeowRSGULY3MNyR00A.png
Ну или составлять регулярку если, если нужно специфическая вырезка. https://image.prntscr.com/image/R-4vtwj5TMG0aqNndtW0mg.png

 

[alexcraft]

Подскажите,пожалуйста, как сохранять в результатах только урлы, содержащие определенный кусок, например thread.

 

[Support]

Используйте фильтр и фильтруйте $intlinks на наличие строки thread в них.
Подробнее об использовании фильтров: https://a-parser.com/wiki/filter/

 

[woodoo]

а как сделать чтобы результаты сохранялись в разном формате в отдельные файлы по 500 урлов например.
Пример:

1 файл:
500 урл в формате
<a href="https:/site.com">anchor1</a>
<a href="https:/site.com">anchor500</a>
2 файл:
[url=https://site.com]anchor1[/url]
 [url=https://site.com]anchor500[/url]

 

[Support Денис]

Здравствуйте.
По этой ссылке есть пример
По аналогии можете сделать в формате результата и в формате имени файла.

 

[Dohrenarh]

Не работает. В файле одна строка:
https://site.com none
Что я не так делаю?

 

[Support Денис]

Здравствуйте. Что пишет в логе задания ?

 

[Dohrenarh]

Здравствуйте. Что пишет в логе задания ?

403 Forbidden (0 KB)
Поставил 1000 попыток, жду.

 

[Support Денис]

Возможно на сайте стоит защита, либо если парсите без прокси то ваш IP забанен. Как вариант можете попробовать юзер агент поставить посовременней( переопределить опцию User agent)

 

[Dohrenarh]

Паршу с проксями. Там скорее всего капча от Cloudflare.
Можно как-то подключить ее решение?

 

[Support Денис]

Нет. Только JS парсер если разработать, и в нем реализовать возможность подключения каптчи.

 

[Dohrenarh]

Помог юзерагент, спасибо)

 

[Dohrenarh]

Подскажите пожалуйста, как сделать что бы в файл сохранялись только тайтлы, без урл.

 

[Support Денис]

Измените формат результата. Ознакомиться с документацией по форматированию результата вы можете по этой ссылке
Конкретно в этом случае измените

$intlinks.format('$link $anchor\n')

на

$intlinks.format('$anchor\n')

Если нужны анкоры очищенные от html тегов то

$intlinks.format('$cleananchor\n')