Crawler / карта сайта + robots.txt

[Valentin5]

Возможно ли добавить кравлер, который будет собирать ссылки и ходить по ним рекурсивно, собирая карту сайта включая папки что в robots.txt?

 

[Support]

Такой парсер уже есть: HTML::LinkExtractor.
Также в Каталоге есть готовый пример создания карты сайта: https://a-parser.com/resources/53/

 

[bingman39234]

Подскажите, пожалуйста, оно работает с ajax запросами?

 

[Support]

Подскажите, пожалуйста, оно работает с ajax запросами?

Нет, переходы осуществляются только по обычным (<a href="...">) ссылкам.

 

[bingman39234]

а можно дописать модуль что булет обрабатывать ajax и js сценарии и извлекать из них дату?
если да то какая цена вопроса? и какие сроки?

 

[Support]

По дефолту (в частности в HTML::LinkExtractor) парсер не строит dom не обрабатывает js скрипты.
Если вам нужно кастомное решение под какой-то определенный сайт, подготовьте ТЗ и направьте его в Платную поддержку по одному из контактов: http://a-parser.com/threads/1795/