Возможно ли добавить кравлер, который будет собирать ссылки и ходить по ним рекурсивно, собирая карту сайта включая папки что в robots.txt?
Такой парсер уже есть: HTML::LinkExtractor. Также в Каталоге есть готовый пример создания карты сайта: https://a-parser.com/resources/53/
а можно дописать модуль что булет обрабатывать ajax и js сценарии и извлекать из них дату? если да то какая цена вопроса? и какие сроки?
По дефолту (в частности в HTML::LinkExtractor) парсер не строит dom не обрабатывает js скрипты. Если вам нужно кастомное решение под какой-то определенный сайт, подготовьте ТЗ и направьте его в Платную поддержку по одному из контактов: http://a-parser.com/threads/1795/
