1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Crawler / карта сайта + robots.txt

Тема в разделе "Техническая поддержка", создана пользователем Valentin5, 24 июн 2017.

  1. Valentin5

    Valentin5 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    18 мар 2017
    Сообщения:
    5
    Симпатии:
    0
    Возможно ли добавить кравлер, который будет собирать ссылки и ходить по ним рекурсивно, собирая карту сайта включая папки что в robots.txt?
     
    #1 Valentin5, 24 июн 2017
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    #2 Support, 26 июн 2017
    Forbidden нравится это.
  3. bingman39234

    bingman39234 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 авг 2020
    Сообщения:
    3
    Симпатии:
    0
    Подскажите, пожалуйста, оно работает с ajax запросами?
     
    #3 bingman39234, 22 сен 2020
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Нет, переходы осуществляются только по обычным (<a href="...">) ссылкам.
     
    #4 Support, 22 сен 2020
  5. bingman39234

    bingman39234 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 авг 2020
    Сообщения:
    3
    Симпатии:
    0
    а можно дописать модуль что булет обрабатывать ajax и js сценарии и извлекать из них дату?
    если да то какая цена вопроса? и какие сроки?
     
    #5 bingman39234, 22 сен 2020
  6. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    По дефолту (в частности в HTML::LinkExtractor HTML::LinkExtractor) парсер не строит dom не обрабатывает js скрипты.
    Если вам нужно кастомное решение под какой-то определенный сайт, подготовьте ТЗ и направьте его в Платную поддержку по одному из контактов: http://a-parser.com/threads/1795/
     
    #6 Support, 22 сен 2020
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей