Парсинг всех страниц определенного сайта!

[Maxvell]

Здравствуйте, у меня вопрос к людям разбирающимся.
Каким образом можно спарсить все страницы определенного сайта?(все ссылки сайта)

 

[Support]

HTML::LinkExtractor + Parse to level

Готовый пример: https://a-parser.com/docs/parsers/html-linkextractor#сбор-всех-внутренних-ссылок-с-сайта

 

[Maxvell]

HTML::LinkExtractor + Parse to level

Готовый пример: https://a-parser.com/docs/parsers/html-linkextractor#сбор-всех-внутренних-ссылок-с-сайта

Спасибо вам большое!!!!!

 

[Maxvell]

Один вопрос я не совсем понял как работает parse to lvl чтобы получить все страницы с сайта мне хватит 3 уровня?

 

[Support]

Принцип работы описан в документации по ссылке выше.
Какой именно уровень указать - решать вам, каких-то конкретных рекомендаций на этот счет нет. Чем больше сайт (глубина вложенности страниц) - тем больше уровень.

 

[Maxvell]

Так же у меня возникла проблема с запуском задачи(лог прикрепил ниже)

 

[Support]

Судя по логу что-то разрывает соединение. Попробуйте проверить без прокси и в браузере. Если проблема не решится - напишите в один из чатов Технической поддержки: https://a-parser.com/pages/support/

 

[Maxvell]

Судя по логу что-то разрывает соединение. Попробуйте проверить без прокси и в браузере. Если проблема не решится - напишите в один из чатов Технической поддержки: https://a-parser.com/pages/support/

Понял, сейчас попробую.
Спасибо!

 

[Maxvell]

Все исправил но меня тревожит очень маленькая выдача всего 24 ссылки с сайта.
Я импортировал пример который вы отправили и сделал вроде как все правильно.

 

[Maxvell]

 

[Support]

напишите в один из чатов Технической поддержки: https://a-parser.com/pages/support/

 

[Maxvell]

Мне помогли спасибо вам!