парсинг auto.ru

[18kotov]

Привет!
помогите решить возникший вопрос - цель собрать ссылки на страницы с предложениями авто с auto.ru
настроил парсер, но при попытке начать сбор данных выдает сплошные ошибки.
Подозреваю что меня забанили, но вроде как я с нового IP в один поток первый тестовый сбор запустил, вроде не должны так быстро.

собственно пресет:

Спойлер: пресет

eyJwcmVzZXQiOiJBdXRvX0xpbmtzX1NlbGVjdCIsInZhbHVlIjp7InByZXNldCI6
IkF1dG9fTGlua3NfU2VsZWN0IiwicGFyc2VycyI6W1siSFRNTDo6TGlua0V4dHJh
Y3RvciIsImRlZmF1bHQiLHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJ1c2Vwcm94
eSIsInZhbHVlIjpmYWxzZX0seyJ0eXBlIjoiZmlsdGVyIiwicmVzdWx0IjpbImlu
dGxpbmtzIiwibGluayJdLCJmaWx0ZXJUeXBlIjoicmVtYXRjaCIsInZhbHVlIjoi
aHR0cHM6XFwvXFwvYXV0b1xcLnJ1XFwvY2Fyc1xcL3VzZWRcXC9zYWxlXFwvKC4q
XFwvKSIsIm9wdGlvbiI6IiJ9LHsidHlwZSI6Im9wdGlvbnMiLCJpZCI6InBhcnNl
TGV2ZWwiLCJ2YWx1ZSI6MTB9LHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJmb3Jt
YXRyZXN1bHQiLCJ2YWx1ZSI6IiRpbnRsaW5rcy5mb3JtYXQoJyRsaW5rIFxcbicp
In1dXSwicmVzdWx0c0Zvcm1hdCI6IiRwMS5wcmVzZXQiLCJyZXN1bHRzU2F2ZVRv
IjoiZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6IiRkYXRlZmlsZS5mb3JtYXQoKS50
eHQiLCJhZGRpdGlvbmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJzdHJp
bmciLCJxdWVyaWVzRnJvbSI6InRleHQiLCJxdWVyeUZvcm1hdCI6WyIkcXVlcnki
XSwidW5pcXVlUXVlcmllcyI6dHJ1ZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOmZhbHNl
LCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZhbHNlLCJxdWVyeUJ1
aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNPbkFsbExl
dmVscyI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6eyJvdmVyd3JpdGUiOmZhbHNl
fSwiZG9Mb2ciOiJkYiIsImtlZXBVbmlxdWUiOiJObyIsIm1vcmVPcHRpb25zIjpm
YWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1bHRzQXBwZW5kIjoiIiwicXVl
cnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W10sImNvbmZpZ092ZXJy
aWRlcyI6W10sInJ1blRhc2tPbkNvbXBsZXRlIjoiIiwidXNlUmVzdWx0c0ZpbGVB
c1F1ZXJpZXNGaWxlIjpmYWxzZSwidG9vbHNKUyI6IiIsInF1ZXJpZXMiOiJodHRw
czovL21vc2Nvdy5hdXRvLnJ1LyJ9fQ==

картинка лога
[URL=http://radikal.ru/fp/43520b54c8c6470991132f60e6ca7e68][/URL]

 

[Support]

Добрый день.
301 - это редирект, в HTML::LinkExtractor редиректы отключены. Соответственно, их нужно включить. Для этого измените Max redirects count на любое значение, больше 0, например 5.
Кроме этого, вы на вход подаете запрос https://moscow.auto.ru/, а все ссылки на объявления находятся на https://auto.ru/. Поэтому нужно включить опцию Subdomains are internal, чтобы все поддомены и основной домен считались как внутренние ссылки.
Ну и лучше парсить с прокси, т.к. риск быть забаненным при парсинге с вашего IP существует.

 

[18kotov]

благодарю за оперативный и подробный ответ.