Привет! помогите решить возникший вопрос - цель собрать ссылки на страницы с предложениями авто с auto.ru настроил парсер, но при попытке начать сбор данных выдает сплошные ошибки. Подозреваю что меня забанили, но вроде как я с нового IP в один поток первый тестовый сбор запустил, вроде не должны так быстро. собственно пресет: Спойлер: пресет eyJwcmVzZXQiOiJBdXRvX0xpbmtzX1NlbGVjdCIsInZhbHVlIjp7InByZXNldCI6 IkF1dG9fTGlua3NfU2VsZWN0IiwicGFyc2VycyI6W1siSFRNTDo6TGlua0V4dHJh Y3RvciIsImRlZmF1bHQiLHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJ1c2Vwcm94 eSIsInZhbHVlIjpmYWxzZX0seyJ0eXBlIjoiZmlsdGVyIiwicmVzdWx0IjpbImlu dGxpbmtzIiwibGluayJdLCJmaWx0ZXJUeXBlIjoicmVtYXRjaCIsInZhbHVlIjoi aHR0cHM6XFwvXFwvYXV0b1xcLnJ1XFwvY2Fyc1xcL3VzZWRcXC9zYWxlXFwvKC4q XFwvKSIsIm9wdGlvbiI6IiJ9LHsidHlwZSI6Im9wdGlvbnMiLCJpZCI6InBhcnNl TGV2ZWwiLCJ2YWx1ZSI6MTB9LHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJmb3Jt YXRyZXN1bHQiLCJ2YWx1ZSI6IiRpbnRsaW5rcy5mb3JtYXQoJyRsaW5rIFxcbicp In1dXSwicmVzdWx0c0Zvcm1hdCI6IiRwMS5wcmVzZXQiLCJyZXN1bHRzU2F2ZVRv IjoiZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6IiRkYXRlZmlsZS5mb3JtYXQoKS50 eHQiLCJhZGRpdGlvbmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJzdHJp bmciLCJxdWVyaWVzRnJvbSI6InRleHQiLCJxdWVyeUZvcm1hdCI6WyIkcXVlcnki XSwidW5pcXVlUXVlcmllcyI6dHJ1ZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOmZhbHNl LCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZhbHNlLCJxdWVyeUJ1 aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNPbkFsbExl dmVscyI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6eyJvdmVyd3JpdGUiOmZhbHNl fSwiZG9Mb2ciOiJkYiIsImtlZXBVbmlxdWUiOiJObyIsIm1vcmVPcHRpb25zIjpm YWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1bHRzQXBwZW5kIjoiIiwicXVl cnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W10sImNvbmZpZ092ZXJy aWRlcyI6W10sInJ1blRhc2tPbkNvbXBsZXRlIjoiIiwidXNlUmVzdWx0c0ZpbGVB c1F1ZXJpZXNGaWxlIjpmYWxzZSwidG9vbHNKUyI6IiIsInF1ZXJpZXMiOiJodHRw czovL21vc2Nvdy5hdXRvLnJ1LyJ9fQ== картинка лога
Добрый день. 301 - это редирект, в HTML::LinkExtractor редиректы отключены. Соответственно, их нужно включить. Для этого измените Max redirects count на любое значение, больше 0, например 5. Кроме этого, вы на вход подаете запрос https://moscow.auto.ru/, а все ссылки на объявления находятся на https://auto.ru/. Поэтому нужно включить опцию Subdomains are internal, чтобы все поддомены и основной домен считались как внутренние ссылки. Ну и лучше парсить с прокси, т.к. риск быть забаненным при парсинге с вашего IP существует.
