Улучшение [1.1.340] Ошибка в случае редиректа на другой домен в SE::Yandex

[Владислав]

Сейчас ситуация следующая.

Указываю я, например, yandex.ru.
При этом в доп параметрах через &lr= указываю город Минск.

Парсер говорит так:



В итоге это таск сваливается в бесконечные ошибки. А если установлено много попыток и за таском не следит никто, то в миллионы каптч.

Вопрос: почему не спарсить с бай-домена по редиректу? К чему эта привязка к домену? Она же от гугла пришла и тут фактически не нужна, разве нет?

Спасибо за ответ.

 

[Владислав]

Вся соль ситуации в том, что со своей стороны вести список id регионов по странам и подменять домен на нужный... ну короче работа ради работы. Гораздо проще просто убрать проверку доменной зоны, от неё мало что зависит, если я правильно понимаю.

 

[Forbidden]

редирект - лишнее действие, и будет выполнятся для каждого запроса если установлена не корректная пара домен\регион

 

[Владислав]

А сейчас получается есть ещё сверху лишнее действие: остановка таска, копирование, исправление настроек и снова запуск. А если там снова затесалось BY/UA/KZ, то можно и несколько раз подряд так делать.

 

[Владислав]

Не понимаю смысла выдавать ошибку в таске, если парсер в состоянии её отработать. У того же Net::HTTP есть в настройках количество воспринимаемых редиректов. Может и тут это поможет?

 

[Forbidden]

логика работы сессий завязана на куках и домене который прописан в конфиге, в чем сложность при работе с Украиной выбрать нужный домен?

вести список id регионов по странам и подменять домен на нужный...

посмотрю можно ли это реализовать в парсере

 

[Владислав]

Сложность в том, чтобы заранее по id региона определить к какой стране он относится.
Спасибо!

 

[Forbidden]

теперь для Украины, Беларуси и Казахстана домен выбирается автоматически, без необходимости его выбора в конфиге

 

[Владислав]

Спасибо!

 

[Владислав]

А что поменялось?

 

[Владислав]

может проблема в том, что я юзаю подстановку региона через Extra query string с подстановкой &lr=213, например?

 

[Forbidden]

может проблема в том, что я юзаю подстановку региона через Extra query string с подстановкой &lr=213, например?

конечно проблема в этом, регион должен быть выбран в поле Region в настройках