Сейчас ситуация следующая. Указываю я, например, yandex.ru. При этом в доп параметрах через &lr= указываю город Минск. Парсер говорит так: В итоге это таск сваливается в бесконечные ошибки. А если установлено много попыток и за таском не следит никто, то в миллионы каптч. Вопрос: почему не спарсить с бай-домена по редиректу? К чему эта привязка к домену? Она же от гугла пришла и тут фактически не нужна, разве нет? Спасибо за ответ.
Вся соль ситуации в том, что со своей стороны вести список id регионов по странам и подменять домен на нужный... ну короче работа ради работы. Гораздо проще просто убрать проверку доменной зоны, от неё мало что зависит, если я правильно понимаю.
редирект - лишнее действие, и будет выполнятся для каждого запроса если установлена не корректная пара домен\регион
А сейчас получается есть ещё сверху лишнее действие: остановка таска, копирование, исправление настроек и снова запуск. А если там снова затесалось BY/UA/KZ, то можно и несколько раз подряд так делать.
Не понимаю смысла выдавать ошибку в таске, если парсер в состоянии её отработать. У того же Net::HTTP есть в настройках количество воспринимаемых редиректов. Может и тут это поможет?
логика работы сессий завязана на куках и домене который прописан в конфиге, в чем сложность при работе с Украиной выбрать нужный домен? посмотрю можно ли это реализовать в парсере
теперь для Украины, Беларуси и Казахстана домен выбирается автоматически, без необходимости его выбора в конфиге
может проблема в том, что я юзаю подстановку региона через Extra query string с подстановкой &lr=213, например?
