1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Улучшение [1.1.340] Ошибка в случае редиректа на другой домен в SE::Yandex

Тема в разделе "1.1.355", создана пользователем Владислав, 10 ноя 2015.

  1. Владислав

    Владислав A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    9 авг 2013
    Сообщения:
    54
    Симпатии:
    0
    Сейчас ситуация следующая.

    Указываю я, например, yandex.ru.
    При этом в доп параметрах через &lr= указываю город Минск.

    Парсер говорит так:

    upload_2015-11-10_21-25-3.png

    В итоге это таск сваливается в бесконечные ошибки. А если установлено много попыток и за таском не следит никто, то в миллионы каптч.

    Вопрос: почему не спарсить с бай-домена по редиректу? К чему эта привязка к домену? Она же от гугла пришла и тут фактически не нужна, разве нет?

    Спасибо за ответ.
     
    #1 Владислав, 10 ноя 2015
  2. Владислав

    Владислав A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    9 авг 2013
    Сообщения:
    54
    Симпатии:
    0
    Вся соль ситуации в том, что со своей стороны вести список id регионов по странам и подменять домен на нужный... ну короче работа ради работы. Гораздо проще просто убрать проверку доменной зоны, от неё мало что зависит, если я правильно понимаю.
     
    #2 Владислав, 10 ноя 2015
  3. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    редирект - лишнее действие, и будет выполнятся для каждого запроса если установлена не корректная пара домен\регион
     
    #3 Forbidden, 11 ноя 2015
  4. Владислав

    Владислав A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    9 авг 2013
    Сообщения:
    54
    Симпатии:
    0
    А сейчас получается есть ещё сверху лишнее действие: остановка таска, копирование, исправление настроек и снова запуск. А если там снова затесалось BY/UA/KZ, то можно и несколько раз подряд так делать.
     
    #4 Владислав, 18 ноя 2015
  5. Владислав

    Владислав A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    9 авг 2013
    Сообщения:
    54
    Симпатии:
    0
    Не понимаю смысла выдавать ошибку в таске, если парсер в состоянии её отработать. У того же Net::HTTP есть в настройках количество воспринимаемых редиректов. Может и тут это поможет?
     
    #5 Владислав, 18 ноя 2015
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    логика работы сессий завязана на куках и домене который прописан в конфиге, в чем сложность при работе с Украиной выбрать нужный домен?
    посмотрю можно ли это реализовать в парсере
     
    #6 Forbidden, 18 ноя 2015
  7. Владислав

    Владислав A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    9 авг 2013
    Сообщения:
    54
    Симпатии:
    0
    Сложность в том, чтобы заранее по id региона определить к какой стране он относится.
    Спасибо!
     
    #7 Владислав, 19 ноя 2015
  8. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    теперь для Украины, Беларуси и Казахстана домен выбирается автоматически, без необходимости его выбора в конфиге
     
    #8 Forbidden, 20 ноя 2015
  9. Владислав

    Владислав A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    9 авг 2013
    Сообщения:
    54
    Симпатии:
    0
    Спасибо!
     
    #9 Владислав, 20 ноя 2015
  10. Владислав

    Владислав A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    9 авг 2013
    Сообщения:
    54
    Симпатии:
    0
    upload_2015-11-20_13-4-26.png

    А что поменялось?
     
    #10 Владислав, 20 ноя 2015
  11. Владислав

    Владислав A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    9 авг 2013
    Сообщения:
    54
    Симпатии:
    0
    может проблема в том, что я юзаю подстановку региона через Extra query string с подстановкой &lr=213, например?
     
    #11 Владислав, 20 ноя 2015
  12. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    конечно проблема в этом, регион должен быть выбран в поле Region в настройках
     
    #12 Forbidden, 21 ноя 2015
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей