1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Ошибка Cookie и перенаправления.

Тема в разделе "Отклоненные задачи", создана пользователем autoparts.db, 30 май 2018.

  1. autoparts.db

    autoparts.db A-Parser Pro License
    A-Parser Pro

    Регистрация:
    17 мар 2018
    Сообщения:
    37
    Симпатии:
    12
    Добрый день.

    Столкнулся с проблемой, когда при при перенаправлении не устанавливаются cookie.

    К примеру при переходе по https://tinyurl.com/y84tx3g7, в браузере устанавливаются множества cookies:

    [​IMG]

    [​IMG]

    [​IMG]

    Но тот же запрос в A-parser:

    Код:
         
    let response = yield this.request('GET', 'https://m.quote.comparethemarket.com/car/newquote/?AFFCLIE=CM01', {}, {
                check_content: ['Submit this form'],
                decode: 'auto-html',
                headers: {
                          'user-agent': UA,
                          'referer': 'https://www.comparethemarket.com/car-insurance/'
                       },
                max_size: 27000,
                proxyretries: 50,
               // recurse: 1
            });
        this.logger.put('Cookie:' + util.inspect(this.cookies.getAll(), false, null));
    
    пропускает и игнорирует эти cookie:

    По HTTP заголовкам в отладочном окне, я вижу что сервер отсылает cookie на запрос A-parser.

    Я понимаю, что можно игнорировать перенаправления, и парсить cookie ручками, но это раздувает код, поскольку может быть множества перенаправлений.
     
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.575
    Симпатии:
    2.172
    Добрый день.
    Указанные ссылки на данный момент не работают, поэтому нет возможности проверить все, что описано выше.
     
  3. autoparts.db

    autoparts.db A-Parser Pro License
    A-Parser Pro

    Регистрация:
    17 мар 2018
    Сообщения:
    37
    Симпатии:
    12
    Ссылка то работает - просто не пускают с российских IP, попробуйте зайти через прокси/VPN.
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.339
    Симпатии:
    1.799
    а можно конкретнее, какие из приходящих Cookie не сохраняются?

    по моим тестам все приходит:
    Код:
    Cookie:{"m.quote.comparethemarket.com":{"/":{"CTMMVT":{"value":"VisitorID=a37a4ba3-a4ab-4c50-ac54-bb88d796b446&VisitorCreationDate=23"}}},"version":1,".comparethemarket.com":{"/":{"VisitDescriptor":{"value":"274e8593-2769-4681-a310-9696a3d2701d:0"},"__cfduid":{"_expires":1561299489,"value":"d42480a478b4bdc01904853778e002bb11529763489"},"CTM.MVT":{"_expires":1561299490,"value":"visitorID=5b201ecc-f748-4296-a727-7e0df6102b43&visitorCreationDate=2018-06-23T14%3A18%3A10.554Z&visitLogID=6416293127484604416"}}},"chronicle.comparethemarket.com":{"/":{"CTMMVT":{"value":"VisitorID=5b201ecc-f748-4296-a727-7e0df6102b43&VisitorCreationDate=23"}}}}
    
     

Поделиться этой страницей