Ошибка Cookie и перенаправления.

[autoparts.db]

Добрый день.

Столкнулся с проблемой, когда при при перенаправлении не устанавливаются cookie.

К примеру при переходе по https://tinyurl.com/y84tx3g7, в браузере устанавливаются множества cookies:

Спойлер: Скриншоты

Но тот же запрос в A-parser:

let response = yield this.request('GET', 'https://m.quote.comparethemarket.com/car/newquote/?AFFCLIE=CM01', {}, {
            check_content: ['Submit this form'],
            decode: 'auto-html',
            headers: {
                      'user-agent': UA,
                      'referer': 'https://www.comparethemarket.com/car-insurance/'
                   },
            max_size: 27000,
            proxyretries: 50,
           // recurse: 1
        });
    this.logger.put('Cookie:' + util.inspect(this.cookies.getAll(), false, null));

пропускает и игнорирует эти cookie:

{ version: 1, 'm.quote.comparethemarket.com': { '/': { CTMMVT: { value: 'VisitorID=26e245ff-1ed3-46bb-a71b-7bb7a1402b1e&VisitorCreationDate=30' } } }, '.comparethemarket.com': { '/': { __cfduid: { value: 'd0ad1060ec2413727a81068840896553f1527685416', _expires: 1559221416, httponly: undefined } } } }

По HTTP заголовкам в отладочном окне, я вижу что сервер отсылает cookie на запрос A-parser.

Я понимаю, что можно игнорировать перенаправления, и парсить cookie ручками, но это раздувает код, поскольку может быть множества перенаправлений.

 

[Support]

Добрый день.
Указанные ссылки на данный момент не работают, поэтому нет возможности проверить все, что описано выше.

 

[autoparts.db]

Ссылка то работает - просто не пускают с российских IP, попробуйте зайти через прокси/VPN.

 

[Forbidden]

По HTTP заголовкам в отладочном окне, я вижу что сервер отсылает cookie на запрос A-parser.

а можно конкретнее, какие из приходящих Cookie не сохраняются?

по моим тестам все приходит:

Cookie:{"m.quote.comparethemarket.com":{"/":{"CTMMVT":{"value":"VisitorID=a37a4ba3-a4ab-4c50-ac54-bb88d796b446&VisitorCreationDate=23"}}},"version":1,".comparethemarket.com":{"/":{"VisitDescriptor":{"value":"274e8593-2769-4681-a310-9696a3d2701d:0"},"__cfduid":{"_expires":1561299489,"value":"d42480a478b4bdc01904853778e002bb11529763489"},"CTM.MVT":{"_expires":1561299490,"value":"visitorID=5b201ecc-f748-4296-a727-7e0df6102b43&visitorCreationDate=2018-06-23T14%3A18%3A10.554Z&visitLogID=6416293127484604416"}}},"chronicle.comparethemarket.com":{"/":{"CTMMVT":{"value":"VisitorID=5b201ecc-f748-4296-a727-7e0df6102b43&VisitorCreationDate=23"}}}}