element.4seo
New Member
Доброго всем времени суток, помогите пжл спарсить 1 сайт
При незначительном парсинге появляеться защита, которая проверяет наличие куки, если их нет, тогда нужно ввести капчу
Тестил в зеннопостере GET запросом:
1) Если в настройки запроса не добавлять куки - http://take.ms/oIvBY тогда в ответ получаем такой код (просьба ввести капчу)
2) Если добавляю куки - http://take.ms/McUTJ , тогда получаю нормальный ответ, с кодом страницы
Но в апарсере такой трюк с куками не проходит, вставляю те же куки что и в зенно, отдает каптчу - http://take.ms/yHaPT
Подскажите что я делаю не так, и как решить эту проблему. Спасибо
При незначительном парсинге появляеться защита, которая проверяет наличие куки, если их нет, тогда нужно ввести капчу
Тестил в зеннопостере GET запросом:
1) Если в настройки запроса не добавлять куки - http://take.ms/oIvBY тогда в ответ получаем такой код (просьба ввести капчу)
Код:
<html style="height:100%"><head><META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"><meta name="format-detection" content="telephone=no"><meta name="viewport" content="initial-scale=1.0"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"></head><body style="margin:0px;height:100%"><iframe src="/_Incapsula_Resource?CWUDNSAI=24&xinfo=8-191342732-0 0NNY RT(1451060463757 264) q(0 -1 -1 -1) r(0 -1) B12(4,316,0)&incident_id=221001100476839104-1549683260506572520&edet=12&cinfo=04000000" frameborder=0 width="100%" height="100%" marginheight="0px" marginwidth="0px">Request unsuccessful. Incapsula incident ID: 221001100476839104-1549683260506572520</iframe></body></html>2) Если добавляю куки - http://take.ms/McUTJ , тогда получаю нормальный ответ, с кодом страницы
Но в апарсере такой трюк с куками не проходит, вставляю те же куки что и в зенно, отдает каптчу - http://take.ms/yHaPT
Подскажите что я делаю не так, и как решить эту проблему. Спасибо
Последнее редактирование модератором:
