Доброго всем времени суток, помогите пжл спарсить 1 сайт При незначительном парсинге появляеться защита, которая проверяет наличие куки, если их нет, тогда нужно ввести капчу Тестил в зеннопостере GET запросом: 1) Если в настройки запроса не добавлять куки - http://take.ms/oIvBY тогда в ответ получаем такой код (просьба ввести капчу) Код: <html style="height:100%"><head><META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"><meta name="format-detection" content="telephone=no"><meta name="viewport" content="initial-scale=1.0"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"></head><body style="margin:0px;height:100%"><iframe src="/_Incapsula_Resource?CWUDNSAI=24&xinfo=8-191342732-0 0NNY RT(1451060463757 264) q(0 -1 -1 -1) r(0 -1) B12(4,316,0)&incident_id=221001100476839104-1549683260506572520&edet=12&cinfo=04000000" frameborder=0 width="100%" height="100%" marginheight="0px" marginwidth="0px">Request unsuccessful. Incapsula incident ID: 221001100476839104-1549683260506572520</iframe></body></html> 2) Если добавляю куки - http://take.ms/McUTJ , тогда получаю нормальный ответ, с кодом страницы Но в апарсере такой трюк с куками не проходит, вставляю те же куки что и в зенно, отдает каптчу - http://take.ms/yHaPT Подскажите что я делаю не так, и как решить эту проблему. Спасибо
Добрый вечер. Может проблема не только в куках, а еще и в заголовках? Или юзерагент нужно подставлять... Напишите о каком сайте идет речь, тогда можно будет его проанализировать. P.S. На втором скрине вы точно куки подставляете?
да, скопироваи с зенно и вставил апарсер, там формат совпадает, но сегодня запустил в апарсере опять, несколько часов парсило нормально, потом появилась эта защита, попробовал отправить get запрос с zenno с куками - норм, без - защита - https://monosnap.com/file/64y1vcdO7jfd1o52ho3IKDzY3dqA11 Я так понял там временая блокировка когда на сайт посылается много запросов Адрес сайта могу скинуть в личку, скажите куда кидать
Либо здесь на форуме в личку (клик на имени - Начать переписку), либо по одному из контактов тех поддержки: http://a-parser.com/pages/support/
