1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение Обновить Обход защиты Cloudflare I'm Under Attack Mode для HTTP, LinkExtractor, TextExtractor

Тема в разделе "Задачи", создана пользователем Nick, 4 май 2017.

  1. Nick

    Nick A-Parser Pro License
    A-Parser Pro

    Регистрация:
    1 окт 2014
    Сообщения:
    14
    Симпатии:
    1
    Возможно дубль данной темы, но там речь идет про Rank:CMS

    Суть: не на всех сайтах работает обход CF с активированным I'm Under Attack Mode. (ошибка 503)
    Скорее всего, не работает обход на сайтах с кастомным текстом редиректа cloudflare, т.е. где владелец сайта изменил текст/оформление.

    Примеры парсинга ресурсов:


    Типовая текстовка (выглядит так)
    https://rsbuddy.com/exchange?id12934
    Успешно обошли
    http://klassprof.org/
    Успешно
    И т.д.

    Кастомный текст
    https://learn.javascript.ru
    Неуспешно
    http://survivetheark.com
    Неуспешно

    Дополнительная информация:
    Есть такая ветка на stackoverflow, где упомянут в том числе этот cloudflare scrape скрипт. Возможно там найдется какая то полезная информация.

    Другой вариант блокировки, когда в браузере все работает, а в парсере выдается 403 (сует рекапчу). Тут я даже не знаю что можно предположить, недостаточно серой массы в голове.:)
     
  2. relay

    relay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 июл 2013
    Сообщения:
    156
    Симпатии:
    102
    Мне думается, что если там где есть рекапча и ее не обошли, можно создавать файл cloudflare.txt, например, и туда складывать такие домены
     

Поделиться этой страницей