Возможно дубль данной темы, но там речь идет про Rank:CMS
Суть: не на всех сайтах работает обход CF с активированным I'm Under Attack Mode. (ошибка 503)
Скорее всего, не работает обход на сайтах с кастомным текстом редиректа cloudflare, т.е. где владелец сайта изменил текст/оформление.
Примеры парсинга ресурсов:
Типовая текстовка (выглядит так)
https://rsbuddy.com/exchange?id12934
Успешно обошли
http://klassprof.org/
Успешно
И т.д.
Кастомный текст
https://learn.javascript.ru
Неуспешно
http://survivetheark.com
Неуспешно
Дополнительная информация:
Есть такая ветка на stackoverflow, где упомянут в том числе этот cloudflare scrape скрипт. Возможно там найдется какая то полезная информация.
Другой вариант блокировки, когда в браузере все работает, а в парсере выдается 403 (сует рекапчу). Тут я даже не знаю что можно предположить, недостаточно серой массы в голове.
Суть: не на всех сайтах работает обход CF с активированным I'm Under Attack Mode. (ошибка 503)
Скорее всего, не работает обход на сайтах с кастомным текстом редиректа cloudflare, т.е. где владелец сайта изменил текст/оформление.
Примеры парсинга ресурсов:
Типовая текстовка (выглядит так)
https://rsbuddy.com/exchange?id12934
Успешно обошли
http://klassprof.org/
Успешно
И т.д.
Кастомный текст
https://learn.javascript.ru
Неуспешно
http://survivetheark.com
Неуспешно
Дополнительная информация:
Есть такая ветка на stackoverflow, где упомянут в том числе этот cloudflare scrape скрипт. Возможно там найдется какая то полезная информация.
Другой вариант блокировки, когда в браузере все работает, а в парсере выдается 403 (сует рекапчу). Тут я даже не знаю что можно предположить, недостаточно серой массы в голове.