1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Ошибка Не работает обход CloudFlare в JS парсере

Тема в разделе "Закрытые без версии", создана пользователем Support Vlad, 26 май 2020.

  1. Support Vlad

    Support Vlad A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 апр 2020
    Сообщения:
    132
    Симпатии:
    34
    При запросе на https://moz.com/domain-analysis?site=a-parser.com
    Код:
    const response = yield this.request('GET', '`https://moz.com/domain-analysis?site=a-parser.com', {}, {
      headers: {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36',
        'accept-encoding': 'gzip, deflate'
      },
      bypass_cloudflare: 1,
      browser: 1
    });
    не срабатывает обход CloudFlare:
    Код:
    Request:
        GET /domain-analysis?site=a-parser.com HTTP/1.1
        Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
        Accept-Encoding: gzip, deflate
        Accept-Language: en-US,en;q=0.9
        Connection: keep-alive
        Host: moz.com
        Upgrade-Insecure-Requests: 1
        User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36
    Response:
        403 Forbidden (Error bypass CloudFlare: CloudFlare shows CAPTCHA)
        URI: https://moz.com/domain-analysis?site=a-parser.com
        IP: remote
        Proxy: http://51.255.55.144:27407
        HTTPVersion: 1.1
        date: Tue, 26 May 2020 14:02:32 GMT
        content-type: text/html; charset=UTF-8
        transfer-encoding: chunked
        connection: close
        cf-chl-bypass: 1
        set-cookie: __cfduid=d035155ecf99fafff62e383ef565fe8061590501752; expires=Thu, 25-Jun-20 14:02:32 GMT; path=/; domain=.moz.com; HttpOnly; SameSite=Lax
        cache-control: private, max-age=0, no-store, no-cache, must-revalidate, post-check=0, pre-check=0
        expires: Thu, 01 Jan 1970 00:00:01 GMT
        x-frame-options: SAMEORIGIN
        cf-request-id: 02f2e3d5d500000746f792a200000001
        expect-ct: max-age=604800, report-uri="https://report-uri.cloudflare.com/cdn-cgi/beacon/expect-ct"
        vary: Accept-Encoding
        strict-transport-security: max-age=2592000
        server: cloudflare
        cf-ray: 599808cfbade0746-FRA
        content-encoding: gzip
        Body-Length: 4210
        Body-Length-Decoded: 8431
        Time: 1.411
     
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    В Net::HTTP скорее всего тоже есть проблема:
    [​IMG]

    Запрос для теста: https://brainly.com/all-questions
     

Поделиться этой страницей