1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение Проверка прокси по своему URL и регулярному выражению

Тема в разделе "Задачи", создана пользователем mustr, 12 янв 2022.

  1. mustr

    mustr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    41
    Симпатии:
    12
    Потребность:
    Проверять работоспособность прокси на получение данных из Google, Яндекс и других сервисов. Чтобы проксичекер давал рабочие прокси для конкретного сервиса.

    Как применять:
    В настройках парсера можно будет указать подходящий проксичекер. Соответственно при парсинге будут использоваться только те прокси, которые прошли проверку именно для данного сервиса. Что сократит число попыток при получении данных.

    Варианты реализации:
    1. Универсальный
    В настройках проксичекера добавить возможность указать URL проверки, код ответа и регулярку для поиска строки на странице (соответствие строке или наоборот, чтобы указанной строки не было на странице). Если код ответа соответствует заданному и найдена указанная строка, то прокси рабочий.
    2. Встроенный
    В настройках проксичекера добавить встроенные методы проверки прокси для популярных сервисов таких как гугл, яндекс и т.п. Так сделано, например, в Кейколлекторе.
    3. Комбинированный
    Есть встроенные чекеры, которые поддерживаются командой Апарсера, и также есть возможность создать свои.
     
    bossgs нравится это.
  2. bossgs

    bossgs A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 янв 2016
    Сообщения:
    57
    Симпатии:
    5
    полностью поддерживаю идею!
     

Поделиться этой страницей