1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение Идея по проксям

Тема в разделе "Отклоненные задачи", создана пользователем malexoid, 31 мар 2016.

  1. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    256
    Симпатии:
    60
    Идея - сделать листы проксей пригодные например отдельно для google, отдельно для yandex.
    Смысл в том, чтобы для каждого парсера, можно было бы подобрать наиболее подходящие прокси, тем самым теоретически увеличив скорость парсинга.

    1. В "настройках проверки проксей" в настройку добавляем расширенный вердикт, подобное понятие есть у софта для поиска проксей, пример:
    [JUDGE]
    HOST=http://www.google.com/search?btnG=1&filter=0&start=0&q=inurl:"wp-content"
    VERDICT=schema.org
    [SETTINGS]
    THREADS=100
    TIMEOUT=30

    т.е. для настройки my_proxy_list_google добавляем HOST = "http://www.google.com/" VERDICT="schema.org"
    для my_proxy_list_yandex добавляем HOST = "http://www.yandex.ru/" VERDICT="https://yandex.ru/clck"

    2. В "Проверка проксей" делаем возможность параллельно запускать несколько проверок проксей для разных настроек my_proxy_list_google, my_proxy_list_yandex, <все активные прокси из всех листов>

    3. В Настройках парсеров добавляем параметр для выбора "Список проксей": <все активные прокси из всех листов>, my_proxy_list_google, my_proxy_list_yandex

    profit!
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.339
    Симпатии:
    1.799
    зачем повторятся? это уже все есть в задачах(про разные чекеры и настройки), вот выжимка которая скоро пойдет в реализацию:
    тема с вердиктом - бред полный, под закапчеванной проксей спокойно даст открыть морду, и не даст сделать поиск, а под чистой проксей даст сделать поиск в пустую что только приблизит время бана прокси
     
    sim0n нравится это.

Поделиться этой страницей