Настройка прокси

3 ноя 2016

  • Основные возможности(top)

    • Одновременная поддержка HTTP и SOCKS5 проксей
    • Многопоточная проверка
    • Загрузка проксей из локального файла
    • Многопоточная загрузка с внешних источников
    • Проверка на анонимность
    • Поддержка авторизации по логин\паролю как для HTTP так и для SOCKS, а так же поддержка различных данных для авторизации в формате login:[email protected]:port
    • Возможность задать произвольные регулярные выражения для IP-адреса и порта прокси при парсинге с внешних источников
    • Возможность выгрузки проверенных проксей в файл
    • Возможность использовать несколько источников прокси в одном задании

    Файловая структура(top)

    Рабочий каталог прокси чекера:
    В нем содержатся папки для каждого проксичекера. В каждой папке есть такие файлы:
    • proxy.txt - из этого файла происходит загрузка проксей(в формате ip:port), сюда нужно положить список прокси
    • sites.txt - в этот файл необходимо положить список источников проксей (ссылки на прокси, в формате одна ссылка на строку)
    • alive.txt - в этот файл каждые 5 секунд сохраняются живые прокси если включена соответствующая опция
    • regex.txt - в этом файле находится список регулярных выражений для парсинга проксей с внешних источников (в формате одно регулярное выражение на строку, в $1 должен быть IP адрес, в $2 - порт)
    Для "default" проксичекера файлы находятся в корне каталога files/proxy/

    Управление(top)

    Управление прокси чекерами осуществляется во вкладке Проверка проксей, там можно добавлять, удалять, а также включать и отключать прокси чекеры. Так же в этой вкладке отображается статистика работы каждого прокси чекера, график живых прокси и статистика по обработке источников:
    [​IMG]

    Добавление и настройка прокси чекера(top)

    1. Заходим в "Проверка проксей" и нажимаем "Добавить чекер" или выбираем в выпадающем меню "Редактировать". Попадаем на страницу настройки прокси чекера, выбираем пресет default.
    2. При необходимости выставляем необходимое количество потоков для проверки проксей (Check threads), выбираем тип прокси (Proxies type) и меняем другие настройки. При использовании прокси от А-Парсера (из Members Area) достаточно отключить проверку прокси (No check proxies - поставить галочку), остальное все оставить по-умолчанию.
    3. Сохраняем пресет (для уже существующих - Сохранить, для новых - Добавить новый).
    4. Возвращаемся в "Проверка проксей", проверяем, включен ли только что созданный чекер, если нет, то включаем.
    5. Открываем каталог, указанный в "Рабочий каталог".
    6. Далее необходимо указать источники проксей: ссылки в sites.txt, список прокси в proxy.txt. При использовании прокси от А-Парсера (из Members Area) укажите в файле sites.txt ссылку из вкладки Прокси в Members Area, предварительно там же сохранив IP.
    7. Возвращаемся в А-Парсер, в "Проверка проксей" и убеждаемся, что "Всего живых" для редактируемого прокси чекера больше 0 - значит прокси настроены правильно.
    Значения параметров по-умолчанию подходит для большинства задач.

    Выбор прокси чекера для задания (парсера)(top)

    1. Заходим в "Настройки - Настройки потоков", выбираем нужный пресет или создаем новый (Добавить новый).
    2. В поле "Proxy Checkers" выбираем один или несколько проксичекеров (для использования прокси чекеры должны быть включены) и сохраняем (Сохранить).
    3. Теперь вы можете использовать созданный Конфиг потоков, с заданными прокси в своих задачах, выбрав его в Редакторе заданий.
    4. Также можно переопределять прокси чекер в каждом парсере с помощью функции Override - Proxy Checker.

    Использование проксей с авторизацией(top)

    1. Если логин и пароль для всех проксей одинаковый то в настройках чекера указываем:
    [​IMG]
    Прокси сохраняем в файл files/proxy/proxy.txt или указываем ссылки на сайты в файл files/proxy/sites.txt
    Прокси необходимо указывать в обычном формате ip:port

    2. Если логин и пароль для всех проксей разный то в настройках чекера указываем:
    [​IMG]
    Сами прокси необходимо указывать в формате login:[email protected]:port

    Кратко о каждом параметре(top)



    ПараметрОписание
    Loading typeОпределяет сохранять ли предыдущие загруженные прокси или нет, Add - всегда добавляет новые прокси в общий список, Replace - замещает старые прокси новыми загруженными
    Load threads countКоличество потоков загрузки проксей с сайтов
    Load intervalИнтервал между полной перепроверкой списка сайтов
    Load timeoutТаймаут на запрос к сайту с проксями
    Load max sizeМаксимальный размер страницы с проксями, если страница больше то она обрезается до заданного размера
    Load limit countОграничение количества загружаемых прокси, 0 для отключения
    No check proxiesПозволяет отключить проверку проксей. Все загруженные прокси автоматически считаются живыми
    Proxies typeВыбор какие типы проксей проверять и в какой последовательности, если указано одновременно HTTP и SOCKS то при неудачной проверки на HTTP прокси будет повторно проверена на протокол SOCKS
    Check threadsКоличество потоков проверки проксей
    Check urlСсылка на скрипт проверки проксей, на данный момент проверка осуществляется через сервер парсера, в будущем это поведение может измениться
    Check intervalИнтервал между полными перепроверками всех проксей
    Check timeoutТаймаут прокси
    Check max sizeМаксимальный размер скачиваемой страницы при проверке прокси
    Check anonymousПроверять прокси на анонимность, если выбрано то необходимо обязательно указать External IP
    External IPВнешний ip адрес компьютера\сервера, необходимо указывать если включена опция Check anonymous
    Save alive proxies to fileСохранять живые прокси в файл files/proxy/alive.txt
    Use proxy authorizationИспользовать авторизацию для проксей по логин\паролю
    Authorization loginЛогин для авторизации
    Authorization passwordПароль для авторизации

    Установка скрипта проверки на свой хостинг(top)

    Загрузите на ваш хостинг или сервер следующий PHP скрипт:

    и укажите ссылку на него в Check url.[/tr]
timajke, DeviDVS и alkoustas нравится это.