Настройка прокси
Качественная работа A-Parser в большинстве случаев опирается на работу с прокси, поэтому A-Parser имеет первоклассную поддержку прокси самых различных вариантов и конфигураций, а также поддерживает одновременную работу с несколькими разными источниками прокси, как в одном задании, так и разделяя по типу между разными заданиями.
Основные возможности A-Parser по работе с прокси:
- Одновременная поддержка HTTP, SOCKS4 и SOCKS5 проксей
- Многопоточная проверка прокси
- Загрузка проксей из локального файла
- Многопоточная загрузка с внешних источников
- Проверка на анонимность
- Поддержка авторизации по логин\паролю как для HTTP так и для SOCKS5 прокси, а так же поддержка различных данных для авторизации в формате
login:password@ip:port - Возможность задать произвольные регулярные выражения для IP-адреса и порта прокси при парсинге с внешних источников
- Возможность выгрузки проверенных проксей в файл
- Возможность использовать несколько источников прокси в одном задании
- Поддержка доменных прокси в форматах
domain:рortиlogin:рass@domain:рort
Управление
Управление проксичекерами осуществляется во вкладке Проксичекер, там можно добавлять, удалять, а также включать и отключать проксичекеры. Также в этой вкладке отображается статистика работы каждого проксичекера, график живых прокси и статистика по обработке источников.
Настройка прокси из Личного кабинета
Proxy Unlimited (обычные прокси)
Чтобы использовать Unlimited прокси от A-Parser, необходимо зайти в Личный кабинет, во вкладку Прокси, нажать кнопку Использовать IP и кнопку Сохранить.
Далее добавляем проксичекер. Достаточно отключить проверку прокси (поставить галочку возле опции Не проверять прокси), остальные настройки можно оставить по умолчанию. Сохраняем проксичекер: для уже существующих нажать кнопку Сохранить, для новых - Добавить новый.
Возвращаемся в меню Проксичекер, проверяем, включен ли только что созданный чекер, если нет, то включаем.
Открываем каталог проксичекера, указанный в поле Рабочий каталог.
Из Личного кабинета копируем 1 ссылку на список прокси и указываем ее в sites.txt созданного проксичекера.
- http://work.a-poster.info/prx/perm_socks.txt - На каждом порту своя прокси со своим выходным IP адресом. Прокси зафиксирована за своим портом пока находится онлайн. Данный список обновляется каждые 30 секунд и всегда содержит актуальные и живые прокси. Рекомендуется для большинства задач.
- http://work.a-poster.info/prx/rand_socks.txt - Выходной IP адрес меняется для каждого подключения к прокси. IP адрес выбирается случайным образом из всех живых прокси. Данный список фиксированный и необходимости обновлять его нет.
Возвращаемся в А-Парсер, в меню Проксичкер к созданному проксичекеру. В поле "Всего живых" данного проксичекера должно быть больше 0 - значит прокси настроены правильно.
Proxy Premium
Чтобы использовать Premium прокси от A-Parser, необходимо зайти в Личный кабинет, во вкладку Прокси Premium и сгенерировать ссылку на прокси с необходимыми параметрами.
Далее добавляем проксичекер. Нужно отключить проверку прокси (поставить галочку возле опции Не проверять прокси), в поле Тип прокси выбрать SOCKS5 и включить авторизацию прокси (поставить галочку возле опции Использовать авторизацию прокси). Остальные настройки можно оставить по умолчанию. Сохраняем проксичекер: для уже существующих нажать кнопку Сохранить, для новых - Добавить новый.
Возвращаемся в меню Проксичекер. Проверяем, включен ли только что созданный чекер, если нет, то включаем. После этого открываем каталог проксичекера, указанный в поле Рабочий каталог.
Вставляем сгенерированную в Личном кабинете ссылку на прокси в файл sites.txt созданного проксичекера и сохраняем.
Возвращаемся в А-Парсер, в меню Проксичкер к созданному проксичекеру. В поле "Всего живых" данного проксичекера должно быть больше 0 - значит прокси настроены правильно.
Формат
Для того чтобы задать нужный формат прокси, нужно добавить к ссылке прокси параметры в нужной последовательности (формат произвольный).
Пример формата логин:пароль:ип:порт - &format=login:password:host:port, ссылка на прокси будет выглядеть следующим образом https://proxifyr.com/proxyList?login=12345&password=12345&type=mix&rotation=10&format=login:password:host:port
Детальная настройка прокси
Более детально о проксичекерах и других вариантах настройки прокси в разделе Проксичекеры