Настройка прокси
Качественная работа A-Parser в большинстве случаев опирается на работу с прокси, поэтому A-Parser имеет первоклассную поддержку прокси самых различных вариантов и конфигураций, а также поддерживает одновременную работу с несколькими разными источниками прокси, как в одном задании, так и разделяя по типу между разными заданиями.
Основные возможности A-Parser по работе с прокси:
- Одновременная поддержка HTTP, SOCKS4 и SOCKS5 проксей
- Многопоточная проверка прокси
- Загрузка проксей из локального файла
- Многопоточная загрузка с внешних источников
- Проверка на анонимность
- Поддержка авторизации по логин\паролю как для HTTP так и для SOCKS5 прокси, а так же поддержка различных данных для авторизации в формате
login:password@ip:port - Возможность задать произвольные регулярные выражения для IP-адреса и порта прокси при парсинге с внешних источников
- Возможность выгрузки проверенных проксей в файл
- Возможность использовать несколько источников прокси в одном задании
- Поддержка доменных прокси в форматах
domain:рortиlogin:рass@domain:рort
Управление
Управление проксичекерами осуществляется во вкладке Проксичекер, там можно добавлять, удалять, а также включать и отключать проксичекеры. Также в этой вкладке отображается статистика работы каждого проксичекера, график живых прокси и статистика по обработке источников.
Настройка прокси из Личного кабинета
Чтобы использовать прокси от A-Parser, необходимо зайти в Личный кабинет, во вкладку Прокси, нажать кнопку Использовать IP и кнопку Сохранить.
Далее добавляем проксичекер. При использовании прокси от А-Парсера достаточно отключить проверку прокси (Не проверять прокси - поставить галочку), остальные настройки можно оставить по умолчанию. Сохраняем пресет (для уже существующих нажать Сохранить, для новых - Добавить новый).
Возвращаемся в меню "Проксичекер", проверяем, включен ли только что созданный чекер, если нет, то включаем.
Открываем каталог проксичекера, указанный в поле "Рабочий каталог".
Из Личного кабинета копируем 1 ссылку на список прокси и указываем ее в sites.txt созданного проксичекера.
- http://work.a-poster.info/prx/perm_socks.txt - На каждом порту своя прокси со своим выходным IP адресом. Прокси зафиксирована за своим портом пока находится онлайн. Данный список обновляется каждые 30 секунд и всегда содержит актуальные и живые прокси. Рекомендуется для большинства задач.
- http://work.a-poster.info/prx/rand_socks.txt - Выходной IP адрес меняется для каждого подключения к прокси. IP адрес выбирается случайным образом из всех живых прокси. Данный список фиксированный и необходимости обновлять его нет
Возвращаемся в А-Парсер, в меню "Проксичкер". В поле "Всего живых" данного проксичекера должно быть больше 0 - значит прокси настроены правильно.
Детальная настройка прокси
Более детально о проксичекерах и других вариантах настройки прокси в разделе Проксичекеры