Улучшение проверка прокси через любой урл

[denver]

если есть возможность сделать в прокси чекере проверку прокси через любой урл с поиском определенной строки

например проверять прокси через http://yandex.ru/yandsearch?lr=213&text=test
с проверкой строки (через регекс например): "Отсортировано"

это просто как пример
нужно это для того, что бы набрать прокси, которые не забанены в яндексе, т.к. сейчас использую приватные прокси, но они все забанены в яндексе (выдает капчу) (видимо слишком много народу на них парсят)

в идеале сделать возможность задавать несколько пакетов прокси, которые можно было бы выбирать в пресетах у конкретного парсера... (в том числе и через API), для гугля свой пакет прокси, для яндекса свой и т.д.

заранее благодарю при любом ответе

 

[Forbidden]

Несколько разных чекеров будет в будущем

Чекать же прокси выполняя запрос к сервису с целью определения бана - лишь ускорит наступление этого бана
Например яндекс для чистого IP без авторизации выдаст каптчу либо сразу, либо в течени первых 10 запросов

 

[denver]

ясно, ну значит в идеале спасет несколько чекеров, но было бы здорово на будущее, что бы парсер мог оперировать глобальной статистикой конкретной выбранной базы прокси

т.е. я отправляю через API малые порции данных для парсинга по яндексу например, но каждый раз как я понимаю парсер берет всю базу проксей и опять идет по ней как по свежей, не учитывая "прошлые" баны тех самых проксей ? или я ошибаюсь?

в идеале дать возможность (в настройках конкретного пресета) ставить галку типа "использовать глобальную статистику проксей для всего парсинга" и выбираешь "базу проксей", которую будем юзать и в этом случае если в прошлый раз прокся была забанена и парсинг окончился, при получении новых данных для парсинга, парсер учитываем бан прокси (при условии что не закончилось время бана - 600 секунд как пример), то он эту проксю не берет...

как-то так

 

[Forbidden]

но каждый раз как я понимаю парсер берет всю базу проксей и опять идет по ней как по свежей, не учитывая "прошлые" баны тех самых проксей ?

да, для каждого задания статистика независимо идет

 

[denver]

да, для каждого задания статистика независимо идет

на будущее возможно сделать выбор, типа как сейчас независимо на каждый или индивидуально как я написал выше, для google:ositions допустим на конкретный пресет вот для него будет своя индивидуальная статистика

т.е. все задания с этим конкретным пресетом (с отметкой что у него своя прокси-статистика), будет своя статса, и все новые задания уже реально не будут юзать забаненные прокси...

будет такое?

 

[Forbidden]

возможно да