если есть возможность сделать в прокси чекере проверку прокси через любой урл с поиском определенной строки например проверять прокси через http://yandex.ru/yandsearch?lr=213&text=test с проверкой строки (через регекс например): "Отсортировано" это просто как пример нужно это для того, что бы набрать прокси, которые не забанены в яндексе, т.к. сейчас использую приватные прокси, но они все забанены в яндексе (выдает капчу) (видимо слишком много народу на них парсят) в идеале сделать возможность задавать несколько пакетов прокси, которые можно было бы выбирать в пресетах у конкретного парсера... (в том числе и через API), для гугля свой пакет прокси, для яндекса свой и т.д. заранее благодарю при любом ответе
Несколько разных чекеров будет в будущем Чекать же прокси выполняя запрос к сервису с целью определения бана - лишь ускорит наступление этого бана Например яндекс для чистого IP без авторизации выдаст каптчу либо сразу, либо в течени первых 10 запросов
ясно, ну значит в идеале спасет несколько чекеров, но было бы здорово на будущее, что бы парсер мог оперировать глобальной статистикой конкретной выбранной базы прокси т.е. я отправляю через API малые порции данных для парсинга по яндексу например, но каждый раз как я понимаю парсер берет всю базу проксей и опять идет по ней как по свежей, не учитывая "прошлые" баны тех самых проксей ? или я ошибаюсь? в идеале дать возможность (в настройках конкретного пресета) ставить галку типа "использовать глобальную статистику проксей для всего парсинга" и выбираешь "базу проксей", которую будем юзать и в этом случае если в прошлый раз прокся была забанена и парсинг окончился, при получении новых данных для парсинга, парсер учитываем бан прокси (при условии что не закончилось время бана - 600 секунд как пример), то он эту проксю не берет... как-то так
на будущее возможно сделать выбор, типа как сейчас независимо на каждый или индивидуально как я написал выше, для google:ositions допустим на конкретный пресет вот для него будет своя индивидуальная статистика т.е. все задания с этим конкретным пресетом (с отметкой что у него своя прокси-статистика), будет своя статса, и все новые задания уже реально не будут юзать забаненные прокси... будет такое?
