Улучшение Идея по проксям

[malexoid]

Идея - сделать листы проксей пригодные например отдельно для google, отдельно для yandex.
Смысл в том, чтобы для каждого парсера, можно было бы подобрать наиболее подходящие прокси, тем самым теоретически увеличив скорость парсинга.

1. В "настройках проверки проксей" в настройку добавляем расширенный вердикт, подобное понятие есть у софта для поиска проксей, пример:
[JUDGE]
HOST=http://www.google.com/search?btnG=1&filter=0&start=0&q=inurl:"wp-content"
VERDICT=schema.org
[SETTINGS]
THREADS=100
TIMEOUT=30

т.е. для настройки my_proxy_list_google добавляем HOST = "http://www.google.com/" VERDICT="schema.org"
для my_proxy_list_yandex добавляем HOST = "http://www.yandex.ru/" VERDICT="https://yandex.ru/clck"

2. В "Проверка проксей" делаем возможность параллельно запускать несколько проверок проксей для разных настроек my_proxy_list_google, my_proxy_list_yandex, <все активные прокси из всех листов>

3. В Настройках парсеров добавляем параметр для выбора "Список проксей": <все активные прокси из всех листов>, my_proxy_list_google, my_proxy_list_yandex

profit!

 

[Forbidden]

зачем повторятся? это уже все есть в задачах(про разные чекеры и настройки), вот выжимка которая скоро пойдет в реализацию:

# чек на гео http://a-parser.com/threads/2348/
# глобальный proxy banned http://a-parser.com/threads/2356/
# авто чек anonymous IP http://a-parser.com/threads/2229/
# линейная загрузка и постановка на проверку http://a-parser.com/threads/1751/
# глобальный proxy banned + отдых для проксей(сотировать по использованию) http://a-parser.com/threads/1751/
# несколько источников прокси http://a-parser.com/threads/1270/
# несколько источников + выбор прокси + API + глобальный proxy banned http://a-parser.com/threads/1113/
# гео http://a-parser.com/threads/907/
# статистика по источникам прокси http://a-parser.com/threads/300/#post-643 http://a-parser.com/threads/805/ http://a-parser.com/threads/333/

тема с вердиктом - бред полный, под закапчеванной проксей спокойно даст открыть морду, и не даст сделать поиск, а под чистой проксей даст сделать поиск в пустую что только приблизит время бана прокси