Интересует как программа взаимодействует с прокси, чтобы иметь возможность настроить парсеры под конкретный вид прокси (паблик, приват, и т.д.)
Для примера рассматриваю приватные прокси с фиксированным айпи (т.е. проверка на живость не особо нужна), положим я загрузил файлом 100 живых прокси.
Вначале без чекера.
1. Каков порядок работы с прокси? Как я представляю (в упрощенном виде): по числу потоков одна из свободных прокси "назначается" на 1 поток, с прокси делается запрос, если он неудачный (ответ от гугла с капчей или прокси тупо не работает за время Request timeout) , то прокси "банится" в A-Parser'е на время Proxy ban time (что в это время происходит с потоком? Берется свободная прокси в списке? А если больше в списке нет?), запрос уходит в очередь на повтор по числу Request retries, в случае неудачи по числу попыток становится Failed.
2. Если прокси в списке оказалась дохлая (а чекер у нас выключен) то она так и будет занимать поток или забанится при первом неудачном запросе?
3. Request delay - задержка между запросами. В данном случае запрос это 1 страница по 100 результатов или все 10х100 = 1000 результатов? (при настройке Links per page 100, Pages count 10, парсер Google)
4. Если указано большее число потоков, чем прокси в списке, прокси берется по второму разу?
Если чекер включен,
1. И ему дается 15 потоков (Check threads), а в общем у меня стоит 100 потоков, значит ли это, что в работе будет находиться только 85 прокси (т.е. потоков будет по факту 85)?
2. Чекер будет проверять все 100 прокси по мере освобождения потоков Check treads?
3. Что будет в случае нахождения мертвой прокси, в частности с активными потоками где эта прокся используется (Threads count)?
И 1 не по теме вопрос: можно ли как то измерить скорость в урлах в секунду или в минуту?
Сорри за длинный пост, просто хочется разобраться.
Для примера рассматриваю приватные прокси с фиксированным айпи (т.е. проверка на живость не особо нужна), положим я загрузил файлом 100 живых прокси.
Вначале без чекера.
1. Каков порядок работы с прокси? Как я представляю (в упрощенном виде): по числу потоков одна из свободных прокси "назначается" на 1 поток, с прокси делается запрос, если он неудачный (ответ от гугла с капчей или прокси тупо не работает за время Request timeout) , то прокси "банится" в A-Parser'е на время Proxy ban time (что в это время происходит с потоком? Берется свободная прокси в списке? А если больше в списке нет?), запрос уходит в очередь на повтор по числу Request retries, в случае неудачи по числу попыток становится Failed.
2. Если прокси в списке оказалась дохлая (а чекер у нас выключен) то она так и будет занимать поток или забанится при первом неудачном запросе?
3. Request delay - задержка между запросами. В данном случае запрос это 1 страница по 100 результатов или все 10х100 = 1000 результатов? (при настройке Links per page 100, Pages count 10, парсер Google)
4. Если указано большее число потоков, чем прокси в списке, прокси берется по второму разу?
Если чекер включен,
1. И ему дается 15 потоков (Check threads), а в общем у меня стоит 100 потоков, значит ли это, что в работе будет находиться только 85 прокси (т.е. потоков будет по факту 85)?
2. Чекер будет проверять все 100 прокси по мере освобождения потоков Check treads?
3. Что будет в случае нахождения мертвой прокси, в частности с активными потоками где эта прокся используется (Threads count)?
И 1 не по теме вопрос: можно ли как то измерить скорость в урлах в секунду или в минуту?
Сорри за длинный пост, просто хочется разобраться.
