Свой прокси сервер

[poiskspider]

Значит обдумываю идею с созданием своего прокси-сервера под управлением Linux.

Ожидаю от форумчан советов по скорости и потокам работы парсера через такой прокси сервер.

Сколько мне необходимо приобрести ip-адресов, что бы скорость парсинга поисковых систем была приемлима (около 800-1000)? Сколько мне необходимо выставлять потоков для такой скорости, но так что бы IP-адреса не сильно быстро банились?

 

[Forbidden]

С точки зрения моего опыта, я бы скорее всего не советовал такую затею, т.к. эти IP адреса будут статичны, пусть даже их будет много(512-1024)
Хотя мне интересно узнать любой положительный опыт

 

[poiskspider]

С точки зрения моего опыта, я бы скорее всего не советовал такую затею, т.к. эти IP адреса будут статичны, пусть даже их будет много(512-1024)
Хотя мне интересно узнать любой положительный опыт

если я куплю пачку из 100 адресов и буду парсить в 10-20 потоков (что бы банились меньше) - скорость у них может будет нормальная?
Уважаемый админ у вас была практика использования своего прокси-сервера?

 

[Forbidden]

если я куплю пачку из 100 адресов и буду парсить в 10-20 потоков (что бы банились меньше) - скорость у них может будет нормальная?

может и будет, но не долго, на большом объеме запросов гугл начнет показывать каптчу

 

[WelcomePartners]

может и будет, но не долго, на большом объеме запросов гугл начнет показывать каптчу

О! Весьма полезная инфа. Яндекс такой же злой в это плане?
А то я тоже планирую прикупить 100 айпи для собственной прокси-сетки с целью парсить Яндекс. И вот не знаю, что будет дешевле - 100 проксей в месяц или пробив капчи...

 

[Forbidden]

я думаю каптча дешевле

 

[poiskspider]

О! Весьма полезная инфа. Яндекс такой же злой в это плане?
А то я тоже планирую прикупить 100 айпи для собственной прокси-сетки с целью парсить Яндекс. И вот не знаю, что будет дешевле - 100 проксей в месяц или пробив капчи...

капча однозначно разорит, если парсить много, прокси будут дешевле, тем более на рынке масса данных предложений. А вот с поднятием прокси сервера, что то я никак не решусь попробовать, и меня больше останавливает отсутствие результата от такой затеи - маленькая скорость парсинга и быстрый бан таких прокси. Но видимо пока сам не испытаешь все это на своей шкуре никто не расскажет правды...

 

[poiskspider]

я думаю каптча дешевле

Вы тут не правы уважаемый админ, я парсю много и часто, так на капчу на один парсинг улетает в среднем до 10 баксиков, это просто разорение!!!

 

[Forbidden]

Вы тут не правы уважаемый админ, я парсю много и часто, так на капчу на один парсинг улетает в среднем до 10 баксиков, это просто разорение!!!

ну я сравниваю с затей взять 100 ипов, толку от них забаненых будет какой?

 

[Эдгар]

Вы тут не правы уважаемый админ, я парсю много и часто, так на капчу на один парсинг улетает в среднем до 10 баксиков, это просто разорение!!!

а вы какой антигейт используете?

 

[poiskspider]

а вы какой антигейт используете?

antigate.com / А что есть, что то дешевле 1-1,5 бакса за 1000 капчей?

 

[Эдгар]

конечно. надеюсь на меня не наложит санкции администрация за рекламу, но есть еще рукаптча, с ценником 31-32 рубля за 1000 каптч. в сравнении с антигейтом, (учитывая его конский курс доллара при пополнении), получается раза в 2-3 дешевле.

 

[poiskspider]

конечно. надеюсь на меня не наложит санкции администрация за рекламу, но есть еще рукаптча, с ценником 31-32 рубля за 1000 каптч. в сравнении с антигейтом, (учитывая его конский курс доллара при пополнении), получается раза в 2-3 дешевле.

Надо потестить, все познается только методом сравнения!!! Антигейт в последнее время ооочень не радует, особенно загружен сильно на выходных

 

[Эдгар]

да, бывают проблемы у всех.

 

[Forbidden]

конечно. надеюсь на меня не наложит санкции администрация за рекламу, но есть еще рукаптча, с ценником 31-32 рубля за 1000 каптч. в сравнении с антигейтом, (учитывая его конский курс доллара при пополнении), получается раза в 2-3 дешевле.

а за что накладывать санкции? в апарсере можно любой сервис использовать, который поддерживает API антигейта
рукаптчей много кто пользуется