Значит обдумываю идею с созданием своего прокси-сервера под управлением Linux. Ожидаю от форумчан советов по скорости и потокам работы парсера через такой прокси сервер. Сколько мне необходимо приобрести ip-адресов, что бы скорость парсинга поисковых систем была приемлима (около 800-1000)? Сколько мне необходимо выставлять потоков для такой скорости, но так что бы IP-адреса не сильно быстро банились?
С точки зрения моего опыта, я бы скорее всего не советовал такую затею, т.к. эти IP адреса будут статичны, пусть даже их будет много(512-1024) Хотя мне интересно узнать любой положительный опыт
если я куплю пачку из 100 адресов и буду парсить в 10-20 потоков (что бы банились меньше) - скорость у них может будет нормальная? Уважаемый админ у вас была практика использования своего прокси-сервера?
О! Весьма полезная инфа. Яндекс такой же злой в это плане? А то я тоже планирую прикупить 100 айпи для собственной прокси-сетки с целью парсить Яндекс. И вот не знаю, что будет дешевле - 100 проксей в месяц или пробив капчи...
капча однозначно разорит, если парсить много, прокси будут дешевле, тем более на рынке масса данных предложений. А вот с поднятием прокси сервера, что то я никак не решусь попробовать, и меня больше останавливает отсутствие результата от такой затеи - маленькая скорость парсинга и быстрый бан таких прокси. Но видимо пока сам не испытаешь все это на своей шкуре никто не расскажет правды...
Вы тут не правы уважаемый админ, я парсю много и часто, так на капчу на один парсинг улетает в среднем до 10 баксиков, это просто разорение!!!
конечно. надеюсь на меня не наложит санкции администрация за рекламу, но есть еще рукаптча, с ценником 31-32 рубля за 1000 каптч. в сравнении с антигейтом, (учитывая его конский курс доллара при пополнении), получается раза в 2-3 дешевле.
Надо потестить, все познается только методом сравнения!!! Антигейт в последнее время ооочень не радует, особенно загружен сильно на выходных
а за что накладывать санкции? в апарсере можно любой сервис использовать, который поддерживает API антигейта рукаптчей много кто пользуется
