Упала скорость парсинга

[kolya757]

Добрый день! установил апарсер на новый сервер, добавил старый проект по парсингу гугл, скорость парсинга не поднимается выше 70 при 300 потоках и 600 живых проксей, раньше скорость была стабильно 300. Подскажите в чем может быть дело, может что то забыл прописать? прокси папблик с одних источников буквально неделю назад все хорошо парсило!

 

[Syrex]

На паблик прокси вопрос стоит не то, что в неделях - иногда в часах. Грешу на них.

 

[kolya757]

Мб конечно, но парсил на них год, было все хорошо, проблема вот только сегодня началась, как переехал на новый сервак(

 

[Syrex]

Нууу...я бы проверил ширину канала на закачку.
Далее запустить top или htop и посмотреть нагрузку

 

[btr]

гг, тоже паршу на паблик проксях, бывает падает скорость, бывает летает как истребитель, экономя на проксях не экономьте тогда уж на антикапче
PS в логах смотрел? может есть там что интересное.

 

[Syrex]

гг, тоже паршу на паблик проксях, бывает падает скорость, бывает летает как истребитель, экономя на проксях не экономьте тогда уж на антикапче
PS в логах смотрел? может есть там что интересное.

Использовать антикаптчу на паблик проксях? ) Сколько у тебя на каптчу уходит то?)

 

[btr]

ну смотря сколько парсить, уходило примерно 3$-5$ в неделю, сейчас капмонстра юзаю, не считаю.
Народ на покупных приват прокси юзает антикапчу, а на пабликах все ипы задрочены, без капчи совсем хреного.

 

[Forbidden]

попробуй сравнить последнюю стабильную версию и последнюю бета версию, в бете есть некоторые улучшения парсинга Google

 

[kolya757]

Похоже дело всетки в проксях, сменил прокси, стало парсит хорошо!