Позавчера вечером решил проверить. Снял галку с уникализации по строке, вроде бы скорость парсинга увеличилась в 1.5 раза. Лег спать, утром поставил снова задачу без уникализации - скорость такая, как была при уникализации. Убрал галку - идентичная, прироста в 1.5 раза вообще не наблюдаю. Сейчас ломаю голову: влияет уникализация на скорость или когда я первый раз снял ее просто так совпало, что был вечер, нагрузка на прокси была меньше, от того и капчи в гугле было меньше, соответственно и скорость подскочила? ЗЫ: А если вот эту штуку использовать, с накоплением базы скорость будет становиться меньше?
