Влияет ли уникализация результата на скорость работы?

[vaulroon]

Позавчера вечером решил проверить. Снял галку с уникализации по строке, вроде бы скорость парсинга увеличилась в 1.5 раза. Лег спать, утром поставил снова задачу без уникализации - скорость такая, как была при уникализации. Убрал галку - идентичная, прироста в 1.5 раза вообще не наблюдаю.
Сейчас ломаю голову: влияет уникализация на скорость или когда я первый раз снял ее просто так совпало, что был вечер, нагрузка на прокси была меньше, от того и капчи в гугле было меньше, соответственно и скорость подскочила?

ЗЫ: А если вот эту штуку использовать, с накоплением базы скорость будет становиться меньше?

 

[vipuncle]

Я сохраняю уникализацию, каталог /unique/ около 6гиг, скорость не становится меньше.

 

[vaulroon]

Я сохраняю уникализацию, каталог /unique/ около 6гиг, скорость не становится меньше.

При включенной опции "сохранять уникализацию" ставить галку "уникальные запросы" необходимо?

 

[vipuncle]

Ну если нужны уникальные запросы то ставить, здесь все вроде как понятно.

 

[Forbidden]

влиять может на больших скоростях и медленном диске(hdd)