LinkExtractor и потоки

Здравствуйте
Пользуюсь парсером HTML::LinkExtractor без прокси в 300 потоков и настройкой Parse to level 1, для списка доменов. Если парсить без Parse to level, то скорость хорошая порядка 8000-10000, а с активированной падает до 100-200. Я думаю это из за того, что парсится один и тот же сайт во всех потоках, можно ли сделать, что бы в каждом потоке парсились разные сайты или есть другое решение увеличить скорость?

 

А если собрать ссылки в фаил, далее перемешать в файле и парсить, должно ускориться ?)

есть возможность перемешать посредством парсера?

 

сделал тест на небольшом кол-во доменов 200к
скорость увеличилась


sort -R file.txt >>file_rand.txt
перемешать случайно


теоретически абуз должно меньше быть, т.к. парсим с разбросом по времени, а не всю кучу.