Помогите с настройками

Задача: парсинг вообще всех возможных доменов, без определенных параметров. Нужно спарсить все интернет домены Далее я уже там своим софтом работаю.

Как делаю: беру словарик английских слов, и делаю быстрые таски по 3 слова из словарика. Все по порядку.

Проблема: первые три дня все было супер, далее парсер мне выдает постоянные дубли. Уже недели три паршу а уникальных доменов только 20млн. Могу неделю парсить - потом вычищаю по доменам и получается уникальных только 1млн.

Как быть? И можно как то это полностью автоматизировать? Вбить весь словарик и потом просто забирать раз в день файл с результатами?

 

Не совсем уверен что правильно указываю уник по домену. Запостите сюда пожалуйста картинку с настройками.
И как он будет записывать файлы с результатами? Парсер берет один запрос из общего файла и пишет все результаты в отдельный файл?
Второй запрос = второй файл?

 

Я извиняюсь, но не совсем понял как это настроить в Result file name.
Нужно чтоб парсер работал ежедневно, без перерывов.
Названия файлов - {date}.txt
т.е. в месяц будет 31 файл (или 30, или 28

Каждый день - новый файл и уникальными доменами.
Спасибо.

 

о господи. Хорошо, а как то проще можно сделать? Пофиг, пусть называется как угодно, просто
чтоб не писал в один файл, а периодически создавал новые.. А то один же разрастется до неимоверных размеров.

 

"Куда уж проще" это видимо для тех кто хотя бы на паскале может вывести hello world, а я даже этого не могу ))