Предлагается реализовать построчную уникальность в рамках каждого результирующего файла.файла, при парсинге в отдельные файлы. Сейчас при установке флага "Уник по строке" дубликаты строк удаляются глобально из всех результирующих файлов. Но при парсинге по однотипным темам и ключевым словам, в результатах, эти строки могут повторяться в том или ином результирующем файле, а так же могут повторяться источники парсинга. В результате, при глобальной очистке дублирующих строк, происходит то, что последующие файлы остаются вообще без текста. Сейчас приходится после парсинга, убирать дубли строк в тысячах результирующих файлов сторонним софтом, что не так просто и время-затратно.
