Необходимо учитывать локальные tlds: co.uk, com.ua, com.ru и т.п. Полный список тут: http://mxr.mozilla.org/mozilla-central/source/netwerk/dns/effective_tld_names.dat?raw=1
Теперь Extract Top Domain - полноценно определяет все домены по этому списку, Extract 2nd domain - простой метод который выделяет именно домен 2ого уровня
А как воспользоваться этой функцией? Есть база на 10млн линков, нужно привести все ссылки к индексу и удалить дубли. Возможно это сделать в текущей версии парсера? Если да, то какую из функций парсера мучить ?
пользоватся - как обычно - Add result unique, т.е. это доступно только при парсинге обработчика готовых баз пока еще нет, задача об этом тут http://a-parser.com/threads/531/
