Улучшение Улучшения в Extract Top Domain

[Forbidden]

Необходимо учитывать локальные tlds: co.uk, com.ua, com.ru и т.п.
Полный список тут: http://mxr.mozilla.org/mozilla-central/source/netwerk/dns/effective_tld_names.dat?raw=1

 

[Forbidden]

Теперь Extract Top Domain - полноценно определяет все домены по этому списку, Extract 2nd domain - простой метод который выделяет именно домен 2ого уровня

 

[yadzha]

А как воспользоваться этой функцией? Есть база на 10млн линков, нужно привести все ссылки к индексу и удалить дубли. Возможно это сделать в текущей версии парсера? Если да, то какую из функций парсера мучить ?

 

[Forbidden]

пользоватся - как обычно - Add result unique, т.е. это доступно только при парсинге

обработчика готовых баз пока еще нет, задача об этом тут http://a-parser.com/threads/531/