Уникализация массива

[Dmitron]

Подскажите пожалуйста как уникализировать вывод ссылок в JS, используя HTML::LinkExtractor
Есть такой код, он работает, но выводит дубли.

let HtmlkResp = yield this.parser.request('HTML::LinkExtractor', this.conf.Util_HTML_preset, {}, 'http://'+set.query);

        for (let i = 0; i < HtmlkResp.intlinks.length; i += 4) {

            this.logger.put(HtmlkResp.intlinks[i]);

}

 

[Support]

Что дальше планируется делать с этими ссылками: выводить в результат или как-то еще обрабатывать? Уникализировать нужно в рамках каждого запроса или глобально в рамках всего задания?

 

[Dmitron]

Что дальше планируется делать с этими ссылками: выводить в результат или как-то еще обрабатывать? Уникализировать нужно в рамках каждого запроса или глобально в рамках всего задания?

Эти ссылки мне ещё нужно обработать и перейти по ним.
Достаточно уникализировать в рамках for (...

 

[Support]

let HtmlkResp = yield this.parser.request('HTML::LinkExtractor', this.conf.HTML_LinkExtractor_preset, { resultArraysWithObjects: 1 }, 'http://' + set.query);

let unObj = {};
for(let item of HtmlkResp.intlinks) {
    unObj[item.link] = 1;
}

let arrayOfUniqueLinks = Object.keys(unObj);

 

[Support]

ссылки ... перейти по ним.

Если переход по ссылкам планируется на следующих уровнях (через tools.query.add), то, как вариант, можно просто включить уникализацию запросов