HTML::LinkExtractor

[Ban]

 $options = array(
            'parsers' => array(
                array(
                    'HTML::LinkExtractor',
                    'minimal',
                    array(
                        'type' => 'override',
                        'id' => 'formatresult',
                        'value' => '$intlinks.format(\'$query.id:::$link\\n\')',
                    ),
                    array(
                        'type' => 'unique',
                        'result' => array(
                            'intlinks',
                            'link',
                        ),
                        'uniqueType' => 'string',
                        'uniqueGlobal' => true,
                    ),
                ),

            ),
            'resultsFormat' => '$p1.preset',
            'resultsUnique' => 'string',
            'resultsFileName' => 'link/' . now() . ".txt",
//            'keepUnique' => 'No',
            'saveFailedQueries' => 'Yes',

//            "doLog" => "db",

            'queryFormat' => array(
                '$query'
            ),
            'queryBuilders' => array(
                array(
                    'source' => 'query',
                    'type' => 'stringSplit',
                    'separator' => ':::',
                    'to' => array(
                        'id',
                        'query'
                    )

                ),
            )
        );

Результатов уникальных больше, чем просто результатов.

 

[Support]

Две уникализации включено: по строке и по любому результату, поэтому кол-во уникальных больше. При этом файл результата будет правильный.