Улучшение [1.1.541] HTML::LinkExtractor max per host

[denver]

Хотелось бы сделать ограничение при парсинге на так называемый per host, т.е. что бы не положить какой-то хостинг при парсинге, например есть 100 доменов, я хочу спарсить с них первый второй и третий уровни вложенности для статсы (посмотреть сколько внешних и внутренних ссылок), так вот было бы не плохо добавить возможность ограничить коннекты на один хост, т.е. поставил например 2 коннекта на пер хост и парсится, и я точно уверен, что в один момент, на каждый конкретный домен не будет более чем 2 коннекта и тем самым он не ляжет

я думаю для парсера текста так же будет не лишним данное дополнение...

заранее благодарю

 

[Forbidden]

В конфиг потоков добавлен параметр Max connections per host, распространяется на задание, если запускать несколько заданий одновременно с одинаковым конфигом то лимит будет считаться на все задания