1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление

Улучшение [1.1.541] HTML::LinkExtractor max per host

Тема в разделе "1.1.566", создана пользователем denver, 4 июн 2015.

  1. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    166
    Симпатии:
    41
    Хотелось бы сделать ограничение при парсинге на так называемый per host, т.е. что бы не положить какой-то хостинг при парсинге, например есть 100 доменов, я хочу спарсить с них первый второй и третий уровни вложенности для статсы (посмотреть сколько внешних и внутренних ссылок), так вот было бы не плохо добавить возможность ограничить коннекты на один хост, т.е. поставил например 2 коннекта на пер хост и парсится, и я точно уверен, что в один момент, на каждый конкретный домен не будет более чем 2 коннекта и тем самым он не ляжет :)

    я думаю для парсера текста так же будет не лишним данное дополнение...

    заранее благодарю
     
    #1 denver, 4 июн 2015
    Последнее редактирование: 4 июн 2015
    grandseo нравится это.
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.291
    Симпатии:
    1.764
    В конфиг потоков добавлен параметр Max connections per host, распространяется на задание, если запускать несколько заданий одновременно с одинаковым конфигом то лимит будет считаться на все задания
     
    LmPopo нравится это.

Поделиться этой страницей