1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

как увеличить скорость парсинга яндекс позиций?

Тема в разделе "Техническая поддержка", создана пользователем malexoid, 19 июн 2016.

  1. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    256
    Симпатии:
    60
    на входе: прокси - 300 потоков, парсинг только 1 страницы (50 результатов), антикапча -капмонстер.
    на выходе: максимальная скорость 300-400 фраз в минуту, загрузка ядра 100%, капмонстер загружен работой всего на 10%.
    хочу скорость минимум 1000 фраз в минуту.

    если сделать упор на процессор и ядро помощнее выбрать, чтобы оно не было загружено на 100%, то это сильно поможет? или имеет смысл поднять апарсер на дополнительном ядре? не хочется геморроя с поддержкой нескольких копий апарсера :(
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    необходимо выбирать процессор с максимальным(из доступных) рейтингом на один поток(ядро)
     

Поделиться этой страницей