1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Google modern, AWM + XEvil, очень низкая скорость? Где ошибка?

Тема в разделе "Техническая поддержка", создана пользователем jasonnevins, 10 янв 2019.

  1. jasonnevins

    jasonnevins A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 ноя 2013
    Сообщения:
    7
    Симпатии:
    0
    Может не так что делаю? 1500 потоков, скорость выше 50-100 не поднимается. Прокси за 195$ в месяц.
     
  2. EceninPars

    EceninPars A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 янв 2013
    Сообщения:
    67
    Симпатии:
    14
    Запросы случайно не со спец. операторами гугла типа inurl: и др.?
     
  3. jasonnevins

    jasonnevins A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 ноя 2013
    Сообщения:
    7
    Симпатии:
    0
    Неа, просто forum. Как тут где-то было примером - как собирали базу форумов.
     
  4. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    256
    Симпатии:
    60
    1. Нужен пул хороших проксей
    2. Капчу гадать не нужно, отключить, просто бомбим запросами
     
  5. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.547
    Симпатии:
    2.164
    В большинстве случаев причины можно увидеть в логе задания.
    Поэксперементируйте с различными вариантами настроек: попробуйте снизить кол-во потоков (не всегда большее кол-во потоков означает большую скорость), отключить XEvil (возможно он не справляется с большим кол-вом рекаптч) и увеличить кол-во попыток, уменьшить количество страниц для парсинга, если это позволяет сделать решаемая задача.
    Вот свежий замер (300 потоков, прокси из Личного кабинета, 1 страница, 30 попыток, рекаптча отключена):
    [​IMG]
    Как видно на скриншоте - скорость порядка 2к в минуту.

    Вот: https://a-parser.com/resources/103/
     
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    у авмпрокси в обычные тарифы входит всего 100к запросов к гуглу в месяц
     

Поделиться этой страницей