1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Google modern, AWM + XEvil, очень низкая скорость? Где ошибка?

Тема в разделе "Техническая поддержка", создана пользователем jasonnevins, 10 янв 2019.

  1. jasonnevins

    jasonnevins A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 ноя 2013
    Сообщения:
    7
    Симпатии:
    0
    Может не так что делаю? 1500 потоков, скорость выше 50-100 не поднимается. Прокси за 195$ в месяц.
     
    #1 jasonnevins, 10 янв 2019
  2. EceninPars

    EceninPars A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 янв 2013
    Сообщения:
    65
    Симпатии:
    14
    Запросы случайно не со спец. операторами гугла типа inurl: и др.?
     
    #2 EceninPars, 11 янв 2019
  3. jasonnevins

    jasonnevins A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 ноя 2013
    Сообщения:
    7
    Симпатии:
    0
    Неа, просто forum. Как тут где-то было примером - как собирали базу форумов.
     
    #3 jasonnevins, 11 янв 2019
  4. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    254
    Симпатии:
    60
    1. Нужен пул хороших проксей
    2. Капчу гадать не нужно, отключить, просто бомбим запросами
     
    #4 malexoid, 11 янв 2019
  5. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    В большинстве случаев причины можно увидеть в логе задания.
    Поэксперементируйте с различными вариантами настроек: попробуйте снизить кол-во потоков (не всегда большее кол-во потоков означает большую скорость), отключить XEvil (возможно он не справляется с большим кол-вом рекаптч) и увеличить кол-во попыток, уменьшить количество страниц для парсинга, если это позволяет сделать решаемая задача.
    Вот свежий замер (300 потоков, прокси из Личного кабинета, 1 страница, 30 попыток, рекаптча отключена):
    [​IMG]
    Как видно на скриншоте - скорость порядка 2к в минуту.

    Вот: https://a-parser.com/resources/103/
     
    #5 Support, 11 янв 2019
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    у авмпрокси в обычные тарифы входит всего 100к запросов к гуглу в месяц
     
    #6 Forbidden, 11 янв 2019
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей