1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление

Крайне низкая скорость парсинга Гугла с оператором site

Тема в разделе "Техническая поддержка", создана пользователем yadzha, 25 авг 2013.

  1. yadzha

    yadzha A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2013
    Сообщения:
    67
    Симпатии:
    6
    Последние несколько дней наблюдаю крайне низкую скорость парсинга Гугла с оператором site с проксями от fineproxy.org, 95+% запросов уходят в неудачные. Скорость на 100 потоках не превышает 250-300. Ранее средняя скорость на 100 потоках была ~2000. Не пойму в чем дело, у кого=нибудь есть похожие проблемы?
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.305
    Симпатии:
    1.771
    Проблема может быть только одна - прокси :)
     
  3. rostonix

    rostonix A-Parser Pro License
    A-Parser Pro

    Регистрация:
    25 дек 2012
    Сообщения:
    28
    Симпатии:
    1
    Прокси эти юзает туча народа. Ничего удивительного.
     
  4. yadzha

    yadzha A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2013
    Сообщения:
    67
    Симпатии:
    6
    Посоветуйте плз, где купить нормальные прокси? Взял сейчас у awmproxy, поставил 200 потоков. Парсю с оператором site: 50% запросов улетают в failed, скорость парсинга 87/91. Раньше у меня на fineproxy скорость была 1500+ и в failed улетало не более 10% запросов...
     
  5. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.305
    Симпатии:
    1.771
    А сколько попыток то стоит(Request retries)?
     
  6. yadzha

    yadzha A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2013
    Сообщения:
    67
    Симпатии:
    6
    10 попыток, по дефолту
     
  7. yadzha

    yadzha A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2013
    Сообщения:
    67
    Симпатии:
    6
    Попыток сделал поменьше, скорость увеличилась. Спасибо за наводку. Но осталась проблема failed queries. Даже без операторов в фэйл падает очень много запросов... Как можно улучшить этот показатель ?
     
  8. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.305
    Симпатии:
    1.771
    При плохих проксях чем меньше попыток - тем больше ошибок и быстрее парсинг(т.к. запросы пропускаються)
    Вариантов всего 2 - улучшать прокси или использовать антигейт
     
  9. yadzha

    yadzha A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2013
    Сообщения:
    67
    Симпатии:
    6
    Посоветуй плз нормальные прокси? Или это такой щекотливый вопрос, что нужно только самому искать? :)
     
  10. rostonix

    rostonix A-Parser Pro License
    A-Parser Pro

    Регистрация:
    25 дек 2012
    Сообщения:
    28
    Симпатии:
    1
    Мне кажется ага :)
     
  11. Dodgy

    Dodgy A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 сен 2012
    Сообщения:
    75
    Симпатии:
    8
    Прокси это проблема) и с каждым днем она все ухудшается и ухудшается)
     

Поделиться этой страницей