1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Крайне низкая скорость парсинга Гугла с оператором site

Тема в разделе "Техническая поддержка", создана пользователем yadzha, 25 авг 2013.

  1. yadzha

    yadzha A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2013
    Сообщения:
    68
    Симпатии:
    6
    Последние несколько дней наблюдаю крайне низкую скорость парсинга Гугла с оператором site с проксями от fineproxy.org, 95+% запросов уходят в неудачные. Скорость на 100 потоках не превышает 250-300. Ранее средняя скорость на 100 потоках была ~2000. Не пойму в чем дело, у кого=нибудь есть похожие проблемы?
     
    #1 yadzha, 25 авг 2013
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Проблема может быть только одна - прокси :)
     
    #2 Forbidden, 25 авг 2013
  3. rostonix

    rostonix A-Parser Pro License
    A-Parser Pro

    Регистрация:
    25 дек 2012
    Сообщения:
    28
    Симпатии:
    1
    Прокси эти юзает туча народа. Ничего удивительного.
     
    #3 rostonix, 3 сен 2013
  4. yadzha

    yadzha A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2013
    Сообщения:
    68
    Симпатии:
    6
    Посоветуйте плз, где купить нормальные прокси? Взял сейчас у awmproxy, поставил 200 потоков. Парсю с оператором site: 50% запросов улетают в failed, скорость парсинга 87/91. Раньше у меня на fineproxy скорость была 1500+ и в failed улетало не более 10% запросов...
     
    #4 yadzha, 5 сен 2013
  5. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    А сколько попыток то стоит(Request retries)?
     
    #5 Forbidden, 5 сен 2013
  6. yadzha

    yadzha A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2013
    Сообщения:
    68
    Симпатии:
    6
    10 попыток, по дефолту
     
    #6 yadzha, 5 сен 2013
  7. yadzha

    yadzha A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2013
    Сообщения:
    68
    Симпатии:
    6
    Попыток сделал поменьше, скорость увеличилась. Спасибо за наводку. Но осталась проблема failed queries. Даже без операторов в фэйл падает очень много запросов... Как можно улучшить этот показатель ?
     
    #7 yadzha, 5 сен 2013
  8. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    При плохих проксях чем меньше попыток - тем больше ошибок и быстрее парсинг(т.к. запросы пропускаються)
    Вариантов всего 2 - улучшать прокси или использовать антигейт
     
    #8 Forbidden, 5 сен 2013
  9. yadzha

    yadzha A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2013
    Сообщения:
    68
    Симпатии:
    6
    Посоветуй плз нормальные прокси? Или это такой щекотливый вопрос, что нужно только самому искать? :)
     
    #9 yadzha, 5 сен 2013
  10. rostonix

    rostonix A-Parser Pro License
    A-Parser Pro

    Регистрация:
    25 дек 2012
    Сообщения:
    28
    Симпатии:
    1
    Мне кажется ага :)
     
    #10 rostonix, 5 сен 2013
  11. Dodgy

    Dodgy A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 сен 2012
    Сообщения:
    65
    Симпатии:
    4
    Прокси это проблема) и с каждым днем она все ухудшается и ухудшается)
     
    #11 Dodgy, 5 сен 2013
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей