1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Парсинг Google (modern) + proxy nosok.org

Тема в разделе "Трёп", создана пользователем apollo47, 30 апр 2018.

  1. apollo47

    apollo47 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 май 2016
    Сообщения:
    27
    Симпатии:
    5
    Приветствую. Появилась необходимость парсить google, раньше (в июне) парсилось хорошо через xevil, пока гугл не прикрыл лавку.
    Купил прокси nosok.org из топика - https://a-parser.com/threads/3764/page-2#post-12153

    Их саппорт говорит Так вы не используете весь пакет. Нагружаете на 50 процентов

    Парсинг такой конф-й, в 600 потоков, скорость 700-750 (+ много ошибок)
    Поставил на 900 потоков, rqst delay 4, proxyban 30, скорость повысилась до 900-1000 (ошибок еще больше)
    Понятно что не в одни руки прокси исп-я. Кто парсит? Как улучшить?

    Имхо 300$ в месяц за такой результат - ну очень дорого по соотношению цена/кач-во.

    Спасибо.

    [​IMG]
     
    #1 apollo47, 30 апр 2018
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    а зачем Request retries уменьшен до 3? его надо наоборот увеличить до 100-200-... и тогда не будет ошибок
    попробуй SE::Google SE::Google, на нем должна быть скорость сильно выше
     
    #2 Forbidden, 1 май 2018
    apollo47 нравится это.
  3. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    так сейчас скорость на обычном парсере гугла выше, чем на модерне ?
     
    #3 DeLaKroiX, 1 май 2018
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    По разному, Гугл постоянно меняет некоторые параметры запроса, что влияет на бан прокси и выдачу каптч. Сейчас SE::Google и SE::Google::Modern используют немного разные алгоритмы, поэтому их производительность может меняться независимо. Сейчас, в целом обычный должен быть быстрее, чем модерн.
     
    #4 Support, 1 май 2018
    DeLaKroiX и relay нравится это.
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей