1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Улучшение [1.2.185] SE::Google::Modern - многократно увеличена скорость парсинга

Тема в разделе "1.2.185", создана пользователем Forbidden, 6 май 2018.

  1. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Пример задания, 1 страница по 100 результатов, 1000 потоков и 100 попыток:

    [​IMG]
     
    #1 Forbidden, 6 май 2018
    Support, relay и Vvtex нравится это.
  2. relay

    relay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 июл 2013
    Сообщения:
    157
    Симпатии:
    102
    Теперь скорость выше, чем у SE::Google?
     
    #2 relay, 7 май 2018
    vaulroon нравится это.
  3. vaulroon

    vaulroon A-Parser Pro License
    A-Parser Pro

    Регистрация:
    11 фев 2018
    Сообщения:
    67
    Симпатии:
    4
    Помню, было дело, на SE::Google месяца два назад скорость хорошая была. 500 потоков, 5000 прокси, 20 ретраев, скорость 2000-2500 и процент неудачных запросов даже 1% не превышал. Недельки две все было идеально, а потом пошло по наклонной. Эхма... :(
     
    #3 vaulroon, 7 май 2018
  4. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    254
    Симпатии:
    60
    не заметил увеличение скорости...
     
    #4 malexoid, 7 май 2018
  5. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Увеличение скорости лучше всего заметно на длительных парсингах, т.к. данное улучшение в первую очередь направлено на обход бана прокси Гуглом. Но и на непродолжительных запусках видна разница. Ниже сравнение между версиями 1.2.180 и 1.2.185, задание одинаковое: 300 потоков, 50 попыток, 1 страница, 100 результатов.
    1.2.180
    [​IMG]

    1.2.185
    [​IMG]

    Как видно на скриншотах, общая скорость на 1.2.185 значительно выше, а также намного меньше количество неудачных запросов.
     
    #5 Support, 7 май 2018
    relay и vaulroon нравится это.
  6. vaulroon

    vaulroon A-Parser Pro License
    A-Parser Pro

    Регистрация:
    11 фев 2018
    Сообщения:
    67
    Симпатии:
    4
    Я не знаю, у меня модерн всегда хуже обычного гугла парсит. Вот сейчас я включал модерн, скорость 1200\1500. Пошел репортить о сломавшемся рамблере, пока писал минут 5-10, вернулся, а там скорость грохнулась до 200. Удалил задание, включил сразу же обычный гугл скорость ~3000, прошло 4 минуты после старта, скорость опустилась до 2800.
     
    #6 vaulroon, 8 май 2018
  7. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    @vaulroon уточните версию парсера, какие прокси используете, на каких настройках и по каким запросам парсите.
     
    #7 Support, 8 май 2018
  8. vaulroon

    vaulroon A-Parser Pro License
    A-Parser Pro

    Регистрация:
    11 фев 2018
    Сообщения:
    67
    Симпатии:
    4
    Крайняя бета версия, proxy.am пакет на 5000 проксей,
    [​IMG]
    Запросы с использованием операторов intext и intitle.
     
    #8 vaulroon, 8 май 2018
  9. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Сложно сказать в чем причина описанной вами ситуации, но с операторами Гугл всегда хуже парсится. Может быть причина также в прокси...
    Вот специально протестировал оба парсера Гугла на версии 1.2.185. Задание идентичному вашему, только кол-во попыток 50 и в 300 потоков. Запросы также intitle/intext. Прокси - nosok. Время теста ~45 минут.
    [​IMG]

    [​IMG]

    Скорость в обоих случая все время тестирования была стабильной.
    Как видно на скриншотах, модерн на данный момент более чем в 2 раза лучше, чем обычный парсер Гугла.

    А в целом, два отдельных парсера Гугла именно для того и существуют, чтобы каждый мог для себя выбрать тот, на котором более оптимально работать.
     
    #9 Support, 8 май 2018
  10. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    254
    Симпатии:
    60
    Выложите плз пресет с помощью которого вы тестируете скорость, хочется такую же скорость получить.
    + настройки потоков.
     
    #10 malexoid, 18 май 2018
  11. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    В сообщениях выше указаны настройки:
    Остальное все по-умолчанию
     
    #11 Support, 18 май 2018
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей