1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление

google modern

Тема в разделе "Трёп", создана пользователем malexoid, 23 ноя 2017.

  1. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    251
    Симпатии:
    59
    хм, запилил сейчас быстрый париснг ссылок и был приятно удивлен скоростью, нужно будет еще старый гугл парсер потестить конечно.

    google modern chrome61 1 страница по 10 ссылок, 300 потоков, без разгадывания капчи, скорость получается 2900-3100 запросов в минуту, очень хорошо.

    До этого всегда пользовался через api обычным Google парсером, в 300 потоков, без разгадывания капчи, скорость около 200-400 запросов в минуту, но там 1 страница и 50 ссылок.

    Видимо гугл быстрее банит и чаще предлагает капчу если ссылок не 10 штук, а больше. Видимо быстрее будет парсить 5 страниц по 10 ссылок, чем 1 страницу по 50. Нужно потестить.
    Но может кто уже тестил? какой сейчас самый эффективный режим парсинга без капчи, просто бомбингом через прокси?
     
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.981
    Симпатии:
    2.005
    Когда тестил SE::Google::Modern, тоже замечал что при 10 ссылках на страницу рекаптч меньше выдается. Так что вполне может быть, что Гугл больше любит "нежадных" пользователей :)
     
  3. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    251
    Симпатии:
    59
    потестил, оказалось что запросы типа info:https://www.yandex.ru обрабатываются с минимум капч, скорость на 300 потоках 2900-3000 запросто. но стоит поменять запросы на обычные, скорость тут же падает. избирательно гугл подходит к показу рекапчи.
     

Поделиться этой страницей