1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение [1.2.108] Улучшение работы SE::Google::Modern

Тема в разделе "1.2.138", создана пользователем Support, 6 фев 2018.

  1. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.348
    Симпатии:
    2.097
    Гугл в последнее время очень часто делает изменения в поисковике и довольно жестко реагирует на парсинг, выдавая очень много рекаптч.
    Мы стараемся оперативно реагировать на любые изменения и по мере возможности делать исправления в парсере, чтобы минимизировать влияние подобных изменений.
    Данное улучшение немного уменьшает кол-во рекаптч.
     
  2. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    254
    Симпатии:
    60
    Что-то не то в этом обновлении, скорость парсера с гаданием рекапчи наборот деградировала где-то в 10 раз.
    откатился на .93 версию - всё отлично стало.
    для гадания рекаптч использую xevil
     
  3. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.348
    Симпатии:
    2.097
    За счет чего скорость упала?
    Дольше разгадывается каждая рекаптча? Или после разгадывания гугл не принимает ответ и выдает повторную рекаптчу?
    Или же самих рекаптч стало наоборот больше?

    Вот свежий замер на 1.2.108
    ТОП10, 300 потоков, прокси nosok, остальные настройки по-умолчанию
    • С включенной рекаптчей (anti-captcha.com):
      [​IMG]
    • На 5575 обработанных запросов было 765 рекаптч, что примерно равно 14%

    • Без рекаптчи, кол-во попыток 50:
      [​IMG]
     
    #3 Support, 6 фев 2018
    Последнее редактирование: 6 фев 2018
  4. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    254
    Симпатии:
    60
    обратно установил 108, скорость резко упала, включил логирование:
    1. капч стало больше.
    2. капча гадается - результат выдается.
    3. следом для этого ip снова выдается капча.
    на версии .93: апарсер 50 потоков, xevil 20 потоков - все окей, скорость в апарсере 230-280 запросов в минуту
    на версии .108: апарсер 50 потоков, xevil 20 потоков - xevil захлебывается и не справляется, капч стало больше, это видно. скорость в апарсере 25-39 в мин.
    проверял несколько раз.

    запущены вместе 2 задачи:
    1я задача - google modern 50 потоков с гаданием рекапчи - только анонимные прокси
    2я задача - google position 300 потоков без рекапчи - долбежка - анонимные + публичные прокси
     
    #4 malexoid, 6 фев 2018
    Последнее редактирование: 6 фев 2018
  5. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    254
    Симпатии:
    60
    вот очередной раз откатился на .93 версию и сразу скорость возросла и капчей меньше стало.
     
  6. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.348
    Симпатии:
    2.097
    Попробуйте запустить на 108-й версии только одну задачу: google modern и отпишитесь о том, как будет работать.
     
  7. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    254
    Симпатии:
    60
    тоже самое, на 108 капч слишком много, не справляется xevil
     
  8. Kreola

    Kreola Member

    Регистрация:
    23 июн 2013
    Сообщения:
    203
    Симпатии:
    19
    На anti-captcha в 200 повторов, тоже есть много 0-х результатов
     
  9. Kreola

    Kreola Member

    Регистрация:
    23 июн 2013
    Сообщения:
    203
    Симпатии:
    19
    А вот еще момент
    Запросы в гугле
    Fotokontrollerid site:ee
    Fotokvadītāji site:lv
    Fotokvadai site:lt
    не выдают результатов, но парсер упорно перебирает позиции и ловит кучу капч
     
  10. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.348
    Симпатии:
    2.097
    Напишите мне по любому удобному контакту (Telegram: @aparser, или в Skype: a-parser), нужно искать проблему на вашем парсере.

    Уточните, пожалуйста, что вы имеете в виду. 0-е результаты - это в которых нет результатов, или это неудачные?
    Покажите, пожалуйста, лог задания, где видно подобное поведение. По указанным вами запросам в гугле действительно нет результатов, и парсер не перебирает попытки, а сразу переходит к следующему.
    [​IMG]
     
  11. Kreola

    Kreola Member

    Регистрация:
    23 июн 2013
    Сообщения:
    203
    Симпатии:
    19
    Прощу прощения, сегодня пересмотрел все нормально. Видимо я с 104 перепутал.
     
    Support нравится это.
  12. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    254
    Симпатии:
    60
    извиняюсь, был занят, сейчас у меня с проксями проблема, не могу показать ( попозже нормализуется
     

Поделиться этой страницей