1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Ошибка [1.1.471] Парсинг Google: катастрофичное падение скорости парсинга

Тема в разделе "1.1.481", создана пользователем AntonR, 29 мар 2016.

Метки:
Страница 1 из 2
  1. AntonR

    AntonR Member

    Регистрация:
    7 дек 2013
    Сообщения:
    84
    Симпатии:
    13
    а у всех google банит проксики???
    скорость просто в разы упала за последние 2 недели (((.

    раньше при 300 потоках скорость была 250-300,
    то сейчас около 17/25 и через какое-то время практически все запросы уходят в неудачные.

    Кол-во прокси: около 30000, живых около 3-5000.

    С чем это может быть связано?
     
    #1 AntonR, 29 мар 2016
  2. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    256
    Симпатии:
    60
    Гугл умнее стал.
    К сожалению без антигейта уже не обойтись :(
     
    #2 malexoid, 29 мар 2016
    Support нравится это.
  3. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.794
    теперь парсинг по умолчанию не https, скорость многократно выросла, банить меньше стало
     
    #3 Forbidden, 31 мар 2016
    Alex, Sobesednic, Support и ещё 1-му нравится это.
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.794
    у нас весь парсинг(много) идет без антигейта, решается либо проксями(пробовать разные, не забаненые), либо попытками(Request retries)
     
    #4 Forbidden, 31 мар 2016
    Support нравится это.
  5. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    256
    Симпатии:
    60
    Ну сейчас то, без антигейта гораздо быстрее стало, чем с антигейтом, а до этого, антигейт только и спасал.
     
    #5 malexoid, 31 мар 2016
  6. AntonR

    AntonR Member

    Регистрация:
    7 дек 2013
    Сообщения:
    84
    Симпатии:
    13
    ну, а как?
    1. 30 000 прокси: бесплатные + авм
    2. кол-во попыток: 200

    и всё равно, ничего это не дает.

    можете дать ссылку (в личку например) на список нормальных не забаненых прокси.

    спасибо.
     
    #6 AntonR, 31 мар 2016
  7. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    198
    Симпатии:
    116
    платные.
     
    #7 btr, 31 мар 2016
  8. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.794
    первым делом обновись на версию 1.1.471
     
    #8 Forbidden, 31 мар 2016
    AntonR нравится это.
  9. AntonR

    AntonR Member

    Регистрация:
    7 дек 2013
    Сообщения:
    84
    Симпатии:
    13
    Охренеть!!!!!!!!
    стало: 1300 из 20.

    Спасибо, вы просто крутяки.
     
    #9 AntonR, 31 мар 2016
  10. dslash

    dslash A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    2 ноя 2015
    Сообщения:
    34
    Симпатии:
    3
    У меня сегодня тож, даж с платными проксями ух*** 10$ на антикапчу, а толком и не спарсило ничего.
     
    #10 dslash, 31 мар 2016
  11. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    На какой версии?
     
    #11 Support, 31 мар 2016
  12. dslash

    dslash A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    2 ноя 2015
    Сообщения:
    34
    Симпатии:
    3
    v 1.1.434
     
    #12 dslash, 31 мар 2016
  13. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    А зачем писать о старой версии, если уже есть более новая, где решена эта проблема? Еще и в ветке по этой самой новой версии?

    Более того, с момента выхода 1.1.434 было несколько исправлений в парсере Гугла, в т.ч. и такое: http://a-parser.com/threads/2346/. Поэтому вы и не получили результата, используя каптчу...
     
    #13 Support, 31 мар 2016
  14. dslash

    dslash A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    2 ноя 2015
    Сообщения:
    34
    Симпатии:
    3
    Щас попробую обновить. Отпишу, поможет или нет.
     
    #14 dslash, 31 мар 2016
  15. dslash

    dslash A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    2 ноя 2015
    Сообщения:
    34
    Симпатии:
    3
    Обновил, не помогло... Бомбит так же ежесекундно капчами

    [​IMG]
     
    #15 dslash, 31 мар 2016
  16. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Значит прокси такие... Попробуйте отключить Антигейт и посмотреть, как будет парсить на новой версии без него.

    Вот пример:
    наши прокси, 200 потоков, кол-во попыток 30, остальное все по дефолту:
    [​IMG]
    На скрине видно, что каптчи тоже выдаются, но даже без использования Антигейта вполне неплохо парсит...
     
    #16 Support, 31 мар 2016
  17. dslash

    dslash A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    2 ноя 2015
    Сообщения:
    34
    Симпатии:
    3

    У меня что то явно не то творится

    [​IMG]
     
    #17 dslash, 31 мар 2016
  18. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    у вас версия 1.1.462
     
    #18 Support, 31 мар 2016
  19. dslash

    dslash A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    2 ноя 2015
    Сообщения:
    34
    Симпатии:
    3
    Я только что обновлялся... Эту версию выдает последней

    [​IMG]
     
    #19 dslash, 31 мар 2016
  20. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Переключите канал обновления из stable на beta в Настройках.
     
    #20 Support, 31 мар 2016
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)
Страница 1 из 2

Поделиться этой страницей