1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Упала скорость парсинга

Тема в разделе "Техническая поддержка", создана пользователем kolya757, 20 дек 2015.

  1. kolya757

    kolya757 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 ноя 2014
    Сообщения:
    31
    Симпатии:
    5
    Добрый день! установил апарсер на новый сервер, добавил старый проект по парсингу гугл, скорость парсинга не поднимается выше 70 при 300 потоках и 600 живых проксей, раньше скорость была стабильно 300. Подскажите в чем может быть дело, может что то забыл прописать? прокси папблик с одних источников буквально неделю назад все хорошо парсило!
     
  2. Syrex

    Syrex A-Parser Pro License
    A-Parser Pro

    Регистрация:
    27 дек 2013
    Сообщения:
    51
    Симпатии:
    11
    На паблик прокси вопрос стоит не то, что в неделях - иногда в часах. Грешу на них.
     
    kolya757 нравится это.
  3. kolya757

    kolya757 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 ноя 2014
    Сообщения:
    31
    Симпатии:
    5
    Мб конечно, но парсил на них год, было все хорошо, проблема вот только сегодня началась, как переехал на новый сервак(
     
  4. Syrex

    Syrex A-Parser Pro License
    A-Parser Pro

    Регистрация:
    27 дек 2013
    Сообщения:
    51
    Симпатии:
    11
    Нууу...я бы проверил ширину канала на закачку.
    Далее запустить top или htop и посмотреть нагрузку
     
    kolya757 нравится это.
  5. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    198
    Симпатии:
    116
    гг, тоже паршу на паблик проксях, бывает падает скорость, бывает летает как истребитель, экономя на проксях не экономьте тогда уж на антикапче ;)
    PS в логах смотрел? может есть там что интересное.
     
    kolya757 нравится это.
  6. Syrex

    Syrex A-Parser Pro License
    A-Parser Pro

    Регистрация:
    27 дек 2013
    Сообщения:
    51
    Симпатии:
    11
    Использовать антикаптчу на паблик проксях? ) Сколько у тебя на каптчу уходит то?)
     
  7. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    198
    Симпатии:
    116
    ну смотря сколько парсить, уходило примерно 3$-5$ в неделю, сейчас капмонстра юзаю, не считаю.
    Народ на покупных приват прокси юзает антикапчу, а на пабликах все ипы задрочены, без капчи совсем хреного.
     
    kolya757 нравится это.
  8. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.793
    попробуй сравнить последнюю стабильную версию и последнюю бета версию, в бете есть некоторые улучшения парсинга Google
     
    kolya757 нравится это.
  9. kolya757

    kolya757 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 ноя 2014
    Сообщения:
    31
    Симпатии:
    5
    Похоже дело всетки в проксях, сменил прокси, стало парсит хорошо!
     
    #9 kolya757, 21 дек 2015
    Последнее редактирование: 21 дек 2015
    Forbidden и Support нравится это.

Поделиться этой страницей