1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Падает скорость парсинга

Тема в разделе "Техническая поддержка", создана пользователем seowin555, 9 ноя 2016.

  1. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    186
    Симпатии:
    37
    Такая проблема, в последнее время почему-то стала падать сильно скорость парсинга, причем парсеры разные всегда.
    Например, на данный момент чекаю DA парсером OpenSiteExplorer, скорость 20/80, но бывает еще ниже.
    Читал на форуме, что у юзера падала скорость из-за версии А-парсера, снес 64 битную версию, поставил 32, но проблема не решилась.
    Чекаю своими проксями, но сегодня купил другие прокси, тоже самое. Также пробовал увеличивать и уменьшать потоки.
    Парсер стоит на дедике, конфин такой:
    Intel(R) Core(TM) i5-2500T CPU @ 2.30GHz 2294.966 Mhz X 4
    16ГБ ECC
    OC Centos6
    Нагрузка на сервер минимальна, ее практически нет.
    Изначально скорость отличная, но потом она почти сразу падает.
     
    #1 seowin555, 9 ноя 2016
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.372
    Симпатии:
    2.102
    В данном случае наверняка причина снижения скорости в том, что парсер перебирает попытки. В OSE кол-во запросов с одного IP ограничено 10 в сутки, соответственно спустя некоторое время на каждой проксе лимит исчерпывается, парсер не может получить нужную информацию и повторяет запрос с другой... На это все уходит время, соответственно скорость снижается.
    В Редакторе заданий есть опция (в самом низу) Вести лог. Включайте ее и запускайте с ней задание, тогда в логе задания можно будет увидеть причину медленной скорости или неудачных запросов.

    P.S. Попробуйте этот способ парсинга OSE: http://a-parser.com/threads/2802/
     
    #2 Support, 9 ноя 2016
    Forbidden и seowin555 нравится это.
  3. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    вот блин, а я тут городил себе чекалку DA на Net::HTTP :D
    ну может кому понадобится, есть проверка на бан, формат результата "domain DA PA"
    eyJwcmVzZXQiOiJEQSIsInZhbHVlIjp7InByZXNldCI6IkRBIiwicGFyc2VycyI6
    W1siTmV0OjpIVFRQIiwicHJveHktOTk5OSIseyJ0eXBlIjoib3ZlcnJpZGUiLCJp
    ZCI6Imdvb2RDb2RlIiwidmFsdWUiOlsiIl19LHsidHlwZSI6Im92ZXJyaWRlIiwi
    aWQiOiJmb3JtYXRyZXN1bHQiLCJ2YWx1ZSI6IiRxdWVyeS5vcmlnXHRbJSBqc29u
    ID0gdG9vbHMucGFyc2VKU09OKHAxLmRhdGEpO1xuXG5qc29uLmRhdGEuYXV0aG9y
    aXR5LmRvbWFpbl9hdXRob3JpdHkgX1wiXHRcIjtcbmpzb24uZGF0YS5hdXRob3Jp
    dHkucGFnZV9hdXRob3JpdHkgX1wiXFxuXCIgJV0ifSx7InR5cGUiOiJvcHRpb25z
    IiwiaWQiOiJjaGVja0NvbnRlbnQiLCJ2YWx1ZSI6Imp1c3RfZGlzY292ZXJlZF9s
    aW5rcyIsImFkZGl0aW9uYWwiOnsiY2hlY2tDb250ZW50TWF0Y2hUeXBlIjoxfX1d
    XSwicmVzdWx0c0Zvcm1hdCI6IiRwMS5wcmVzZXQiLCJyZXN1bHRzU2F2ZVRvIjoi
    ZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6IlNlcC0wOF8yMi00NC0yMi5jc3YiLCJh
    ZGRpdGlvbmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJubyIsInF1ZXJp
    ZXNGcm9tIjoiZmlsZSIsInF1ZXJ5Rm9ybWF0IjpbImh0dHBzOi8vbW96LmNvbS9y
    ZXNlYXJjaHRvb2xzL29zZS9hcGkvdXJsbWV0cmljcz9zaXRlPSRxdWVyeSJdLCJ1
    bmlxdWVRdWVyaWVzIjpmYWxzZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOmZhbHNlLCJp
    dGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZhbHNlLCJxdWVyeUJ1aWxk
    ZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNPbkFsbExldmVs
    cyI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6eyJvdmVyd3JpdGUiOmZhbHNlfSwi
    ZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUiOiJObyIsIm1vcmVPcHRpb25zIjpmYWxz
    ZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1bHRzQXBwZW5kIjoiIiwicXVlcnlC
    dWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W10sImNvbmZpZ092ZXJyaWRl
    cyI6W10sInJ1blRhc2tPbkNvbXBsZXRlIjpudWxsLCJ1c2VSZXN1bHRzRmlsZUFz
    UXVlcmllc0ZpbGUiOmZhbHNlLCJydW5UYXNrT25Db21wbGV0ZUNvbmZpZyI6ImRl
    ZmF1bHQiLCJ0b29sc0pTIjoiIiwicXVlcmllc0ZpbGUiOlsieHgzMy50eHQiXX0s
    InBhcnNlcnNDb25mUHJlc2V0cyI6eyJOZXQ6OkhUVFAiOnsicHJveHktOTk5OSI6
    eyJxdWVyeWZvcm1hdCI6IiRxdWVyeSIsInVzZXItYWdlbnQiOiJNb3ppbGxhLzUu
    MCAoV2luZG93cyBOVCA2LjE7IFdPVzY0OyBydjo0My4wKSBHZWNrby8yMDEwMDEw
    MSBGaXJlZm94LzQzLjAiLCJoZWFkZXJzIjoiIiwiZ29vZENvZGVSZWdleCI6IiIs
    ImJyb3dzZXIiOnRydWUsInByb3h5Q2hlY2tlciI6IioiLCJnb29kQ29kZSI6WyIi
    XSwiYm9keSI6IiIsImRvX2d6aXAiOnRydWUsInRpbWVvdXQiOiIzMCIsIm1heENv
    b2tpZXMiOiIxNiIsInVzZXByb3h5Ijp0cnVlLCJtZXRob2QiOiJHRVQiLCJvbmx5
    aGVhZGVycyI6ZmFsc2UsImNvb2tpZXMiOiIiLCJwcm94eXJldHJpZXMiOiI5OTk5
    OTk5OSIsInJlcXVlc3RkZWxheSI6IjAiLCJwcm94eWJhbm5lZGNsZWFudXAiOiIz
    MDAiLCJmb3JtYXRyZXN1bHQiOiIkY29kZSAkcmVhc29uXFxuJGhlYWRlcnNcXG5c
    XG4kZGF0YSIsImRldGVjdGNoYXJzZXQiOmZhbHNlLCJyZWN1cnNlIjoiMSIsIm1h
    eF9zaXplIjoiMTA0ODU3NiJ9fX19
     
    #3 DeLaKroiX, 10 ноя 2016
    vipuncle, relay, Dodgy и 2 другим нравится это.
  4. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    186
    Симпатии:
    37
    Здравствуйте!
    Почему-то постоянно стал наблюдать следующее: стала постоянно сильно падать скорость по окончанию парсинга задания.
    Например, сейчас паршу 300 линков через парсеры Яндекса и Гугла, 290 линков прочекались очень быстро, а вот последние 10 чекаются очень долго, сейчас например, остался 1 линк и так стоит уже минут 15.
    Прокси нормальные, не в бане, капча работает, сервер тот же, что выше, нагрузки совсем нет на нем.
    Подскажите, в чем может быть проблема?
     
    #4 seowin555, 4 дек 2016
  5. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    какая версия парсера?
     
    #5 Forbidden, 4 дек 2016
  6. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    186
    Симпатии:
    37
    Версия 1.1.681 stable 32, при проверке не выдает, что есть новая версия.
    Ставил также 64, но откатился обратно на 32.
     
    #6 seowin555, 4 дек 2016
  7. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    перейди на канал beta и попробуй последнюю бета-версию
     
    #7 Forbidden, 5 дек 2016
  8. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    186
    Симпатии:
    37
    Неактуально, включил логи, снова в ДА проблема, буду отдельно его парсить.
     
    #8 seowin555, 31 янв 2017
    Последнее редактирование: 31 янв 2017
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей