Падает скорость парсинга

[seowin555]

Такая проблема, в последнее время почему-то стала падать сильно скорость парсинга, причем парсеры разные всегда.
Например, на данный момент чекаю DA парсером OpenSiteExplorer, скорость 20/80, но бывает еще ниже.
Читал на форуме, что у юзера падала скорость из-за версии А-парсера, снес 64 битную версию, поставил 32, но проблема не решилась.
Чекаю своими проксями, но сегодня купил другие прокси, тоже самое. Также пробовал увеличивать и уменьшать потоки.
Парсер стоит на дедике, конфин такой:
Intel(R) Core(TM) i5-2500T CPU @ 2.30GHz 2294.966 Mhz X 4
16ГБ ECC
OC Centos6
Нагрузка на сервер минимальна, ее практически нет.
Изначально скорость отличная, но потом она почти сразу падает.

 

[Support]

В данном случае наверняка причина снижения скорости в том, что парсер перебирает попытки. В OSE кол-во запросов с одного IP ограничено 10 в сутки, соответственно спустя некоторое время на каждой проксе лимит исчерпывается, парсер не может получить нужную информацию и повторяет запрос с другой... На это все уходит время, соответственно скорость снижается.
В Редакторе заданий есть опция (в самом низу) Вести лог. Включайте ее и запускайте с ней задание, тогда в логе задания можно будет увидеть причину медленной скорости или неудачных запросов.

P.S. Попробуйте этот способ парсинга OSE: http://a-parser.com/threads/2802/

 

[DeLaKroiX]

вот блин, а я тут городил себе чекалку DA на Net::HTTP
ну может кому понадобится, есть проверка на бан, формат результата "domain DA PA"

Спойлер: чекер DA

eyJwcmVzZXQiOiJEQSIsInZhbHVlIjp7InByZXNldCI6IkRBIiwicGFyc2VycyI6
W1siTmV0OjpIVFRQIiwicHJveHktOTk5OSIseyJ0eXBlIjoib3ZlcnJpZGUiLCJp
ZCI6Imdvb2RDb2RlIiwidmFsdWUiOlsiIl19LHsidHlwZSI6Im92ZXJyaWRlIiwi
aWQiOiJmb3JtYXRyZXN1bHQiLCJ2YWx1ZSI6IiRxdWVyeS5vcmlnXHRbJSBqc29u
ID0gdG9vbHMucGFyc2VKU09OKHAxLmRhdGEpO1xuXG5qc29uLmRhdGEuYXV0aG9y
aXR5LmRvbWFpbl9hdXRob3JpdHkgX1wiXHRcIjtcbmpzb24uZGF0YS5hdXRob3Jp
dHkucGFnZV9hdXRob3JpdHkgX1wiXFxuXCIgJV0ifSx7InR5cGUiOiJvcHRpb25z
IiwiaWQiOiJjaGVja0NvbnRlbnQiLCJ2YWx1ZSI6Imp1c3RfZGlzY292ZXJlZF9s
aW5rcyIsImFkZGl0aW9uYWwiOnsiY2hlY2tDb250ZW50TWF0Y2hUeXBlIjoxfX1d
XSwicmVzdWx0c0Zvcm1hdCI6IiRwMS5wcmVzZXQiLCJyZXN1bHRzU2F2ZVRvIjoi
ZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6IlNlcC0wOF8yMi00NC0yMi5jc3YiLCJh
ZGRpdGlvbmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJubyIsInF1ZXJp
ZXNGcm9tIjoiZmlsZSIsInF1ZXJ5Rm9ybWF0IjpbImh0dHBzOi8vbW96LmNvbS9y
ZXNlYXJjaHRvb2xzL29zZS9hcGkvdXJsbWV0cmljcz9zaXRlPSRxdWVyeSJdLCJ1
bmlxdWVRdWVyaWVzIjpmYWxzZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOmZhbHNlLCJp
dGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZhbHNlLCJxdWVyeUJ1aWxk
ZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNPbkFsbExldmVs
cyI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6eyJvdmVyd3JpdGUiOmZhbHNlfSwi
ZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUiOiJObyIsIm1vcmVPcHRpb25zIjpmYWxz
ZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1bHRzQXBwZW5kIjoiIiwicXVlcnlC
dWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W10sImNvbmZpZ092ZXJyaWRl
cyI6W10sInJ1blRhc2tPbkNvbXBsZXRlIjpudWxsLCJ1c2VSZXN1bHRzRmlsZUFz
UXVlcmllc0ZpbGUiOmZhbHNlLCJydW5UYXNrT25Db21wbGV0ZUNvbmZpZyI6ImRl
ZmF1bHQiLCJ0b29sc0pTIjoiIiwicXVlcmllc0ZpbGUiOlsieHgzMy50eHQiXX0s
InBhcnNlcnNDb25mUHJlc2V0cyI6eyJOZXQ6OkhUVFAiOnsicHJveHktOTk5OSI6
eyJxdWVyeWZvcm1hdCI6IiRxdWVyeSIsInVzZXItYWdlbnQiOiJNb3ppbGxhLzUu
MCAoV2luZG93cyBOVCA2LjE7IFdPVzY0OyBydjo0My4wKSBHZWNrby8yMDEwMDEw
MSBGaXJlZm94LzQzLjAiLCJoZWFkZXJzIjoiIiwiZ29vZENvZGVSZWdleCI6IiIs
ImJyb3dzZXIiOnRydWUsInByb3h5Q2hlY2tlciI6IioiLCJnb29kQ29kZSI6WyIi
XSwiYm9keSI6IiIsImRvX2d6aXAiOnRydWUsInRpbWVvdXQiOiIzMCIsIm1heENv
b2tpZXMiOiIxNiIsInVzZXByb3h5Ijp0cnVlLCJtZXRob2QiOiJHRVQiLCJvbmx5
aGVhZGVycyI6ZmFsc2UsImNvb2tpZXMiOiIiLCJwcm94eXJldHJpZXMiOiI5OTk5
OTk5OSIsInJlcXVlc3RkZWxheSI6IjAiLCJwcm94eWJhbm5lZGNsZWFudXAiOiIz
MDAiLCJmb3JtYXRyZXN1bHQiOiIkY29kZSAkcmVhc29uXFxuJGhlYWRlcnNcXG5c
XG4kZGF0YSIsImRldGVjdGNoYXJzZXQiOmZhbHNlLCJyZWN1cnNlIjoiMSIsIm1h
eF9zaXplIjoiMTA0ODU3NiJ9fX19

 

[seowin555]

Здравствуйте!
Почему-то постоянно стал наблюдать следующее: стала постоянно сильно падать скорость по окончанию парсинга задания.
Например, сейчас паршу 300 линков через парсеры Яндекса и Гугла, 290 линков прочекались очень быстро, а вот последние 10 чекаются очень долго, сейчас например, остался 1 линк и так стоит уже минут 15.
Прокси нормальные, не в бане, капча работает, сервер тот же, что выше, нагрузки совсем нет на нем.
Подскажите, в чем может быть проблема?

 

[Forbidden]

какая версия парсера?

 

[seowin555]

какая версия парсера?

Версия 1.1.681 stable 32, при проверке не выдает, что есть новая версия.
Ставил также 64, но откатился обратно на 32.

 

[Forbidden]

перейди на канал beta и попробуй последнюю бета-версию

 

[seowin555]

Неактуально, включил логи, снова в ДА проблема, буду отдельно его парсить.