Такая проблема, в последнее время почему-то стала падать сильно скорость парсинга, причем парсеры разные всегда. Например, на данный момент чекаю DA парсером OpenSiteExplorer, скорость 20/80, но бывает еще ниже. Читал на форуме, что у юзера падала скорость из-за версии А-парсера, снес 64 битную версию, поставил 32, но проблема не решилась. Чекаю своими проксями, но сегодня купил другие прокси, тоже самое. Также пробовал увеличивать и уменьшать потоки. Парсер стоит на дедике, конфин такой: Intel(R) Core(TM) i5-2500T CPU @ 2.30GHz 2294.966 Mhz X 4 16ГБ ECC OC Centos6 Нагрузка на сервер минимальна, ее практически нет. Изначально скорость отличная, но потом она почти сразу падает.
В данном случае наверняка причина снижения скорости в том, что парсер перебирает попытки. В OSE кол-во запросов с одного IP ограничено 10 в сутки, соответственно спустя некоторое время на каждой проксе лимит исчерпывается, парсер не может получить нужную информацию и повторяет запрос с другой... На это все уходит время, соответственно скорость снижается. В Редакторе заданий есть опция (в самом низу) Вести лог. Включайте ее и запускайте с ней задание, тогда в логе задания можно будет увидеть причину медленной скорости или неудачных запросов. P.S. Попробуйте этот способ парсинга OSE: http://a-parser.com/threads/2802/
вот блин, а я тут городил себе чекалку DA на Net::HTTP ну может кому понадобится, есть проверка на бан, формат результата "domain DA PA" Спойлер: чекер DA eyJwcmVzZXQiOiJEQSIsInZhbHVlIjp7InByZXNldCI6IkRBIiwicGFyc2VycyI6 W1siTmV0OjpIVFRQIiwicHJveHktOTk5OSIseyJ0eXBlIjoib3ZlcnJpZGUiLCJp ZCI6Imdvb2RDb2RlIiwidmFsdWUiOlsiIl19LHsidHlwZSI6Im92ZXJyaWRlIiwi aWQiOiJmb3JtYXRyZXN1bHQiLCJ2YWx1ZSI6IiRxdWVyeS5vcmlnXHRbJSBqc29u ID0gdG9vbHMucGFyc2VKU09OKHAxLmRhdGEpO1xuXG5qc29uLmRhdGEuYXV0aG9y aXR5LmRvbWFpbl9hdXRob3JpdHkgX1wiXHRcIjtcbmpzb24uZGF0YS5hdXRob3Jp dHkucGFnZV9hdXRob3JpdHkgX1wiXFxuXCIgJV0ifSx7InR5cGUiOiJvcHRpb25z IiwiaWQiOiJjaGVja0NvbnRlbnQiLCJ2YWx1ZSI6Imp1c3RfZGlzY292ZXJlZF9s aW5rcyIsImFkZGl0aW9uYWwiOnsiY2hlY2tDb250ZW50TWF0Y2hUeXBlIjoxfX1d XSwicmVzdWx0c0Zvcm1hdCI6IiRwMS5wcmVzZXQiLCJyZXN1bHRzU2F2ZVRvIjoi ZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6IlNlcC0wOF8yMi00NC0yMi5jc3YiLCJh ZGRpdGlvbmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJubyIsInF1ZXJp ZXNGcm9tIjoiZmlsZSIsInF1ZXJ5Rm9ybWF0IjpbImh0dHBzOi8vbW96LmNvbS9y ZXNlYXJjaHRvb2xzL29zZS9hcGkvdXJsbWV0cmljcz9zaXRlPSRxdWVyeSJdLCJ1 bmlxdWVRdWVyaWVzIjpmYWxzZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOmZhbHNlLCJp dGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZhbHNlLCJxdWVyeUJ1aWxk ZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNPbkFsbExldmVs cyI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6eyJvdmVyd3JpdGUiOmZhbHNlfSwi ZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUiOiJObyIsIm1vcmVPcHRpb25zIjpmYWxz ZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1bHRzQXBwZW5kIjoiIiwicXVlcnlC dWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W10sImNvbmZpZ092ZXJyaWRl cyI6W10sInJ1blRhc2tPbkNvbXBsZXRlIjpudWxsLCJ1c2VSZXN1bHRzRmlsZUFz UXVlcmllc0ZpbGUiOmZhbHNlLCJydW5UYXNrT25Db21wbGV0ZUNvbmZpZyI6ImRl ZmF1bHQiLCJ0b29sc0pTIjoiIiwicXVlcmllc0ZpbGUiOlsieHgzMy50eHQiXX0s InBhcnNlcnNDb25mUHJlc2V0cyI6eyJOZXQ6OkhUVFAiOnsicHJveHktOTk5OSI6 eyJxdWVyeWZvcm1hdCI6IiRxdWVyeSIsInVzZXItYWdlbnQiOiJNb3ppbGxhLzUu MCAoV2luZG93cyBOVCA2LjE7IFdPVzY0OyBydjo0My4wKSBHZWNrby8yMDEwMDEw MSBGaXJlZm94LzQzLjAiLCJoZWFkZXJzIjoiIiwiZ29vZENvZGVSZWdleCI6IiIs ImJyb3dzZXIiOnRydWUsInByb3h5Q2hlY2tlciI6IioiLCJnb29kQ29kZSI6WyIi XSwiYm9keSI6IiIsImRvX2d6aXAiOnRydWUsInRpbWVvdXQiOiIzMCIsIm1heENv b2tpZXMiOiIxNiIsInVzZXByb3h5Ijp0cnVlLCJtZXRob2QiOiJHRVQiLCJvbmx5 aGVhZGVycyI6ZmFsc2UsImNvb2tpZXMiOiIiLCJwcm94eXJldHJpZXMiOiI5OTk5 OTk5OSIsInJlcXVlc3RkZWxheSI6IjAiLCJwcm94eWJhbm5lZGNsZWFudXAiOiIz MDAiLCJmb3JtYXRyZXN1bHQiOiIkY29kZSAkcmVhc29uXFxuJGhlYWRlcnNcXG5c XG4kZGF0YSIsImRldGVjdGNoYXJzZXQiOmZhbHNlLCJyZWN1cnNlIjoiMSIsIm1h eF9zaXplIjoiMTA0ODU3NiJ9fX19
Здравствуйте! Почему-то постоянно стал наблюдать следующее: стала постоянно сильно падать скорость по окончанию парсинга задания. Например, сейчас паршу 300 линков через парсеры Яндекса и Гугла, 290 линков прочекались очень быстро, а вот последние 10 чекаются очень долго, сейчас например, остался 1 линк и так стоит уже минут 15. Прокси нормальные, не в бане, капча работает, сервер тот же, что выше, нагрузки совсем нет на нем. Подскажите, в чем может быть проблема?
Версия 1.1.681 stable 32, при проверке не выдает, что есть новая версия. Ставил также 64, но откатился обратно на 32.
