Помню, было дело, на SE::Google месяца два назад скорость хорошая была. 500 потоков, 5000 прокси, 20 ретраев, скорость 2000-2500 и процент неудачных запросов даже 1% не превышал. Недельки две все было идеально, а потом пошло по наклонной. Эхма...
Увеличение скорости лучше всего заметно на длительных парсингах, т.к. данное улучшение в первую очередь направлено на обход бана прокси Гуглом. Но и на непродолжительных запусках видна разница. Ниже сравнение между версиями 1.2.180 и 1.2.185, задание одинаковое: 300 потоков, 50 попыток, 1 страница, 100 результатов. 1.2.180 1.2.185 Как видно на скриншотах, общая скорость на 1.2.185 значительно выше, а также намного меньше количество неудачных запросов.
Я не знаю, у меня модерн всегда хуже обычного гугла парсит. Вот сейчас я включал модерн, скорость 1200\1500. Пошел репортить о сломавшемся рамблере, пока писал минут 5-10, вернулся, а там скорость грохнулась до 200. Удалил задание, включил сразу же обычный гугл скорость ~3000, прошло 4 минуты после старта, скорость опустилась до 2800.
@vaulroon уточните версию парсера, какие прокси используете, на каких настройках и по каким запросам парсите.
Крайняя бета версия, proxy.am пакет на 5000 проксей, Запросы с использованием операторов intext и intitle.
Сложно сказать в чем причина описанной вами ситуации, но с операторами Гугл всегда хуже парсится. Может быть причина также в прокси... Вот специально протестировал оба парсера Гугла на версии 1.2.185. Задание идентичному вашему, только кол-во попыток 50 и в 300 потоков. Запросы также intitle/intext. Прокси - nosok. Время теста ~45 минут. Скорость в обоих случая все время тестирования была стабильной. Как видно на скриншотах, модерн на данный момент более чем в 2 раза лучше, чем обычный парсер Гугла. А в целом, два отдельных парсера Гугла именно для того и существуют, чтобы каждый мог для себя выбрать тот, на котором более оптимально работать.
Выложите плз пресет с помощью которого вы тестируете скорость, хочется такую же скорость получить. + настройки потоков.
