Улучшение [1.2.185] SE::Google::Modern - многократно увеличена скорость парсинга

[Forbidden]

Пример задания, 1 страница по 100 результатов, 1000 потоков и 100 попыток:

 

[relay]

Теперь скорость выше, чем у SE::Google?

 

[vaulroon]

Помню, было дело, на SE::Google месяца два назад скорость хорошая была. 500 потоков, 5000 прокси, 20 ретраев, скорость 2000-2500 и процент неудачных запросов даже 1% не превышал. Недельки две все было идеально, а потом пошло по наклонной. Эхма...

 

[malexoid]

не заметил увеличение скорости...

 

[Support]

Увеличение скорости лучше всего заметно на длительных парсингах, т.к. данное улучшение в первую очередь направлено на обход бана прокси Гуглом. Но и на непродолжительных запусках видна разница. Ниже сравнение между версиями 1.2.180 и 1.2.185, задание одинаковое: 300 потоков, 50 попыток, 1 страница, 100 результатов.
1.2.180

1.2.185

Как видно на скриншотах, общая скорость на 1.2.185 значительно выше, а также намного меньше количество неудачных запросов.

 

[vaulroon]

Я не знаю, у меня модерн всегда хуже обычного гугла парсит. Вот сейчас я включал модерн, скорость 1200\1500. Пошел репортить о сломавшемся рамблере, пока писал минут 5-10, вернулся, а там скорость грохнулась до 200. Удалил задание, включил сразу же обычный гугл скорость ~3000, прошло 4 минуты после старта, скорость опустилась до 2800.

 

[Support]

@vaulroon уточните версию парсера, какие прокси используете, на каких настройках и по каким запросам парсите.

 

[vaulroon]

@vaulroon уточните версию парсера, какие прокси используете, на каких настройках и по каким запросам парсите.

Крайняя бета версия, proxy.am пакет на 5000 проксей,

Запросы с использованием операторов intext и intitle.

 

[Support]

Вот сейчас я включал модерн, скорость 1200\1500. Пошел репортить о сломавшемся рамблере, пока писал минут 5-10, вернулся, а там скорость грохнулась до 200. Удалил задание, включил сразу же обычный гугл скорость ~3000, прошло 4 минуты после старта, скорость опустилась до 2800.

Крайняя бета версия, proxy.am пакет на 5000 проксей,
Запросы с использованием операторов intext и intitle.

Сложно сказать в чем причина описанной вами ситуации, но с операторами Гугл всегда хуже парсится. Может быть причина также в прокси...
Вот специально протестировал оба парсера Гугла на версии 1.2.185. Задание идентичному вашему, только кол-во попыток 50 и в 300 потоков. Запросы также intitle/intext. Прокси - nosok. Время теста ~45 минут.

Скорость в обоих случая все время тестирования была стабильной.
Как видно на скриншотах, модерн на данный момент более чем в 2 раза лучше, чем обычный парсер Гугла.

А в целом, два отдельных парсера Гугла именно для того и существуют, чтобы каждый мог для себя выбрать тот, на котором более оптимально работать.

 

[malexoid]

Выложите плз пресет с помощью которого вы тестируете скорость, хочется такую же скорость получить.
+ настройки потоков.

 

[Support]

В сообщениях выше указаны настройки:

1 страница по 100 результатов, 1000 потоков и 100 попыток

300 потоков, 50 попыток, 1 страница, 100 результатов

Остальное все по-умолчанию