Каков алгоритм сбора google 10 страниц?

[andreyz]

Задумался для оптимизации как лучше настроить для увеличения скорости?
1 страницу 100 результатов или 10 страниц по 100?
Мне интересно если в процессе перехода на третью например страницу прокси умирает, то что происходит? предыдущие сохраняются или снова начинается?

Мне нужно парсить ну ооочень много и если одну страницу собирать будет быстрее то в принципе хватит и одной страницы, но с учетом, что это правда быстрее

Что посоветуете?
Спасибо

 

[Support]

Чего ж тут посоветовать?
Если достаточно с одного запроса 100 результатов - парсите 1 страницу, если нужно больше - парсите 10 страниц по 100 результатов. Если этого мало - попробуйте Parse all results (если мы о парсере Гугла).
Если прокси умирает - берется другой (предыдущие страницы сохраняются). Это можно наглядно увидеть, поэксперементировав в Тестовом парсинге.
Ну и понятно, что 1 страница спарсится быстрее, чем 10.

 

[andreyz]

Спасибо
Ну в принципе так и думал, но уточнил.
Протестирую, если за счет скорости за то же время собрано больше будет даже при сборе 1 страницы, то мне подходит
Пока как оптимальней не понимаю, мне нужнно более эффективно в единицу времени, а глубиной страниц можно принебречь ибо запросов сотни миллионов

 

[Support]

Нужно понимать, что для вас эффективность. Если это максимум результатов с одного запроса - тогда нужно выставлять максимум страниц. А если это минимум времени на обработку одного запроса, соответственно высокая скорость парсинга - тогда нужно указывать 1 страницу.

 

[andreyz]

Возможно кому то будет интересно, что по итогу теста
Протестировал на одинаковых запросах и одинаковых проксях, в итоге за один и тот же промежуток времени сбор 10 страниц, запросов обработал как и предполагал мньше, но результат конечный на выходе примерно на 30% больше, чем если собирать 1 сраницу.

Так что если не учитывать погрешность работы проксей, то мне эффективней 10 страниц собирать

 

[DeLaKroiX]

учитывай также, что при выдаче в больше, чем 10 результатов на 1 страницу, у гугла выключается формирование выдачи "на лету" или как оно там называется. поэтому результаты могут быть разными