Грусть пичаль, тоска, уныние,

[colman]

неудачных запросов :332038 45.6%
Результатов уник/всего:

неудачных запросов :33953 38.5%

неудачных запросов :3156503 83.7%

вобщем парсер очень печально прасит гугл, прокси авм за 100 баксов (Вам доступно 13103 прокси из 13683)
, кто подскажет как и что сейчас парсить чтобы собирать нормальные базы, потому что это вообще неочем ,паршу без опреаторов

 

[Forbidden]

AWM прокси банят парсинг google после 100к запросов, у них это в правилах написано:

На данном тарифе отправка писем запрещена, а также ограничены запросы к Google и всем его IP в 100 000 запросов в сутки. Если вам нужно больше запросов к Google, YouTube, ReCaptcha и прочим сервисам Google, рекомендуем вам тариф "Google"

 

[colman]

и где брать прокси? (отдавать 500 баксов в месяц на просси тоже не вариант) ваши тоже самое, так же все в бане были.

 

[autoparts.db]

и где брать прокси? (отдавать 500 баксов в месяц на просси тоже не вариант) ваши тоже самое, так же все в бане были.

Обучите парсер работать с web проксями, к примеру с glype(http://getproxi.es/glype-proxies/).
Я когда-то парсил гугл через них и вполне неплохо.

 

[colman]

Обучите парсер работать с web проксями, к примеру с glype(http://getproxi.es/glype-proxies/).
Я когда-то парсил гугл через них и вполне неплохо.

когда то и я парсил, неплохо было на проксях форбиддена, а сейчас вообще ничего не моуг спарсить толком, а уж на бесплатных проксях можно даже и не пробывать они все в бане у гугла

 

[Support]

Свежий замер:

Наши прокси, 300 потоков, 50 попыток, 1 страница, 10 результатов

 

[signup]

Аналогичная проблема с проксями. Раньше все было нормально, сейчас гугл парсить стало практически невозможно из-за бана проксей. В итоге вообще на парсинг гугла пришлось забить.

 

[colman]

Свежий замер:

Наши прокси, 300 потоков, 50 попыток, 1 страница, 10 результатов

да это вообще не показатель, что вы хотели этим продемонстрировать?, что он может собирать всё подряд?)по сравнению с тем что было раньше он его вообще не парсит и близко не выпаршивает прежних результатов.Неудачных запросов по 60 процентов.

 

[Forbidden]

да это вообще не показатель, что вы хотели этим продемонстрировать?, что он может собирать всё подряд?)по сравнению с тем что было раньше он его вообще не парсит и близко не выпаршивает прежних результатов.Неудачных запросов по 60 процентов.

Показатель, и вполне четкий - конкретный замер скорости на наших прокси, скорость в 300 потоков 1880 запросов в минуту - это отличный показатель

Для неудачных запросов есть универсальное решение - увеличить Request retries, пора уже запомнить