неудачных запросов :332038 45.6% Результатов уник/всего: неудачных запросов :33953 38.5% неудачных запросов :3156503 83.7% вобщем парсер очень печально прасит гугл, прокси авм за 100 баксов (Вам доступно 13103 прокси из 13683) , кто подскажет как и что сейчас парсить чтобы собирать нормальные базы, потому что это вообще неочем ,паршу без опреаторов
и где брать прокси? (отдавать 500 баксов в месяц на просси тоже не вариант) ваши тоже самое, так же все в бане были.
Обучите парсер работать с web проксями, к примеру с glype(http://getproxi.es/glype-proxies/). Я когда-то парсил гугл через них и вполне неплохо.
когда то и я парсил, неплохо было на проксях форбиддена, а сейчас вообще ничего не моуг спарсить толком, а уж на бесплатных проксях можно даже и не пробывать они все в бане у гугла
Аналогичная проблема с проксями. Раньше все было нормально, сейчас гугл парсить стало практически невозможно из-за бана проксей. В итоге вообще на парсинг гугла пришлось забить.
да это вообще не показатель, что вы хотели этим продемонстрировать?, что он может собирать всё подряд?)по сравнению с тем что было раньше он его вообще не парсит и близко не выпаршивает прежних результатов.Неудачных запросов по 60 процентов.
Показатель, и вполне четкий - конкретный замер скорости на наших прокси, скорость в 300 потоков 1880 запросов в минуту - это отличный показатель Для неудачных запросов есть универсальное решение - увеличить Request retries, пора уже запомнить
