Как бы ни была хороша новая версия, а так же акции с прокси, но при парсинге все-равно возникают какие-либо недобчеты и ошибки. Поэтому очень важным моментом было бы добавления поля - задержка между запросами. Так например для гугла - я ставлю задержку 2 сек между запросами, а для яху релейтед - 1 сек (как пример).