парсинг с одной ип

[danni dannovich]

Такое дело, что иногда прокси использовать не вариант, а у меня есть capmonster. Я могу начать парсить без прокси со своего ип десятки тысяч запросов? Это как-то повлияет на мой ип с точки зрения гугла?

 

[Forbidden]

лучше настроить парсить в небольшое число потоков
существует вероятность что через какое то время IP уйдет в бан на какое то время(поиск гугла не будет доступен совсем)

 

[btr]

если уж есть капмонстр то парсь с паблик проксей

 

[danni dannovich]

если уж есть капмонстр то парсь с паблик проксей

так и делаю, правда 35% ошибок и скорость 37/422.
Это просто названия фильмов.
Если вдруг добавлю inurl/site и прочее, то хоть капмостер, хоть нет, 99% ошибок)

 

[btr]

по ним давно гугл ни че толком не дает, попробуй дисконнект.me парсить, тут есть где то пресет готовый.

 

[danni dannovich]

по ним давно гугл ни че толком не дает, попробуй дисконнект.me парсить, тут есть где то пресет готовый.

Это получается я через него могу что угодно парсить удобнее и быстрее чем с гугла? еще в 1 ип?

 

[btr]

ну пока лавочку не прикрыли сможешь, но выдача там как мне показалось не вся конечно.

 

[danni dannovich]

ну пока лавочку не прикрыли сможешь, но выдача там как мне показалось не вся конечно.

далеко не вся похоже. в гугле 13 лямов. Но вещь похоже все равно полезная, текстовку попарсить норм.

 

[Forbidden]

Если вдруг добавлю inurl/site и прочее, то хоть капмостер, хоть нет, 99% ошибок)

надо посмотреть логи парсинга, если там преобладает 403 ошибка - это вина паблик проксей, т.е. гугл даже каптчу не показывает

 

[danni dannovich]

надо посмотреть логи парсинга, если там преобладает 403 ошибка - это вина паблик проксей, т.е. гугл даже каптчу не показывает

Это да, я заметил. Но по идее ж "com_k2" и inurl:com_k2 будет одно и тоже, если результаты фильтровать еще регуляркой, ну и потом почистить.

 

[Forbidden]

Это да, я заметил. Но по идее ж "com_k2" и inurl:com_k2 будет одно и тоже, если результаты фильтровать еще регуляркой, ну и потом почистить.

в целом да, парсинг без операторов всегда предпочтительней