парсинг бинга

[DeLaKroiX]

бинг бывает отдаёт вот такое вместо выдачи:

при тесте парсера бинга в тестовом парсинге, он выдаёт "Bing.com limiting results".
2 вопроса:
1. второе соответствует первому ?
2. если парсер не перепаршивает запрос с таким ответом, то как сделать так, чтобы перепаршивал ?

ps. вопросы возникли потому что выставил сохранение результатов парсинга каждого запроса в отдельный файл и файлов с нулевым размером подозрительно много (70% а то и больше).

 

[Support]

Bing.com limiting results

Протестировав парсер Бинга на 11,5к запросов, ни разу не встретились подобные вещи. Ни в выдаче, ни в коде отдаваемой страницы.
Отсюда вопрос: используете ли вы прокси? Если да, то какие?

вопросы возникли потому что выставил сохранение результатов парсинга каждого запроса в отдельный файл и файлов с нулевым размером подозрительно много

В данном случае, это может происходить, кроме прочего, при использовании уникализации.

 

[DeLaKroiX]

Протестировав парсер Бинга на 11,5к запросов, ни разу не встретились подобные вещи. Ни в выдаче, ни в коде отдаваемой страницы.
Отсюда вопрос: используете ли вы прокси? Если да, то какие?
В данном случае, это может происходить, кроме прочего, при использовании уникализации.

прокси не использую, на то он и бинг. до недавнего времени я такого за ним не замечал.
мне кажется стоит в настройки парсера добавить возможность перепарса запроса, если встретилось такое в ответе от бинга, раз уж бинг такую штуку ввёл.