Ошибка [1.1.741] SE::Yandex Парсит не все страницы

  • Автор темы Автор темы IDr
  • Дата начала Дата начала

IDr

A-Parser Enterprise License
A-Parser Enterprise
Последние несколько дней SE::Yandex начал парсить не все страницы, чаще всего парсит 1-2 страницы из 20. По логу как будто больше страниц нет.

Вот пример парсинга по запросу "тест", в параметрах установлено парсить 20 страниц:

04/02 14:53:29 GET(3): https://yandex.ru/yandsearch?p=1&lr=213&text=тест&numdoc=50&redircnt=1486212804.1 - 200 OK (74.33 KB)
04/02 14:53:29 Total grabbed 104 links
04/02 14:53:29 Parse response: 4
04/02 14:53:29 Save new good session
04/02 14:53:29 Thread complete work



Вот еще один, такой же, через 7 мин:

04/02 15:00:17 Use existing session
04/02 15:00:25 GET(1): https://yandex.ru/yandsearch?p=3&lr=213&text=тест&numdoc=50&redircnt=1486213219.1 - 200 OK (61.25 KB)
04/02 15:00:25 Total grabbed 205 links
04/02 15:00:25 Parse response: 4
04/02 15:00:25 Save new good session
04/02 15:00:25 Thread complete work



Версия 1.1.739 (так же было и на 1.1.739)
загрузка памяти на сервере 30-40%, процессора 7-8%
 
запустил несколько прогонов по 1000 одинаковых запросов, везде 5 страниц глубина, отпарсилось нормально
возможно поведение как на скрине связанно с гео прокси
 
видимо яндекс тестировал новую выдачу на малом проценте серверов, сегодня обновил на всех, исправлено
 
Назад
Верх