Последние несколько дней SE::Yandex начал парсить не все страницы, чаще всего парсит 1-2 страницы из 20. По логу как будто больше страниц нет. Вот пример парсинга по запросу "тест", в параметрах установлено парсить 20 страниц: 04/02 14:53:29 GET(3): https://yandex.ru/yandsearch?p=1&lr=213&text=тест&numdoc=50&redircnt=1486212804.1 - 200 OK (74.33 KB) 04/02 14:53:29 Total grabbed 104 links 04/02 14:53:29 Parse response: 4 04/02 14:53:29 Save new good session 04/02 14:53:29 Thread complete work Вот еще один, такой же, через 7 мин: 04/02 15:00:17 Use existing session 04/02 15:00:25 GET(1): https://yandex.ru/yandsearch?p=3&lr=213&text=тест&numdoc=50&redircnt=1486213219.1 - 200 OK (61.25 KB) 04/02 15:00:25 Total grabbed 205 links 04/02 15:00:25 Parse response: 4 04/02 15:00:25 Save new good session 04/02 15:00:25 Thread complete work Версия 1.1.739 (так же было и на 1.1.739) загрузка памяти на сервере 30-40%, процессора 7-8%
запустил несколько прогонов по 1000 одинаковых запросов, везде 5 страниц глубина, отпарсилось нормально возможно поведение как на скрине связанно с гео прокси
видимо яндекс тестировал новую выдачу на малом проценте серверов, сегодня обновил на всех, исправлено
