Последние несколько дней SE::Yandex начал парсить не все страницы, чаще всего парсит 1-2 страницы из 20. По логу как будто больше страниц нет.
Вот пример парсинга по запросу "тест", в параметрах установлено парсить 20 страниц:
04/02 14:53:29 GET(3): https://yandex.ru/yandsearch?p=1&lr=213&text=тест&numdoc=50&redircnt=1486212804.1 - 200 OK (74.33 KB)
04/02 14:53:29 Total grabbed 104 links
04/02 14:53:29 Parse response: 4
04/02 14:53:29 Save new good session
04/02 14:53:29 Thread complete work
Вот еще один, такой же, через 7 мин:
04/02 15:00:17 Use existing session
04/02 15:00:25 GET(1): https://yandex.ru/yandsearch?p=3&lr=213&text=тест&numdoc=50&redircnt=1486213219.1 - 200 OK (61.25 KB)
04/02 15:00:25 Total grabbed 205 links
04/02 15:00:25 Parse response: 4
04/02 15:00:25 Save new good session
04/02 15:00:25 Thread complete work
Версия 1.1.739 (так же было и на 1.1.739)
загрузка памяти на сервере 30-40%, процессора 7-8%
Вот пример парсинга по запросу "тест", в параметрах установлено парсить 20 страниц:
04/02 14:53:29 GET(3): https://yandex.ru/yandsearch?p=1&lr=213&text=тест&numdoc=50&redircnt=1486212804.1 - 200 OK (74.33 KB)
04/02 14:53:29 Total grabbed 104 links
04/02 14:53:29 Parse response: 4
04/02 14:53:29 Save new good session
04/02 14:53:29 Thread complete work
Вот еще один, такой же, через 7 мин:
04/02 15:00:17 Use existing session
04/02 15:00:25 GET(1): https://yandex.ru/yandsearch?p=3&lr=213&text=тест&numdoc=50&redircnt=1486213219.1 - 200 OK (61.25 KB)
04/02 15:00:25 Total grabbed 205 links
04/02 15:00:25 Parse response: 4
04/02 15:00:25 Save new good session
04/02 15:00:25 Thread complete work
Версия 1.1.739 (так же было и на 1.1.739)
загрузка памяти на сервере 30-40%, процессора 7-8%