1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 750+ и мы растем!
    Скрыть объявление

Ошибка [1.1.741] SE::Yandex Парсит не все страницы

Тема в разделе "1.1.743", создана пользователем IDr, 4 фев 2017.

  1. IDr

    IDr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 ноя 2013
    Сообщения:
    4
    Симпатии:
    0
    Последние несколько дней SE::Yandex начал парсить не все страницы, чаще всего парсит 1-2 страницы из 20. По логу как будто больше страниц нет.

    Вот пример парсинга по запросу "тест", в параметрах установлено парсить 20 страниц:

    04/02 14:53:29 GET(3): https://yandex.ru/yandsearch?p=1&lr=213&text=тест&numdoc=50&redircnt=1486212804.1 - 200 OK (74.33 KB)
    04/02 14:53:29 Total grabbed 104 links
    04/02 14:53:29 Parse response: 4
    04/02 14:53:29 Save new good session
    04/02 14:53:29 Thread complete work



    Вот еще один, такой же, через 7 мин:

    04/02 15:00:17 Use existing session
    04/02 15:00:25 GET(1): https://yandex.ru/yandsearch?p=3&lr=213&text=тест&numdoc=50&redircnt=1486213219.1 - 200 OK (61.25 KB)
    04/02 15:00:25 Total grabbed 205 links
    04/02 15:00:25 Parse response: 4
    04/02 15:00:25 Save new good session
    04/02 15:00:25 Thread complete work



    Версия 1.1.739 (так же было и на 1.1.739)
    загрузка памяти на сервере 30-40%, процессора 7-8%
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.186
    Симпатии:
    1.694
    запустил несколько прогонов по 1000 одинаковых запросов, везде 5 страниц глубина, отпарсилось нормально
    возможно поведение как на скрине связанно с гео прокси
     
  3. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.186
    Симпатии:
    1.694
    видимо яндекс тестировал новую выдачу на малом проценте серверов, сегодня обновил на всех, исправлено
     

Поделиться этой страницей