1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Неудачные запросы при работе Rank::Mustat

Тема в разделе "Техническая поддержка", создана пользователем rumos, 27 окт 2016.

  1. rumos

    rumos A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    5 фев 2016
    Сообщения:
    26
    Симпатии:
    4
    Добрый день.
    Большое количество (90%) неудачных запросов при работе парсера Rank::Mustat.
    Версия 1.1.669. Парсер работал в 20 потоков.
    В логах такие записи:
    27/10 10:39:52 Parser Rank::Mustat::0 parse query BLINGLIGHTS.us
    27/10 10:39:52 Wait for proxy
    27/10 10:39:52 Use proxy socks://189.102.122.253:31894
    27/10 10:39:55 GET(1): http://www.mustat.com/ - 200 OK (1.95 KB)
    27/10 10:39:55 Unkwown response
    27/10 10:39:55 Parse response: 2
    27/10 10:39:55 Wait for proxy
    27/10 10:39:55 Use proxy socks://189.219.162.36:42226
    27/10 10:39:57 GET(2): http://www.mustat.com/ - 200 OK (1.95 KB)
    27/10 10:39:57 Unkwown response
    27/10 10:39:57 Parse response: 2
    27/10 10:39:57 Wait for proxy
    27/10 10:39:57 Use proxy socks://155.4.83.96:45554
    27/10 10:39:58 GET(3): http://www.mustat.com/ - 200 OK (1.95 KB)
    27/10 10:39:58 Unkwown response
    27/10 10:39:58 Parse response: 2
    Причем на ручной запрос через сайт (без прокси) доменов, которые попали в неудачные запросы, бывает как выдача "404 not found. The page you are looking for does not exist anymore.", так и с результатами.
    [​IMG]
    Как определить, в чем проблема попадания последних в "неудачные запросы"?
     
  2. aquatell

    aquatell A-Parser Pro License
    A-Parser Pro

    Регистрация:
    8 ноя 2012
    Сообщения:
    150
    Симпатии:
    43
    У а-парсера есть отладчик (Инструменты-Обслуживание-Окно дебага-Parser-Включить галочку auto update) и смотреть что происходит при парсинге

    P.S. Кстати у меня все работает, проверил тот же сайт что на скрине.
    Версия а-пасера 1.1.652 под windows
    Возможная проблема прокси которые юзаются забанены или качество низкое.
     
  3. rumos

    rumos A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    5 фев 2016
    Сообщения:
    26
    Симпатии:
    4
    Просмотр отладчика особо ясности не добавил. Почти то же самое, что и в логе. Столбец "Retry" это количество попыток, а "Collected" (устойчивое "none") - результат парсинга?
    [​IMG]
     
  4. aquatell

    aquatell A-Parser Pro License
    A-Parser Pro

    Регистрация:
    8 ноя 2012
    Сообщения:
    150
    Симпатии:
    43
    Попробуй на одном сайте проверить без проксей когда сам пресет заряжается для работы там есть кнопка ТЕСТ (на ней зеленый жук такой), у меня на дефолтных настройках работает, может не так поменяно у тебя там в пресете.
    Какая версия а-парсера?
     
  5. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    судя по всему проблема в том что домены в верхнем регистре
     
    rumos нравится это.
  6. rumos

    rumos A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    5 фев 2016
    Сообщения:
    26
    Симпатии:
    4
    Спасибо, в самую точку!
     

Поделиться этой страницей