Неудачные запросы при работе Rank::Mustat

  • Автор темы Автор темы rumos
  • Дата начала Дата начала

rumos

A-Parser Enterprise License
A-Parser Enterprise
Добрый день.
Большое количество (90%) неудачных запросов при работе парсера Rank::Mustat.
Версия 1.1.669. Парсер работал в 20 потоков.
В логах такие записи:
27/10 10:39:52 Parser Rank::Mustat::0 parse query BLINGLIGHTS.us
27/10 10:39:52 Wait for proxy
27/10 10:39:52 Use proxy socks://189.102.122.253:31894
27/10 10:39:55 GET(1): http://www.mustat.com/ - 200 OK (1.95 KB)
27/10 10:39:55 Unkwown response
27/10 10:39:55 Parse response: 2
27/10 10:39:55 Wait for proxy
27/10 10:39:55 Use proxy socks://189.219.162.36:42226
27/10 10:39:57 GET(2): http://www.mustat.com/ - 200 OK (1.95 KB)
27/10 10:39:57 Unkwown response
27/10 10:39:57 Parse response: 2
27/10 10:39:57 Wait for proxy
27/10 10:39:57 Use proxy socks://155.4.83.96:45554
27/10 10:39:58 GET(3): http://www.mustat.com/ - 200 OK (1.95 KB)
27/10 10:39:58 Unkwown response
27/10 10:39:58 Parse response: 2
Причем на ручной запрос через сайт (без прокси) доменов, которые попали в неудачные запросы, бывает как выдача "404 not found. The page you are looking for does not exist anymore.", так и с результатами.
h_1477560477_5566583_97e2bea53c.jpg

Как определить, в чем проблема попадания последних в "неудачные запросы"?
 
У а-парсера есть отладчик (Инструменты-Обслуживание-Окно дебага-Parser-Включить галочку auto update) и смотреть что происходит при парсинге

P.S. Кстати у меня все работает, проверил тот же сайт что на скрине.
Версия а-пасера 1.1.652 под windows
Возможная проблема прокси которые юзаются забанены или качество низкое.
 
Просмотр отладчика особо ясности не добавил. Почти то же самое, что и в логе. Столбец "Retry" это количество попыток, а "Collected" (устойчивое "none") - результат парсинга?
h_1477563698_1800589_427ba939ae.jpg
 
Попробуй на одном сайте проверить без проксей когда сам пресет заряжается для работы там есть кнопка ТЕСТ (на ней зеленый жук такой), у меня на дефолтных настройках работает, может не так поменяно у тебя там в пресете.
Какая версия а-парсера?
 
судя по всему проблема в том что домены в верхнем регистре
 
Назад
Верх