Добрый день.
Большое количество (90%) неудачных запросов при работе парсера Rank::Mustat.
Версия 1.1.669. Парсер работал в 20 потоков.
В логах такие записи:
Причем на ручной запрос через сайт (без прокси) доменов, которые попали в неудачные запросы, бывает как выдача "404 not found. The page you are looking for does not exist anymore.", так и с результатами.
Как определить, в чем проблема попадания последних в "неудачные запросы"?
Большое количество (90%) неудачных запросов при работе парсера Rank::Mustat.
Версия 1.1.669. Парсер работал в 20 потоков.
В логах такие записи:
27/10 10:39:52 Parser Rank::Mustat::0 parse query BLINGLIGHTS.us
27/10 10:39:52 Wait for proxy
27/10 10:39:52 Use proxy socks://189.102.122.253:31894
27/10 10:39:55 GET(1): http://www.mustat.com/ - 200 OK (1.95 KB)
27/10 10:39:55 Unkwown response
27/10 10:39:55 Parse response: 2
27/10 10:39:55 Wait for proxy
27/10 10:39:55 Use proxy socks://189.219.162.36:42226
27/10 10:39:57 GET(2): http://www.mustat.com/ - 200 OK (1.95 KB)
27/10 10:39:57 Unkwown response
27/10 10:39:57 Parse response: 2
27/10 10:39:57 Wait for proxy
27/10 10:39:57 Use proxy socks://155.4.83.96:45554
27/10 10:39:58 GET(3): http://www.mustat.com/ - 200 OK (1.95 KB)
27/10 10:39:58 Unkwown response
27/10 10:39:58 Parse response: 2
27/10 10:39:52 Wait for proxy
27/10 10:39:52 Use proxy socks://189.102.122.253:31894
27/10 10:39:55 GET(1): http://www.mustat.com/ - 200 OK (1.95 KB)
27/10 10:39:55 Unkwown response
27/10 10:39:55 Parse response: 2
27/10 10:39:55 Wait for proxy
27/10 10:39:55 Use proxy socks://189.219.162.36:42226
27/10 10:39:57 GET(2): http://www.mustat.com/ - 200 OK (1.95 KB)
27/10 10:39:57 Unkwown response
27/10 10:39:57 Parse response: 2
27/10 10:39:57 Wait for proxy
27/10 10:39:57 Use proxy socks://155.4.83.96:45554
27/10 10:39:58 GET(3): http://www.mustat.com/ - 200 OK (1.95 KB)
27/10 10:39:58 Unkwown response
27/10 10:39:58 Parse response: 2
Как определить, в чем проблема попадания последних в "неудачные запросы"?