Ошибка [1.1.808] Пустая выдача в Net::Whois

  • Автор темы Автор темы rumos
  • Дата начала Дата начала

rumos

A-Parser Enterprise License
A-Parser Enterprise
Добрый день.
1. Ситуация следующая. Парсер из очереди ~600000 доменов выдал пустые стандартные данные, кроме $ns.$i.server (еще кроме "Registrar URL", "Registrant Name", "Registrant Organization", они парсятся регуляркой из "Raw data") примерно в 100000 запросов. Естественно, что эти запросы не "неудачные". Взял из них первые 5000 и запустил тот же парсер (при прочих равных условиях: источник прокси, потоки). Получил 755 "пустых", остальные со всеми данными. Ставлю их в очередь, получаю 214 "пустых". Дальше зависимость проверять не стал, взял несколько доменов и проверил вручную - данные есть. Еще у подавляющего большинства "пустых" доменов сервер whois.godaddy.com. Можно с этим бороться?
2. Еще по выдаче дат. Тут уже были исправления, спасибо. Но есть есть еще выдачи в других форматах. Например,
Код:
whois.pairnic.com 2007-08-07T03:31:33+0000Z
whois.global-village.de 1997-05-21T04:00:00Z.0Z
whois.alantron.com 2016-08-31T00:00:00+03:00Z
3. Должны ли неудачные запросы, которые по "Request retries" попадают в queries/failed заносится в файл результатов? Если должны, то как их туда не вносить, а сохранять только в queries/failed?
A-Parser v.1.1.791
 
Добрый день.
1 и 2 перемещено в Задачи.
3. Должны ли неудачные запросы, которые по "Request retries" попадают в queries/failed заносится в файл результатов? Если должны, то как их туда не вносить, а сохранять только в queries/failed?
Да, должны, хотя это зависит от того, как выводится результат. Если это обычная переменная, то в результат будет записано none, если массив, который выводится через .format, то будет пустота. Чтобы не выводить результат, если запрос был неудачный, можно фильтровать по $info.success (может принимать значения 1 - запрос удачный и 0 - неудачный):
tmgXM.png
 
лог по такому запросу
Для примера:
h_1491303357_9425850_40e191afea.jpg

Прогнал 5000, сделал выборку по дате регистрации "none" - получил 3300. В аттаче эта выборка, полный лог по заданию и "whois hsf.net". На первый взгляд, в данной ситуации парсер обрабатывает только "первый блок" данных выдачи whois.
 

Вложения

удалось словить, хуиз сервис возвращает обрезанную версию ответа, неуверен что тут можно сделать
 
п. 1 решен следующим образом: для whois сервера whois.godaddy.com если получен короткий ответ - делается перепроверка с новым прокси
п. 2 исправлен
 
Назад
Верх