1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Ошибка [1.1.808] Пустая выдача в Net::Whois

Тема в разделе "1.1.811", создана пользователем rumos, 1 апр 2017.

  1. rumos

    rumos A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    5 фев 2016
    Сообщения:
    26
    Симпатии:
    4
    Добрый день.
    1. Ситуация следующая. Парсер из очереди ~600000 доменов выдал пустые стандартные данные, кроме $ns.$i.server (еще кроме "Registrar URL", "Registrant Name", "Registrant Organization", они парсятся регуляркой из "Raw data") примерно в 100000 запросов. Естественно, что эти запросы не "неудачные". Взял из них первые 5000 и запустил тот же парсер (при прочих равных условиях: источник прокси, потоки). Получил 755 "пустых", остальные со всеми данными. Ставлю их в очередь, получаю 214 "пустых". Дальше зависимость проверять не стал, взял несколько доменов и проверил вручную - данные есть. Еще у подавляющего большинства "пустых" доменов сервер whois.godaddy.com. Можно с этим бороться?
    2. Еще по выдаче дат. Тут уже были исправления, спасибо. Но есть есть еще выдачи в других форматах. Например,
    Код:
    whois.pairnic.com 2007-08-07T03:31:33+0000Z
    whois.global-village.de 1997-05-21T04:00:00Z.0Z
    whois.alantron.com 2016-08-31T00:00:00+03:00Z
    3. Должны ли неудачные запросы, которые по "Request retries" попадают в queries/failed заносится в файл результатов? Если должны, то как их туда не вносить, а сохранять только в queries/failed?
    A-Parser v.1.1.791
     
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.430
    Симпатии:
    2.123
    Добрый день.
    1 и 2 перемещено в Задачи.
    Да, должны, хотя это зависит от того, как выводится результат. Если это обычная переменная, то в результат будет записано none, если массив, который выводится через .format, то будет пустота. Чтобы не выводить результат, если запрос был неудачный, можно фильтровать по $info.success (может принимать значения 1 - запрос удачный и 0 - неудачный):
    [​IMG]
     
    rumos нравится это.
  3. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.792
    было бы отлично если найдешь лог по такому запросу
     
  4. rumos

    rumos A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    5 фев 2016
    Сообщения:
    26
    Симпатии:
    4
    Для примера:
    [​IMG]
    Прогнал 5000, сделал выборку по дате регистрации "none" - получил 3300. В аттаче эта выборка, полный лог по заданию и "whois hsf.net". На первый взгляд, в данной ситуации парсер обрабатывает только "первый блок" данных выдачи whois.
     

    Вложения:

    • 1006.zip
      Размер файла:
      519,9 КБ
      Просмотров:
      0
    • Apr-04_11-47-20_bad.zip
      Размер файла:
      613,3 КБ
      Просмотров:
      0
    • hsf.net.txt
      Размер файла:
      6,7 КБ
      Просмотров:
      0
  5. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.792
    удалось словить, хуиз сервис возвращает обрезанную версию ответа, неуверен что тут можно сделать
     
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.792
    п. 1 решен следующим образом: для whois сервера whois.godaddy.com если получен короткий ответ - делается перепроверка с новым прокси
    п. 2 исправлен
     
    Metroid и rumos нравится это.

Поделиться этой страницей