Добрый день.
1. Ситуация следующая. Парсер из очереди ~600000 доменов выдал пустые стандартные данные, кроме $ns.$i.server (еще кроме "Registrar URL", "Registrant Name", "Registrant Organization", они парсятся регуляркой из "Raw data") примерно в 100000 запросов. Естественно, что эти запросы не "неудачные". Взял из них первые 5000 и запустил тот же парсер (при прочих равных условиях: источник прокси, потоки). Получил 755 "пустых", остальные со всеми данными. Ставлю их в очередь, получаю 214 "пустых". Дальше зависимость проверять не стал, взял несколько доменов и проверил вручную - данные есть. Еще у подавляющего большинства "пустых" доменов сервер whois.godaddy.com. Можно с этим бороться?
2. Еще по выдаче дат. Тут уже были исправления, спасибо. Но есть есть еще выдачи в других форматах. Например,
3. Должны ли неудачные запросы, которые по "Request retries" попадают в queries/failed заносится в файл результатов? Если должны, то как их туда не вносить, а сохранять только в queries/failed?
A-Parser v.1.1.791
1. Ситуация следующая. Парсер из очереди ~600000 доменов выдал пустые стандартные данные, кроме $ns.$i.server (еще кроме "Registrar URL", "Registrant Name", "Registrant Organization", они парсятся регуляркой из "Raw data") примерно в 100000 запросов. Естественно, что эти запросы не "неудачные". Взял из них первые 5000 и запустил тот же парсер (при прочих равных условиях: источник прокси, потоки). Получил 755 "пустых", остальные со всеми данными. Ставлю их в очередь, получаю 214 "пустых". Дальше зависимость проверять не стал, взял несколько доменов и проверил вручную - данные есть. Еще у подавляющего большинства "пустых" доменов сервер whois.godaddy.com. Можно с этим бороться?
2. Еще по выдаче дат. Тут уже были исправления, спасибо. Но есть есть еще выдачи в других форматах. Например,
Код:
whois.pairnic.com 2007-08-07T03:31:33+0000Z
whois.global-village.de 1997-05-21T04:00:00Z.0Z
whois.alantron.com 2016-08-31T00:00:00+03:00Z
A-Parser v.1.1.791